meta-llama ద్వారా
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
అన్ని విలువలు అంచనాలే. వాస్తవ మెమరీ వినియోగం, వేగం మీ డ్రైవర్లు, సెట్టింగ్లు, నడుస్తున్న ఇతర ప్రోగ్రామ్లపై ఆధారపడి ఉంటాయి.
- పారామీటర్లు
- 1.2B
- లైసెన్స్
- llama3.2
- ప్రచురణ తేదీ
- 18, సెప్టెం 2024
ఈ లైసెన్స్ మోడల్ తయారీదారుది. మోడల్ను ఉపయోగించే ముందు దాని నిబంధనలను చూడండి.
ఈ మోడల్ను డౌన్లోడ్ చేసే ముందు తయారీదారు నిబంధనలను అంగీకరించాలని Hugging Face కోరుతుంది. దీనికి కిట్ అమ్మబడదు.
Hugging Faceలో అసలు పేజీ ↗క్వాంటైజేషన్ వారీగా అవసరమైన మెమరీ
8,192 టోకెన్ల కాంటెక్స్ట్ వద్ద, రన్టైమ్ కోసం 0.8 GB సహా.
| క్వాంటైజేషన్ | మోడల్ ఫైల్ | మొత్తం |
|---|---|---|
| Q4_K_M | 0.7 GB | 1.6 GB(అంచనా) |
| Q5_K_M | 0.9 GB | 1.8 GB(అంచనా) |
| Q6_K | 1.0 GB | 1.9 GB(అంచనా) |
| Q8_0 | 1.3 GB | 2.2 GB(అంచనా) |
| F16 | 2.5 GB | 3.5 GB(అంచనా) |
దీనిని గ్రాఫిక్స్ కార్డ్లో నడిపే హార్డ్వేర్
Q4_K_M మరియు 8,192 టోకెన్ల కాంటెక్స్ట్తో.
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
అదే మోడల్ API ద్వారా
అత్యంత చౌకైన విక్రేత: Inference, డిఫాల్ట్ వినియోగంలో (రోజుకు 200 అభ్యర్థనలు) నెలకు $0.09.
Model Price Mapలో ధరలను చూడండిమోడల్ వివరాలు Hugging Face పబ్లిక్ జాబితాల నుండి వచ్చాయి (పేర్లు, పరిమాణాలు, లైసెన్స్లు). ప్రతి మోడల్ పేజీ అసలు పేజీకి లింక్ ఇస్తుంది.