meta-llama ద్వారా
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
అన్ని విలువలు అంచనాలే. వాస్తవ మెమరీ వినియోగం, వేగం మీ డ్రైవర్లు, సెట్టింగ్‌లు, నడుస్తున్న ఇతర ప్రోగ్రామ్‌లపై ఆధారపడి ఉంటాయి.
- పారామీటర్లు
- 71B
- లైసెన్స్
- llama3.3
- ప్రచురణ తేదీ
- 26, నవం 2024
ఈ లైసెన్స్ మోడల్ తయారీదారుది. మోడల్‌ను ఉపయోగించే ముందు దాని నిబంధనలను చూడండి.
ఈ మోడల్‌ను డౌన్‌లోడ్ చేసే ముందు తయారీదారు నిబంధనలను అంగీకరించాలని Hugging Face కోరుతుంది. దీనికి కిట్ అమ్మబడదు.
Hugging Faceలో అసలు పేజీ ↗క్వాంటైజేషన్ వారీగా అవసరమైన మెమరీ
8,192 టోకెన్ల కాంటెక్స్ట్ వద్ద, రన్‌టైమ్ కోసం 0.8 GB సహా.
| క్వాంటైజేషన్ | మోడల్ ఫైల్ | మొత్తం |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(అంచనా) |
| Q5_K_M | 50.2 GB | 56.0 GB(అంచనా) |
| Q6_K | 57.9 GB | 64.4 GB(అంచనా) |
| Q8_0 | 75.0 GB | 83.3 GB(అంచనా) |
| F16 | 141.1 GB | 156.0 GB(అంచనా) |
దీనిని గ్రాఫిక్స్ కార్డ్‌లో నడిపే హార్డ్‌వేర్
Q4_K_M మరియు 8,192 టోకెన్ల కాంటెక్స్ట్‌తో.
మేము జాబితా చేసిన హార్డ్‌వేర్‌లో ఏదీ ఈ సెట్టింగ్‌లో దీనిని పూర్తిగా గ్రాఫిక్స్ కార్డ్‌లో నడపదు.
మీ కంప్యూటర్‌లో పరిశీలించండిఅదే మోడల్ API ద్వారా
అత్యంత చౌకైన విక్రేత: NanoGPT, డిఫాల్ట్ వినియోగంలో (రోజుకు 200 అభ్యర్థనలు) నెలకు $0.99.
Model Price Mapలో ధరలను చూడండిమోడల్ వివరాలు Hugging Face పబ్లిక్ జాబితాల నుండి వచ్చాయి (పేర్లు, పరిమాణాలు, లైసెన్స్‌లు). ప్రతి మోడల్ పేజీ అసలు పేజీకి లింక్ ఇస్తుంది.