meta-llama कडून
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
सर्व आकडे अंदाजे आहेत. प्रत्यक्ष मेमरीचा वापर आणि वेग हे आपले ड्रायव्हर, सेटिंग्ज आणि चालू असलेले इतर प्रोग्राम यांवर अवलंबून असतात.
- पॅरामीटर
- 71B
- परवाना
- llama3.3
- प्रकाशित
- २६ नोव्हें, २०२४
हा परवाना मॉडेल निर्मात्याचा आहे. मॉडेल वापरण्यापूर्वी त्याच्या अटी तपासा.
हे मॉडेल डाउनलोड करण्यापूर्वी Hugging Face आपल्याला निर्मात्याच्या अटी मान्य करण्यास सांगते. यासाठी किट विकले जात नाही.
Hugging Face वरील मूळ पान ↗क्वांटायझेशननुसार लागणारी मेमरी
८,१९२ टोकन कॉन्टेक्स्टसाठी, रनटाइमसाठीच्या 0.8 GB सह.
| क्वांटायझेशन | मॉडेल फाइल | एकूण |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(अंदाजे) |
| Q5_K_M | 50.2 GB | 56.0 GB(अंदाजे) |
| Q6_K | 57.9 GB | 64.4 GB(अंदाजे) |
| Q8_0 | 75.0 GB | 83.3 GB(अंदाजे) |
| F16 | 141.1 GB | 156.0 GB(अंदाजे) |
ते ग्राफिक्स कार्डवर चालवणारे हार्डवेअर
Q4_K_M आणि ८,१९२ टोकन कॉन्टेक्स्टसाठी.
आम्ही यादी केलेल्या हार्डवेअरपैकी कोणतेही या सेटिंगमध्ये ते पूर्णपणे ग्राफिक्स कार्डवर चालवत नाही.
आपल्या संगणकावर तपासातेच मॉडेल API द्वारे
सर्वात स्वस्त विक्रेता: NanoGPT, मानक वापरासाठी (दिवसाला 200 विनंत्या) महिन्याला $0.99.
Model Price Map वर किमती पाहामॉडेलचे तपशील Hugging Face च्या सार्वजनिक यादीतून घेतले आहेत (नावे, आकार, परवाने). प्रत्येक मॉडेल पानावर मूळ पानाचा दुवा आहे.