← Run Locally · Барлық үлгілер
әзірлеуші: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Барлық мәндер — болжам. Жадтың нақты пайдаланылуы мен жылдамдық драйверлеріңізге, параметрлеріңізге және жұмыс істеп тұрған басқа бағдарламаларға байланысты.
- Параметрлер
- 71B
- Лицензия
- llama3.3
- Жарияланған
- Nov 26, 2024
Лицензия — үлгі өндірушісінің лицензиясы. Үлгіні пайдаланбас бұрын оның шарттарын тексеріңіз.
Hugging Face бұл үлгіні жүктеп алмас бұрын өндірушінің шарттарын қабылдауыңызды сұрайды. Ол үшін жиынтық сатылмайды.
Hugging Face-тегі түпнұсқа ↗Кванттау бойынша қажетті жад
Контекст 8,192 токен болғанда, орындау ортасына арналған 0,8 ГБ қоса алғанда.
| Кванттау | Үлгі файлы | Барлығы |
|---|---|---|
| Q4_K_M | 42.8 ГБ | 47.9 ГБ(шамамен) |
| Q5_K_M | 50.2 ГБ | 56.0 ГБ(шамамен) |
| Q6_K | 57.9 ГБ | 64.4 ГБ(шамамен) |
| Q8_0 | 75.0 ГБ | 83.3 ГБ(шамамен) |
| F16 | 141.1 ГБ | 156.0 ГБ(шамамен) |
Оны бейнекартада іске қосатын жабдық
Q4_K_M және 8,192 токен контекст кезінде.
Біз тізімдеген жабдықтардың ешқайсысы бұл параметрде оны толықтай бейнекартада іске қоспайды.
Оны компьютеріңізде тексеруСол үлгі API арқылы
Ең арзан сатушы: NanoGPT, әдепкі пайдалануда айына $0.99 (күніне 200 сұрау).
Model Price Map бетіндегі бағаларды көруҮлгі деректері Hugging Face-тің жария тізімдерінен алынған (атаулары, көлемдері, лицензиялары). Әр үлгі беті түпнұсқаға сілтейді.