од meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Све вредности су процене. Стварна потрошња меморије и брзина зависе од ваших драјвера, подешавања и других програма који раде.
- Параметри
- 71B
- Лиценца
- llama3.3
- Објављено
- 26. нов 2024.
Лиценца је лиценца произвођача модела. Проверите њене услове пре него што употребите модел.
Hugging Face тражи да прихватите услове произвођача пре преузимања овог модела. За њега се не продаје кит.
Оригинал на Hugging Face-у ↗Потребна меморија по квантизацији
При контексту од 8.192 токена, укључујући 0,8 GB за извршно окружење.
| Квантизација | Датотека модела | Укупно |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(грубо) |
| Q5_K_M | 50.2 GB | 56.0 GB(грубо) |
| Q6_K | 57.9 GB | 64.4 GB(грубо) |
| Q8_0 | 75.0 GB | 83.3 GB(грубо) |
| F16 | 141.1 GB | 156.0 GB(грубо) |
Хардвер који га покреће на графичкој картици
При Q4_K_M и контексту од 8.192 токена.
Ниједан хардвер са наше листе не покреће га у потпуности на графичкој картици при овом подешавању.
Проверите на свом рачунаруИсти модел преко API-ја
Најјефтинији продавац: NanoGPT, $0.99 месечно при подразумеваној употреби (200 захтева дневно).
Погледајте цене на Model Price MapПодаци о моделима потичу из јавних уноса на Hugging Face-у (називи, величине, лиценце). Свака страница модела води на оригинал.