от meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Всички стойности са приблизителни. Действителното използване на паметта и скоростта зависят от драйверите, настройките Ви и от другите работещи програми.
- Параметри
- 71B
- Лиценз
- llama3.3
- Публикуван
- 26.11.2024 г.
Лицензът е на производителя на модела. Проверете условията му, преди да използвате модела.
Hugging Face изисква да приемете условията на производителя, преди да изтеглите този модел. За него не се продава комплект.
Оригинал в Hugging Face ↗Необходима памет по квантизация
При контекст от 8192 токена, включително 0,8 GB за средата за изпълнение.
| Квантизация | Файл на модела | Общо |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(приблизително) |
| Q5_K_M | 50.2 GB | 56.0 GB(приблизително) |
| Q6_K | 57.9 GB | 64.4 GB(приблизително) |
| Q8_0 | 75.0 GB | 83.3 GB(приблизително) |
| F16 | 141.1 GB | 156.0 GB(приблизително) |
Хардуер, който го изпълнява във видеокартата
При Q4_K_M и контекст от 8192 токена.
Никой от изброения от нас хардуер не го изпълнява изцяло във видеокартата при тази настройка.
Проверете го на своя компютърСъщият модел чрез API
Най-евтин доставчик: NanoGPT, $0.99 на месец при стандартно използване (200 заявки на ден).
Вижте цените в Model Price MapДанните за моделите идват от публичните записи в Hugging Face (имена, размери, лицензи). Всяка страница на модел препраща към оригинала.