создатель: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Все цифры — оценки. Реальный расход памяти и скорость зависят от ваших драйверов, настроек и других запущенных программ.
- Параметры
- 71B
- Лицензия
- llama3.3
- Опубликовано
- 26 нояб. 2024 г.
Лицензия принадлежит создателю модели. Проверьте её условия, прежде чем использовать модель.
Hugging Face просит принять условия создателя, прежде чем скачать эту модель. Набор для неё не продаётся.
Оригинал на Hugging Face ↗Нужно памяти по уровням квантования
При контексте 8 192 токенов, включая 0,8 GB на среду выполнения.
| Квантование | Файл модели | Всего |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(примерно) |
| Q5_K_M | 50.2 GB | 56.0 GB(примерно) |
| Q6_K | 57.9 GB | 64.4 GB(примерно) |
| Q8_0 | 75.0 GB | 83.3 GB(примерно) |
| F16 | 141.1 GB | 156.0 GB(примерно) |
Оборудование, которое запускает её на видеокарте
При Q4_K_M и контексте 8 192 токенов.
Ни одно оборудование из нашего списка не запускает её полностью на видеокарте при этой настройке.
Проверить на своём компьютереТа же модель через API
Самый дешёвый продавец: NanoGPT, $0.99 в месяц при использовании по умолчанию (200 запросов в день).
Смотреть цены на Model Price MapДанные о моделях взяты из публичных карточек на Hugging Face (названия, размеры, лицензии). На странице каждой модели есть ссылка на оригинал.