від meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Усі значення є оцінками. Фактичне використання пам’яті та швидкість залежать від ваших драйверів, налаштувань і інших запущених програм.
- Параметри
- 71B
- Ліцензія
- llama3.3
- Опубліковано
- 26 лист. 2024 р.
Ліцензія належить виробникові моделі. Перш ніж використовувати модель, перегляньте її умови.
Hugging Face вимагає, щоб ви прийняли умови виробника, перш ніж завантажувати цю модель. Набір для неї не продається.
Оригінал на Hugging Face ↗Потрібна пам’ять залежно від квантизації
За контексту 8 192 токенів, включно з 0,8 ГБ для середовища виконання.
| Квантизація | Файл моделі | Разом |
|---|---|---|
| Q4_K_M | 42.8 ГБ | 47.9 ГБ(приблизно) |
| Q5_K_M | 50.2 ГБ | 56.0 ГБ(приблизно) |
| Q6_K | 57.9 ГБ | 64.4 ГБ(приблизно) |
| Q8_0 | 75.0 ГБ | 83.3 ГБ(приблизно) |
| F16 | 141.1 ГБ | 156.0 ГБ(приблизно) |
Обладнання, яке запускає її на відеокарті
За Q4_K_M і контексту 8 192 токенів.
Жодне з перелічених нами обладнань не запускає її повністю на відеокарті за цих налаштувань.
Перевірити на вашому комп’ютеріТа сама модель через API
Найдешевший постачальник: NanoGPT, $0.99 на місяць за типового використання (200 запитів на день).
Переглянути ціни на Model Price MapДані про моделі взято із загальнодоступних записів Hugging Face (назви, розміри, ліцензії). Кожна сторінка моделі містить посилання на оригінал.