ад meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Усе значэнні — прыблізныя. Фактычнае выкарыстанне памяці і хуткасць залежаць ад вашых драйвераў, налад і іншых запушчаных праграм.
- Параметры
- 71B
- Ліцэнзія
- llama3.3
- Апублікавана
- Nov 26, 2024
Ліцэнзія належыць вытворцу мадэлі. Перад выкарыстаннем мадэлі азнаёмцеся з яе ўмовамі.
Hugging Face патрабуе, каб Вы прынялі ўмовы вытворцы перад спампоўкай гэтай мадэлі. Набор для яе не прадаецца.
Арыгінал на Hugging Face ↗Патрэбная памяць паводле квантызацыі
Пры кантэксце ў 8,192 токенаў, уключаючы 0,8 ГБ для асяроддзя выканання.
| Квантызацыя | Файл мадэлі | Усяго |
|---|---|---|
| Q4_K_M | 42.8 ГБ | 47.9 ГБ(прыблізна) |
| Q5_K_M | 50.2 ГБ | 56.0 ГБ(прыблізна) |
| Q6_K | 57.9 ГБ | 64.4 ГБ(прыблізна) |
| Q8_0 | 75.0 ГБ | 83.3 ГБ(прыблізна) |
| F16 | 141.1 ГБ | 156.0 ГБ(прыблізна) |
Абсталяванне, на якім яна працуе на відэакарце
Пры Q4_K_M і кантэксце ў 8,192 токенаў.
Ніводнае абсталяванне са спісу не запускае яе цалкам на відэакарце пры гэтай наладзе.
Праверыць на Вашым камп’ютарыТая самая мадэль праз API
Найтаннейшы пастаўшчык: NanoGPT, $0.99 за месяц пры стандартным выкарыстанні (200 запытаў на дзень).
Паглядзець цэны на Model Price MapЗвесткі пра мадэлі ўзятыя з публічных спісаў Hugging Face (назвы, памеры, ліцэнзіі). Кожная старонка мадэлі змяшчае спасылку на арыгінал.