ад meta-llama
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
Усе значэнні — прыблізныя. Фактычнае выкарыстанне памяці і хуткасць залежаць ад вашых драйвераў, налад і іншых запушчаных праграм.
- Параметры
- 1.2B
- Ліцэнзія
- llama3.2
- Апублікавана
- Sep 18, 2024
Ліцэнзія належыць вытворцу мадэлі. Перад выкарыстаннем мадэлі азнаёмцеся з яе ўмовамі.
Hugging Face патрабуе, каб Вы прынялі ўмовы вытворцы перад спампоўкай гэтай мадэлі. Набор для яе не прадаецца.
Арыгінал на Hugging Face ↗Патрэбная памяць паводле квантызацыі
Пры кантэксце ў 8,192 токенаў, уключаючы 0,8 ГБ для асяроддзя выканання.
| Квантызацыя | Файл мадэлі | Усяго |
|---|---|---|
| Q4_K_M | 0.7 ГБ | 1.6 ГБ(прыблізна) |
| Q5_K_M | 0.9 ГБ | 1.8 ГБ(прыблізна) |
| Q6_K | 1.0 ГБ | 1.9 ГБ(прыблізна) |
| Q8_0 | 1.3 ГБ | 2.2 ГБ(прыблізна) |
| F16 | 2.5 ГБ | 3.5 ГБ(прыблізна) |
Абсталяванне, на якім яна працуе на відэакарце
Пры Q4_K_M і кантэксце ў 8,192 токенаў.
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
Тая самая мадэль праз API
Найтаннейшы пастаўшчык: Inference, $0.09 за месяц пры стандартным выкарыстанні (200 запытаў на дзень).
Паглядзець цэны на Model Price MapЗвесткі пра мадэлі ўзятыя з публічных спісаў Hugging Face (назвы, памеры, ліцэнзіі). Кожная старонка мадэлі змяшчае спасылку на арыгінал.