← Run Locally · Bütün modellər
müəllif: meta-llama
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
Bütün göstəricilər təxminidir. Real yaddaş istifadəsi və sürət drayverlərinizdən, ayarlarınızdan və işləyən digər proqramlardan asılıdır.
- Parametrlər
- 1.2B
- Lisenziya
- llama3.2
- Dərc edilib
- Sep 18, 2024
Lisenziya model istehsalçısına məxsusdur. Modeldən istifadə etməzdən əvvəl onun şərtlərini yoxlayın.
Hugging Face bu modeli yükləməzdən əvvəl istehsalçının şərtlərini qəbul etməyinizi tələb edir. Bu model üçün dəst satılmır.
Hugging Face-də orijinal ↗Kvantlaşdırmaya görə lazım olan yaddaş
8,192 token kontekstdə, icra mühiti üçün 0,8 GB daxil olmaqla.
| Kvantlaşdırma | Model faylı | Cəmi |
|---|---|---|
| Q4_K_M | 0.7 GB | 1.6 GB(təxmini) |
| Q5_K_M | 0.9 GB | 1.8 GB(təxmini) |
| Q6_K | 1.0 GB | 1.9 GB(təxmini) |
| Q8_0 | 1.3 GB | 2.2 GB(təxmini) |
| F16 | 2.5 GB | 3.5 GB(təxmini) |
Onu qrafik kartda işlədən avadanlıq
Q4_K_M və 8,192 token kontekstdə.
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
Eyni model API vasitəsilə
Ən ucuz təklif edən: Inference, standart istifadədə (gündə 200 sorğu) ayda $0.09.
Qiymətlərə Model Price Map-da baxınModel məlumatları Hugging Face-in açıq siyahılarından götürülür (adlar, ölçülər, lisenziyalar). Hər model səhifəsi orijinala keçid verir.