← Run Locally · Bütün modellər
müəllif: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Bütün göstəricilər təxminidir. Real yaddaş istifadəsi və sürət drayverlərinizdən, ayarlarınızdan və işləyən digər proqramlardan asılıdır.
- Parametrlər
- 71B
- Lisenziya
- llama3.3
- Dərc edilib
- Nov 26, 2024
Lisenziya model istehsalçısına məxsusdur. Modeldən istifadə etməzdən əvvəl onun şərtlərini yoxlayın.
Hugging Face bu modeli yükləməzdən əvvəl istehsalçının şərtlərini qəbul etməyinizi tələb edir. Bu model üçün dəst satılmır.
Hugging Face-də orijinal ↗Kvantlaşdırmaya görə lazım olan yaddaş
8,192 token kontekstdə, icra mühiti üçün 0,8 GB daxil olmaqla.
| Kvantlaşdırma | Model faylı | Cəmi |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(təxmini) |
| Q5_K_M | 50.2 GB | 56.0 GB(təxmini) |
| Q6_K | 57.9 GB | 64.4 GB(təxmini) |
| Q8_0 | 75.0 GB | 83.3 GB(təxmini) |
| F16 | 141.1 GB | 156.0 GB(təxmini) |
Onu qrafik kartda işlədən avadanlıq
Q4_K_M və 8,192 token kontekstdə.
Siyahıya saldığımız avadanlıqlardan heç biri bu ayarda onu tam şəkildə qrafik kartda işlətmir.
Kompüterinizdə yoxlayınEyni model API vasitəsilə
Ən ucuz təklif edən: NanoGPT, standart istifadədə (gündə 200 sorğu) ayda $0.99.
Qiymətlərə Model Price Map-da baxınModel məlumatları Hugging Face-in açıq siyahılarından götürülür (adlar, ölçülər, lisenziyalar). Hər model səhifəsi orijinala keçid verir.