kūrėjas: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Visi skaičiai yra įverčiai. Tikrasis atminties naudojimas ir sparta priklauso nuo Jūsų tvarkyklių, nustatymų ir kitų veikiančių programų.
- Parametrai
- 71B
- Licencija
- llama3.3
- Paskelbta
- 2024-11-26
Licencija yra modelio kūrėjo. Prieš naudodami modelį, perskaitykite jos sąlygas.
Hugging Face reikalauja, kad prieš atsisiųsdami šį modelį sutiktumėte su gamintojo sąlygomis. Šiam modeliui rinkinys neparduodamas.
Originalas Hugging Face ↗Reikiama atmintis pagal kvantizaciją
Esant 8 192 tokenų kontekstui, įskaitant 0,8 GB vykdymo aplinkai.
| Kvantizacija | Modelio failas | Iš viso |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(apytiksliai) |
| Q5_K_M | 50.2 GB | 56.0 GB(apytiksliai) |
| Q6_K | 57.9 GB | 64.4 GB(apytiksliai) |
| Q8_0 | 75.0 GB | 83.3 GB(apytiksliai) |
| F16 | 141.1 GB | 156.0 GB(apytiksliai) |
Įranga, kuri jį paleidžia vaizdo plokštėje
Esant Q4_K_M ir 8 192 tokenų kontekstui.
Nė viena mūsų nurodyta įranga su šiuo nustatymu jo nepaleidžia visiškai vaizdo plokštėje.
Patikrinti savo kompiuteryjeTas pats modelis per API
Pigiausias tiekėjas: NanoGPT, $0.99 per mėnesį esant numatytajam naudojimui (200 užklausų per dieną).
Peržiūrėti kainas Model Price MapModelių duomenys paimti iš viešų Hugging Face įrašų (pavadinimai, dydžiai, licencijos). Kiekvieno modelio puslapyje yra nuoroda į originalą.