autor: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Sve vrijednosti su procjene. Stvarna potrošnja memorije i brzina ovise o Vašim upraviteljskim programima (driverima), postavkama i drugim programima koji su pokrenuti.
- Parametri
- 71B
- Licencija
- llama3.3
- Objavljeno
- 26. stu 2024.
Licencija je ona koju je odredio autor modela. Prije korištenja modela provjerite njezine uvjete.
Hugging Face traži da prihvatite uvjete autora prije preuzimanja ovog modela. Za njega se ne prodaje kit.
Izvornik na Hugging Faceu ↗Potrebna memorija prema kvantizaciji
Uz kontekst od 8.192 tokena, uključujući 0,8 GB za izvršno okruženje.
| Kvantizacija | Datoteka modela | Ukupno |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(okvirno) |
| Q5_K_M | 50.2 GB | 56.0 GB(okvirno) |
| Q6_K | 57.9 GB | 64.4 GB(okvirno) |
| Q8_0 | 75.0 GB | 83.3 GB(okvirno) |
| F16 | 141.1 GB | 156.0 GB(okvirno) |
Hardver koji ga pokreće na grafičkoj kartici
Uz Q4_K_M i kontekst od 8.192 tokena.
Nijedan hardver s našeg popisa ne pokreće ga u cijelosti na grafičkoj kartici uz ovu postavku.
Provjerite na svojem računaluIsti model putem API-ja
Najpovoljniji pružatelj: NanoGPT, $0.99 mjesečno uz zadano korištenje (200 zahtjeva na dan).
Pogledajte cijene na Model Price MapPodaci o modelima potječu iz javnih zapisa na Hugging Faceu (nazivi, veličine, licencije). Svaka stranica modela povezuje na izvornik.