no meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Visi skaitļi ir aptuveni. Faktiskais atmiņas patēriņš un ātrums ir atkarīgs no Jūsu draiveriem, iestatījumiem un citām darbojošām programmām.
- Parametri
- 71B
- Licence
- llama3.3
- Publicēts
- 2024. g. 26. nov.
Licence ir modeļa ražotāja. Pirms modeļa lietošanas pārbaudiet tās noteikumus.
Hugging Face prasa, lai pirms šī modeļa lejupielādes Jūs piekristu ražotāja noteikumiem. Tam komplekts netiek pārdots.
Oriģināls vietnē Hugging Face ↗Nepieciešamā atmiņa pēc kvantizācijas
Ar 8192 tokenu kontekstu, ieskaitot 0,8 GB izpildvides vajadzībām.
| Kvantizācija | Modeļa fails | Kopā |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(aptuveni) |
| Q5_K_M | 50.2 GB | 56.0 GB(aptuveni) |
| Q6_K | 57.9 GB | 64.4 GB(aptuveni) |
| Q8_0 | 75.0 GB | 83.3 GB(aptuveni) |
| F16 | 141.1 GB | 156.0 GB(aptuveni) |
Aparatūra, kas to palaiž grafiskajā kartē
Ar Q4_K_M un 8192 tokenu kontekstu.
Neviena mūsu sarakstā iekļautā aparatūra ar šo iestatījumu to pilnībā nepalaiž grafiskajā kartē.
Pārbaudīt savā datorāTas pats modelis, izmantojot API
Lētākais pārdevējs: NanoGPT, $0.99 mēnesī ar noklusējuma lietojumu (200 pieprasījumi dienā).
Skatīt cenas Model Price MapModeļu dati ir ņemti no Hugging Face publiskajiem ierakstiem (nosaukumi, izmēri, licences). Katra modeļa lapa satur saiti uz oriģinālu.