av meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Alle tall er anslag. Faktisk minnebruk og hastighet avhenger av driverne dine, innstillingene dine og andre programmer som kjører.
- Parametere
- 71B
- Lisens
- llama3.3
- Publisert
- 26. nov. 2024
Lisensen tilhører modellens produsent. Les vilkårene før du bruker modellen.
Hugging Face ber deg godta produsentens vilkår før du laster ned denne modellen. Det selges ikke noe sett for den.
Original på Hugging Face ↗Nødvendig minne etter kvantisering
Ved 8 192 tokens kontekst, inkludert 0,8 GB for kjøremiljøet.
| Kvantisering | Modellfil | Totalt |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(omtrentlig) |
| Q5_K_M | 50.2 GB | 56.0 GB(omtrentlig) |
| Q6_K | 57.9 GB | 64.4 GB(omtrentlig) |
| Q8_0 | 75.0 GB | 83.3 GB(omtrentlig) |
| F16 | 141.1 GB | 156.0 GB(omtrentlig) |
Maskinvare som kjører den på skjermkortet
Ved Q4_K_M og 8 192 tokens kontekst.
Ingen av maskinvaren vi har med, kjører den helt på skjermkortet med denne innstillingen.
Sjekk den på datamaskinen dinSamme modell via et API
Billigste leverandør: NanoGPT, $0.99 per måned ved standardbruk (200 forespørsler per dag).
Se prisene på Model Price MapModelldataene kommer fra Hugging Faces offentlige oppføringer (navn, størrelser, lisenser). Hver modellside lenker til originalen.