af meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Alle tal er estimater. Det faktiske hukommelsesforbrug og den faktiske hastighed afhænger af dine drivere, dine indstillinger og andre programmer, der kører.
- Parametre
- 71B
- Licens
- llama3.3
- Udgivet
- 26. nov. 2024
Licensen er modeludviklerens. Læs vilkårene, før du bruger modellen.
Hugging Face beder dig acceptere producentens vilkår, før du downloader denne model. Der sælges intet kit til den.
Original på Hugging Face ↗Nødvendig hukommelse efter kvantisering
Ved 8.192 tokens kontekst, inklusive 0,8 GB til kørselsmiljøet.
| Kvantisering | Modelfil | I alt |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(groft) |
| Q5_K_M | 50.2 GB | 56.0 GB(groft) |
| Q6_K | 57.9 GB | 64.4 GB(groft) |
| Q8_0 | 75.0 GB | 83.3 GB(groft) |
| F16 | 141.1 GB | 156.0 GB(groft) |
Hardware, der kører den på grafikkortet
Ved Q4_K_M og 8.192 tokens kontekst.
Ingen af den hardware, vi har på listen, kører den fuldt ud på grafikkortet med denne indstilling.
Tjek den på din computerDen samme model via en API
Billigste udbyder: NanoGPT, $0.99 pr. måned ved standardbrug (200 forespørgsler pr. dag).
Se priserne på Model Price MapModeloplysningerne stammer fra Hugging Faces offentlige oversigter (navne, størrelser, licenser). Hver modelside linker til originalen.