avtor: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Vse vrednosti so ocene. Dejanska poraba pomnilnika in hitrost sta odvisni od vaših gonilnikov, nastavitev in drugih programov, ki se izvajajo.
- Parametri
- 71B
- Licenca
- llama3.3
- Objavljeno
- 26. nov. 2024
Licenca je licenca proizvajalca modela. Preverite njene pogoje, preden model uporabite.
Hugging Face zahteva, da pred prenosom tega modela sprejmete pogoje proizvajalca. Zanj se komplet ne prodaja.
Izvirnik na Hugging Face ↗Potreben pomnilnik glede na kvantizacijo
Pri kontekstu 8192 žetonov, vključno z 0,8 GB za izvajalno okolje.
| Kvantizacija | Datoteka modela | Skupaj |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(okvirno) |
| Q5_K_M | 50.2 GB | 56.0 GB(okvirno) |
| Q6_K | 57.9 GB | 64.4 GB(okvirno) |
| Q8_0 | 75.0 GB | 83.3 GB(okvirno) |
| F16 | 141.1 GB | 156.0 GB(okvirno) |
Strojna oprema, ki ga izvaja na grafični kartici
Pri Q4_K_M in kontekstu 8192 žetonov.
Nobena od strojne opreme, ki jo navajamo, ga pri tej nastavitvi ne izvaja v celoti na grafični kartici.
Preverite na svojem računalnikuIsti model prek API-ja
Najcenejši ponudnik: NanoGPT, $0.99 na mesec pri privzeti uporabi (200 zahtev na dan).
Oglejte si cene na Model Price MapPodatki o modelih izvirajo iz javnih vnosov na Hugging Face (imena, velikosti, licence). Vsaka stran modela vodi do izvirnika.