meta-llama erakundearena
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Balio guztiak zenbatespenak dira. Memoriaren benetako erabilera eta abiadura zure kontrolatzaileen, zure ezarpenen eta martxan dauden beste programa batzuen araberakoak dira.
- Parametroak
- 71B
- Lizentzia
- llama3.3
- Argitaratze-data
- Nov 26, 2024
Lizentzia ereduaren egilearena da. Egiaztatu bere baldintzak eredua erabili aurretik.
Hugging Face-k eskatzen du fabrikatzailearen baldintzak onartzea eredu hau deskargatu aurretik. Horretarako ez da kitik saltzen.
Jatorrizkoa Hugging Face-n ↗Kuantizazio bakoitzak behar duen memoria
8,192 token-eko testuinguruarekin, exekuzio-ingurunearentzako 0,8 GB barne.
| Kuantizazioa | Ereduaren fitxategia | Guztira |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(gutxi gorabehera) |
| Q5_K_M | 50.2 GB | 56.0 GB(gutxi gorabehera) |
| Q6_K | 57.9 GB | 64.4 GB(gutxi gorabehera) |
| Q8_0 | 75.0 GB | 83.3 GB(gutxi gorabehera) |
| F16 | 141.1 GB | 156.0 GB(gutxi gorabehera) |
Txartel grafikoan exekutatzen duen hardwarea
Q4_K_M kuantizazioarekin eta 8,192 token-eko testuinguruarekin.
Gure zerrendako hardwareetako batek ere ez du guztiz txartel grafikoan exekutatzen ezarpen honekin.
Egiaztatu zure ordenagailuanEredu bera API baten bidez
Saltzaile merkeena: NanoGPT, $0.99 hilean, ohiko erabilerarekin (200 eskaera egunean).
Ikusi prezioak Model Price Map-enEreduen xehetasunak Hugging Face-ren zerrenda publikoetatik datoz (izenak, tamainak, lizentziak). Eredu-orri bakoitzak jatorrizkora esteka egiten du.