saka meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Kabeh angka iku mung prakiraan. Panggunaan memori lan kacepetan sing sabenere gumantung marang driver, setelan, lan program liyane sing lagi mlaku.
- Parameter
- 71B
- Lisensi
- llama3.3
- Diterbitake
- Nov 26, 2024
Lisensi iki duweke pembuat model. Priksanana ketentuane sadurunge Panjenengan nggunakake model iki.
Hugging Face njaluk Panjenengan nampa ketentuan pembuat sadurunge ngundhuh model iki. Kanggo model iki ora ana kit sing didol.
Asline ing Hugging Face ↗Memori sing dibutuhake miturut kuantisasi
Ing konteks 8,192 token, kalebu 0,8 GB kanggo runtime.
| Kuantisasi | Berkas model | Total |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(kira-kira) |
| Q5_K_M | 50.2 GB | 56.0 GB(kira-kira) |
| Q6_K | 57.9 GB | 64.4 GB(kira-kira) |
| Q8_0 | 75.0 GB | 83.3 GB(kira-kira) |
| F16 | 141.1 GB | 156.0 GB(kira-kira) |
Hardware sing mlakokake model iki ing kertu grafis
Ing Q4_K_M lan konteks 8,192 token.
Ora ana hardware ing dhaptar kita sing mlakokake model iki kanthi lengkap ing kertu grafis kanthi setelan iki.
Priksanana ing komputer PanjenenganModel sing padha liwat API
Penjual paling murah: NanoGPT, $0.99 sasasi kanthi panggunaan baku (200 panjaluk saben dina).
Deleng rega ing Model Price MapRincian model asale saka dhaptar umum Hugging Face (jeneng, ukuran, lisensi). Saben kaca model nyambung menyang asline.