ku meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Sadaya angka mangrupa perkiraan. Pamakéan mémori sareng kagancangan nu saéstuna gumantung kana driver, setélan, sareng program séjén anu keur jalan.
- Parameter
- 71B
- Lisénsi
- llama3.3
- Diterbitkeun
- Nov 26, 2024
Lisénsi ieu kagungan pamabuk model. Mangga pariksa saratna sateuacan ngagunakeun model.
Hugging Face meryogikeun Anda nampi sarat pamabuk sateuacan ngunduh model ieu. Teu aya kit anu dijual pikeun model ieu.
Asli di Hugging Face ↗Mémori anu diperlukeun dumasar kuantisasi
Dina konteks 8,192 token, kaasup 0,8 GB pikeun runtime.
| Kuantisasi | File model | Jumlah |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(kasarna) |
| Q5_K_M | 50.2 GB | 56.0 GB(kasarna) |
| Q6_K | 57.9 GB | 64.4 GB(kasarna) |
| Q8_0 | 75.0 GB | 83.3 GB(kasarna) |
| F16 | 141.1 GB | 156.0 GB(kasarna) |
Hardware anu ngajalankeunana dina kartu grafis
Dina Q4_K_M sareng konteks 8,192 token.
Teu aya hardware anu kami daptarkeun anu ngajalankeunana sapinuhna dina kartu grafis kalayan setélan ieu.
Parios dina komputer AndaModel anu sami ngalangkungan API
Panjual panghématna: NanoGPT, $0.99 sabulan dina pamakéan baku (200 pamundut per dinten).
Tingali hargana dina Model Price MapDetil model asalna tina daptar umum Hugging Face (ngaran, ukuran, lisénsi). Unggal kaca model nyambung ka aslina.