oleh meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Semua angka ialah anggaran. Penggunaan memori dan kelajuan sebenar bergantung pada pemacu, tetapan dan program lain yang sedang berjalan.
- Parameter
- 71B
- Lesen
- llama3.3
- Diterbitkan
- 26 Nov 2024
Lesen ini milik pembuat model. Semak syaratnya sebelum anda menggunakan model ini.
Hugging Face meminta anda menerima syarat pembuat model sebelum memuat turun model ini. Tiada kit dijual untuknya.
Sumber asal di Hugging Face ↗Memori diperlukan mengikut kuantisasi
Pada konteks 8,192 token, termasuk 0.8 GB untuk persekitaran masa jalan.
| Kuantisasi | Fail model | Jumlah |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(kasar) |
| Q5_K_M | 50.2 GB | 56.0 GB(kasar) |
| Q6_K | 57.9 GB | 64.4 GB(kasar) |
| Q8_0 | 75.0 GB | 83.3 GB(kasar) |
| F16 | 141.1 GB | 156.0 GB(kasar) |
Perkakasan yang menjalankannya pada kad grafik
Pada Q4_K_M dan konteks 8,192 token.
Tiada perkakasan yang kami senaraikan menjalankannya sepenuhnya pada kad grafik dengan tetapan ini.
Semak pada komputer andaModel yang sama melalui API
Penjual termurah: NanoGPT, $0.99 sebulan pada penggunaan lalai (200 permintaan sehari).
Lihat harga di Model Price MapButiran model diambil daripada senarai awam Hugging Face (nama, saiz, lesen). Setiap halaman model memaut kepada sumber asal.