autor: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Sve vrijednosti su procjene. Stvarna potrošnja memorije i brzina zavise od vaših drajvera, postavki i drugih programa koji rade.
- Parametri
- 71B
- Licenca
- llama3.3
- Objavljeno
- Nov 26, 2024
Licenca je ona koju je odredio proizvođač modela. Provjerite njene uslove prije nego što upotrijebite model.
Hugging Face traži da prihvatite uslove proizvođača prije preuzimanja ovog modela. Za njega se ne prodaje komplet.
Original na Hugging Faceu ↗Potrebna memorija po kvantizaciji
Pri kontekstu od 8,192 tokena, uključujući 0,8 GB za okruženje za izvršavanje.
| Kvantizacija | Datoteka modela | Ukupno |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(okvirno) |
| Q5_K_M | 50.2 GB | 56.0 GB(okvirno) |
| Q6_K | 57.9 GB | 64.4 GB(okvirno) |
| Q8_0 | 75.0 GB | 83.3 GB(okvirno) |
| F16 | 141.1 GB | 156.0 GB(okvirno) |
Hardver koji ga pokreće na grafičkoj kartici
Pri Q4_K_M i kontekstu od 8,192 tokena.
Nijedan hardver s naše liste ne pokreće ga u potpunosti na grafičkoj kartici pri ovoj postavci.
Provjerite na svom računaruIsti model putem API-ja
Najjeftiniji pružalac: NanoGPT, $0.99 mjesečno pri zadanom korištenju (200 zahtjeva dnevno).
Pogledajte cijene na Model Price MapPodaci o modelima potiču iz javnih zapisa na Hugging Faceu (nazivi, veličine, licence). Svaka stranica modela vodi do originala.