vum meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
All Wäerter sinn Schätzungen. De richtege Späicherbedarf an d’Geschwindegkeet hänken vunÄren Treiber,Ären Astellungen an anere Programmer of, déi lafen.
- Parameteren
- 71B
- Lizenz
- llama3.3
- Verëffentlecht
- Nov 26, 2024
D’Lizenz ass déi vum Modellhiersteller. Kuckt hir Bedingungen no, ier Dir d’Modell notzt.
Hugging Face verlaangt, dass Dir d’Bedingunge vum Hiersteller akzeptéiert, ier Dir dëst Modell eroflued. Dofir gëtt kee Kit verkaaft.
Original op Hugging Face ↗Späicherbedarf no Quantiséierung
Bei 8,192 Tokens Kontext, abegraff 0,8 GB fir d’Lafzäitémfeld.
| Quantiséierung | Modelldatei | Total |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(grob) |
| Q5_K_M | 50.2 GB | 56.0 GB(grob) |
| Q6_K | 57.9 GB | 64.4 GB(grob) |
| Q8_0 | 75.0 GB | 83.3 GB(grob) |
| F16 | 141.1 GB | 156.0 GB(grob) |
Hardware, déi et op der Grafikkaart ausféiert
Bei Q4_K_M a 8,192 Tokens Kontext.
Keng vun der Hardware, déi mir lëschten, féiert et bei dëser Astellung ganz op der Grafikkaart aus.
Op Ärem Computer préiwenDatselwecht Modell iwwer eng API
Gënschtegsten Ubidder: NanoGPT, $0.99 pro Mount bei der Standardnotzung (200 Ufroe pro Dag).
Präisser op der Model Price Map kuckenD’Modelldaten staamen aus den ëffentlechen Androchen op Hugging Face (Nimm, Gréissten, Lizenzen). All Modellsäit verlinkt op d’Original.