← Run Locally · Tots els models
de meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Totes les xifres són estimacions. L'ús real de memòria i la velocitat depenen dels controladors, de la configuració i d'altres programes en execució.
- Paràmetres
- 71B
- Llicència
- llama3.3
- Publicat
- 26 de nov. del 2024
La llicència és la del fabricant del model. Consulti'n les condicions abans d'utilitzar el model.
Hugging Face li demana que accepti les condicions del fabricant abans de descarregar aquest model. No se'n ven cap kit.
Original a Hugging Face ↗Memòria necessària per quantització
Amb 8.192 tokens de context, inclosos 0,8 GB per a l'entorn d'execució.
| Quantització | Fitxer del model | Total |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(aproximat) |
| Q5_K_M | 50.2 GB | 56.0 GB(aproximat) |
| Q6_K | 57.9 GB | 64.4 GB(aproximat) |
| Q8_0 | 75.0 GB | 83.3 GB(aproximat) |
| F16 | 141.1 GB | 156.0 GB(aproximat) |
Maquinari que l'executa a la targeta gràfica
Amb Q4_K_M i 8.192 tokens de context.
Cap dels maquinaris que llistem l'executa completament a la targeta gràfica amb aquesta configuració.
Comprovi'l al seu ordinadorEl mateix model mitjançant una API
Venedor més barat: NanoGPT, $0.99 al mes amb l'ús per defecte (200 sol·licituds per dia).
Vegi els preus a Model Price MapLes dades dels models provenen dels llistats públics de Hugging Face (noms, mides, llicències). Cada pàgina de model enllaça amb l'original.