← Run Locally · Todos los modelos
de meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Todas las cifras son estimaciones. El uso real de memoria y la velocidad dependen de tus controladores, tu configuración y los demás programas en ejecución.
- Parámetros
- 71B
- Licencia
- llama3.3
- Publicado
- 26 nov 2024
La licencia es del creador del modelo. Revisa sus condiciones antes de usar el modelo.
Hugging Face te pide aceptar las condiciones del creador antes de descargar este modelo. No vendemos ningún kit para él.
Original en Hugging Face ↗Memoria necesaria según la cuantización
Con 8192 tokens de contexto, incluidos 0,8 GB para el entorno de ejecución.
| Cuantización | Archivo del modelo | Total |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(aprox.) |
| Q5_K_M | 50.2 GB | 56.0 GB(aprox.) |
| Q6_K | 57.9 GB | 64.4 GB(aprox.) |
| Q8_0 | 75.0 GB | 83.3 GB(aprox.) |
| F16 | 141.1 GB | 156.0 GB(aprox.) |
Hardware que lo ejecuta en la tarjeta gráfica
Con Q4_K_M y 8192 tokens de contexto.
Ningún hardware de nuestra lista lo ejecuta por completo en la tarjeta gráfica con esta configuración.
Compruébalo en tu equipoEl mismo modelo a través de una API
Vendedor más barato: NanoGPT, $0.99 al mes con el uso predeterminado (200 solicitudes al día).
Ver los precios en Model Price MapLos datos de los modelos proceden de los listados públicos de Hugging Face (nombres, tamaños, licencias). Cada página de modelo enlaza al original.