← Run Locally · Todos os modelos
de meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Todas as cifras son estimacións. O uso real de memoria e a velocidade dependen dos seus controladores, da súa configuración e doutros programas en execución.
- Parámetros
- 71B
- Licenza
- llama3.3
- Publicado
- Nov 26, 2024
A licenza é a do fabricante do modelo. Comprobe os seus termos antes de usar o modelo.
Hugging Face pídelle que acepte os termos do fabricante antes de descargar este modelo. Non se vende ningún kit para el.
Orixinal en Hugging Face ↗Memoria necesaria segundo a cuantización
Con 8,192 tokens de contexto, incluídos 0,8 GB para o contorno de execución.
| Cuantización | Ficheiro do modelo | Total |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(aproximado) |
| Q5_K_M | 50.2 GB | 56.0 GB(aproximado) |
| Q6_K | 57.9 GB | 64.4 GB(aproximado) |
| Q8_0 | 75.0 GB | 83.3 GB(aproximado) |
| F16 | 141.1 GB | 156.0 GB(aproximado) |
Hardware que o executa na tarxeta gráfica
Con Q4_K_M e 8,192 tokens de contexto.
Ningún dos equipos que listamos o executa por completo na tarxeta gráfica con esta configuración.
Comprobalo no seu ordenadorO mesmo modelo a través dunha API
Vendedor máis barato: NanoGPT, $0.99 ao mes co uso predeterminado (200 solicitudes ao día).
Ver os prezos en Model Price MapOs datos dos modelos proceden das listaxes públicas de Hugging Face (nomes, tamaños, licenzas). Cada páxina de modelo liga ao orixinal.