← Run Locally · Tutti i modelli
di meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Tutti i valori sono stime. L’uso reale della memoria e la velocità dipendono dai tuoi driver, dalle impostazioni e dagli altri programmi in esecuzione.
- Parametri
- 71B
- Licenza
- llama3.3
- Pubblicato
- 26 nov 2024
La licenza è quella del produttore del modello. Verificane i termini prima di usare il modello.
Hugging Face ti chiede di accettare i termini del produttore prima di scaricare questo modello. Per questo modello non è in vendita alcun kit.
Originale su Hugging Face ↗Memoria necessaria per quantizzazione
Con 8192 token di contesto, inclusi 0,8 GB per il runtime.
| Quantizzazione | File del modello | Totale |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(indicativo) |
| Q5_K_M | 50.2 GB | 56.0 GB(indicativo) |
| Q6_K | 57.9 GB | 64.4 GB(indicativo) |
| Q8_0 | 75.0 GB | 83.3 GB(indicativo) |
| F16 | 141.1 GB | 156.0 GB(indicativo) |
Hardware che lo esegue sulla scheda grafica
Con Q4_K_M e 8192 token di contesto.
Nessuno degli hardware che elenchiamo lo esegue interamente sulla scheda grafica con questa impostazione.
Verificalo sul tuo computerLo stesso modello tramite API
Venditore più economico: NanoGPT, $0.99 al mese con l’uso predefinito (200 richieste al giorno).
Vedi i prezzi su Model Price MapI dati dei modelli provengono dalle schede pubbliche di Hugging Face (nomi, dimensioni, licenze). Ogni pagina del modello rimanda all’originale.