← Run Locally · Tutti i modelli
di meta-llama
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
Tutti i valori sono stime. L’uso reale della memoria e la velocità dipendono dai tuoi driver, dalle impostazioni e dagli altri programmi in esecuzione.
- Parametri
- 1.2B
- Licenza
- llama3.2
- Pubblicato
- 18 set 2024
La licenza è quella del produttore del modello. Verificane i termini prima di usare il modello.
Hugging Face ti chiede di accettare i termini del produttore prima di scaricare questo modello. Per questo modello non è in vendita alcun kit.
Originale su Hugging Face ↗Memoria necessaria per quantizzazione
Con 8192 token di contesto, inclusi 0,8 GB per il runtime.
| Quantizzazione | File del modello | Totale |
|---|---|---|
| Q4_K_M | 0.7 GB | 1.6 GB(indicativo) |
| Q5_K_M | 0.9 GB | 1.8 GB(indicativo) |
| Q6_K | 1.0 GB | 1.9 GB(indicativo) |
| Q8_0 | 1.3 GB | 2.2 GB(indicativo) |
| F16 | 2.5 GB | 3.5 GB(indicativo) |
Hardware che lo esegue sulla scheda grafica
Con Q4_K_M e 8192 token di contesto.
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
Lo stesso modello tramite API
Venditore più economico: Inference, $0.09 al mese con l’uso predefinito (200 richieste al giorno).
Vedi i prezzi su Model Price MapI dati dei modelli provengono dalle schede pubbliche di Hugging Face (nomi, dimensioni, licenze). Ogni pagina del modello rimanda all’originale.