← Run Locally · Il-mudelli kollha
minn meta-llama
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
Iċ-ċifri kollha huma stimi. L-użu reali tal-memorja u l-veloċità jiddependu mid-drajvers tiegħek, mis-settings tiegħek u minn programmi oħra li jkunu qed jaħdmu.
- Parametri
- 1.2B
- Liċenzja
- llama3.2
- Ippubblikat
- Sep 18, 2024
Il-liċenzja hija tal-manifattur tal-mudell. Iċċekkja t-termini tagħha qabel tuża l-mudell.
Hugging Face jitlob li taċċetta t-termini tal-manifattur qabel tniżżel dan il-mudell. Ma jinbiegħ l-ebda kit għalih.
L-oriġinal fuq Hugging Face ↗Memorja meħtieġa skont il-kwantizzazzjoni
B’8,192 tokens ta’ kuntest, inkluż 0.8 GB għall-ambjent tat-tħaddim.
| Kwantizzazzjoni | Fajl tal-mudell | Total |
|---|---|---|
| Q4_K_M | 0.7 GB | 1.6 GB(approssimattiv) |
| Q5_K_M | 0.9 GB | 1.8 GB(approssimattiv) |
| Q6_K | 1.0 GB | 1.9 GB(approssimattiv) |
| Q8_0 | 1.3 GB | 2.2 GB(approssimattiv) |
| F16 | 2.5 GB | 3.5 GB(approssimattiv) |
Hardware li jħaddmu fuq il-karta grafika
B’Q4_K_M u 8,192 tokens ta’ kuntest.
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
L-istess mudell permezz ta’ API
L-irħas bejjiegħ: Inference, $0.09 fix-xahar bl-użu standard (200 talba kuljum).
Ara l-prezzijiet fuq il-Model Price MapId-dettalji tal-mudelli jiġu mil-listi pubbliċi ta’ Hugging Face (ismijiet, daqsijiet, liċenzji). Kull paġna ta’ mudell twassal għall-oriġinal.