← Run Locally · Të gjitha modelet
nga meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Të gjitha shifrat janë vlerësime. Përdorimi real i memories dhe shpejtësia varen nga drajverët, cilësimet tuaja dhe programet e tjera që janë duke punuar.
- Parametrat
- 71B
- Licenca
- llama3.3
- Publikuar
- Nov 26, 2024
Licenca është ajo e prodhuesit të modelit. Kontrolloni kushtet e saj përpara se ta përdorni modelin.
Hugging Face ju kërkon të pranoni kushtet e prodhuesit përpara se ta shkarkoni këtë model. Për të nuk shitet asnjë kit.
Origjinali në Hugging Face ↗Memoria e nevojshme sipas kuantizimit
Me 8,192 tokenë konteksti, duke përfshirë 0.8 GB për mjedisin e ekzekutimit.
| Kuantizimi | Skedari i modelit | Gjithsej |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(përafërsisht) |
| Q5_K_M | 50.2 GB | 56.0 GB(përafërsisht) |
| Q6_K | 57.9 GB | 64.4 GB(përafërsisht) |
| Q8_0 | 75.0 GB | 83.3 GB(përafërsisht) |
| F16 | 141.1 GB | 156.0 GB(përafërsisht) |
Pajisjet që e ekzekutojnë në kartën grafike
Me Q4_K_M dhe 8,192 tokenë konteksti.
Asnjë nga pajisjet që listojmë nuk e ekzekuton plotësisht në kartën grafike me këtë cilësim.
Kontrollojeni në kompjuterin tuajI njëjti model përmes një API
Shitësi më i lirë: NanoGPT, $0.99 në muaj me përdorimin e zakonshëm (200 kërkesa në ditë).
Shihni çmimet te Model Price MapDetajet e modeleve vijnë nga listimet publike të Hugging Face (emrat, madhësitë, licencat). Çdo faqe modeli lidhet me origjinalin.