← Run Locally · Všechny modely
od meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Všechny hodnoty jsou odhady. Skutečné využití paměti a rychlost závisejí na ovladačích, nastavení a dalších spuštěných programech.
- Parametry
- 71B
- Licence
- llama3.3
- Zveřejněno
- 26. 11. 2024
Licence pochází od výrobce modelu. Před použitím modelu si přečtěte její podmínky.
Hugging Face vyžaduje, abyste před stažením tohoto modelu přijali podmínky výrobce. Pro tento model se sada neprodává.
Originál na Hugging Face ↗Potřebná paměť podle kvantizace
Při kontextu 8 192 tokenů, včetně 0,8 GB pro běhové prostředí.
| Kvantizace | Soubor modelu | Celkem |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(hrubý odhad) |
| Q5_K_M | 50.2 GB | 56.0 GB(hrubý odhad) |
| Q6_K | 57.9 GB | 64.4 GB(hrubý odhad) |
| Q8_0 | 75.0 GB | 83.3 GB(hrubý odhad) |
| F16 | 141.1 GB | 156.0 GB(hrubý odhad) |
Hardware, který jej spustí na grafické kartě
Při Q4_K_M a kontextu 8 192 tokenů.
Žádný z hardwaru, který uvádíme, jej s tímto nastavením nespustí celý na grafické kartě.
Zkontrolovat na Vašem počítačiStejný model přes API
Nejlevnější poskytovatel: NanoGPT, $0.99 za měsíc při výchozím používání (200 požadavků za den).
Zobrazit ceny v Model Price MapÚdaje o modelech pocházejí z veřejných záznamů na Hugging Face (názvy, velikosti, licence). Každá stránka modelu odkazuje na originál.