← Run Locally · Il-mudelli kollha
minn meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Iċ-ċifri kollha huma stimi. L-użu reali tal-memorja u l-veloċità jiddependu mid-drajvers tiegħek, mis-settings tiegħek u minn programmi oħra li jkunu qed jaħdmu.
- Parametri
- 71B
- Liċenzja
- llama3.3
- Ippubblikat
- Nov 26, 2024
Il-liċenzja hija tal-manifattur tal-mudell. Iċċekkja t-termini tagħha qabel tuża l-mudell.
Hugging Face jitlob li taċċetta t-termini tal-manifattur qabel tniżżel dan il-mudell. Ma jinbiegħ l-ebda kit għalih.
L-oriġinal fuq Hugging Face ↗Memorja meħtieġa skont il-kwantizzazzjoni
B’8,192 tokens ta’ kuntest, inkluż 0.8 GB għall-ambjent tat-tħaddim.
| Kwantizzazzjoni | Fajl tal-mudell | Total |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(approssimattiv) |
| Q5_K_M | 50.2 GB | 56.0 GB(approssimattiv) |
| Q6_K | 57.9 GB | 64.4 GB(approssimattiv) |
| Q8_0 | 75.0 GB | 83.3 GB(approssimattiv) |
| F16 | 141.1 GB | 156.0 GB(approssimattiv) |
Hardware li jħaddmu fuq il-karta grafika
B’Q4_K_M u 8,192 tokens ta’ kuntest.
L-ebda hardware li nelenkaw ma jħaddmu kompletament fuq il-karta grafika b’din is-setting.
Iċċekkjah fuq il-kompjuter tiegħekL-istess mudell permezz ta’ API
L-irħas bejjiegħ: NanoGPT, $0.99 fix-xahar bl-użu standard (200 talba kuljum).
Ara l-prezzijiet fuq il-Model Price MapId-dettalji tal-mudelli jiġu mil-listi pubbliċi ta’ Hugging Face (ismijiet, daqsijiet, liċenzji). Kull paġna ta’ mudell twassal għall-oriġinal.