← Run Locally · Fa'ata'ita'iga uma
na gaosia e meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
O fuainumera uma o fa'atusatusaga lea. O le fa'aaogāina moni o le mea e teu ai faamatalaga ma le saoasaoa e fa'alagolago i au draiva, au seti, ma isi polokalame o loo faagaoioia.
- Parameter
- 71B
- Laisene
- llama3.3
- Lomia
- Nov 26, 2024
O le laisene o le laisene a le na gaosia le fa'ata'ita'iga. Siaki ona aiaiga a'o le'i fa'aaogā le fa'ata'ita'iga.
Ua fai atu Hugging Face ia e talia aiaiga a le gaosi a'o le'i la'u mai lenei fa'ata'ita'iga. E leai se kit e faatauina mo ia.
Uluai tala i Hugging Face ↗Mea e teu ai faamatalaga e manaomia e tusa ai ma le quantization
I le 8,192 token o le tulaga o le tala, e aofia ai le 0.8 GB mo le runtime.
| Quantization | Faila o le fa'ata'ita'iga | Aofa'i |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(fa'atusatusa) |
| Q5_K_M | 50.2 GB | 56.0 GB(fa'atusatusa) |
| Q6_K | 57.9 GB | 64.4 GB(fa'atusatusa) |
| Q8_0 | 75.0 GB | 83.3 GB(fa'atusatusa) |
| F16 | 141.1 GB | 156.0 GB(fa'atusatusa) |
Mea faigaluega e faagaoioia ai i le kata fa'akalafi
I le Q4_K_M ma le 8,192 token o le tulaga o le tala.
E leai se mea faigaluega matou te lisiina e faagaoioia atoa ai i le kata fa'akalafi i lenei seti.
Siaki i lau komepiutaO le fa'ata'ita'iga lava lea e ala i se API
O le faatau sili ona taugofie: NanoGPT, $0.99 i le masina i le fa'aaogāga masani (200 talosaga i le aso).
Va'ai i tau i le Model Price MapO faamatalaga o fa'ata'ita'iga e mai i lisi lautele a Hugging Face (igoa, lapopo'a, laisene). O itulau uma o fa'ata'ita'iga e fesoʻotaʻi i le uluai tala.