← Run Locally · Môdely rehetra
nataon'i meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Tombantombana avokoa ireo sanda rehetra. Miankina amin'ny driver, ny fandrindrana ary ny programa hafa miasa ny fampiasana mémoire sy ny hafainganana tena izy.
- Paramètre
- 71B
- Fahazoan-dalana
- llama3.3
- Navoaka
- Nov 26, 2024
Ny fahazoan-dalana dia an'ny mpamorona ny môdely. Jereo ny fepetrany alohan'ny hampiasanao ny môdely.
Mangataka anao hanaiky ny fepetran'ny mpamorona ny Hugging Face alohan'ny hanaovanao download ity môdely ity. Tsy misy kit amidy ho azy.
Ny tany am-boalohany ao amin'ny Hugging Face ↗Mémoire ilaina araka ny quantization
Amin'ny contexte 8,192 token, anisan'izany ny 0,8 GB ho an'ny tontolon'ny fampandehanana.
| Quantization | Rakitry ny môdely | Totalin'ny |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(tombantombana) |
| Q5_K_M | 50.2 GB | 56.0 GB(tombantombana) |
| Q6_K | 57.9 GB | 64.4 GB(tombantombana) |
| Q8_0 | 75.0 GB | 83.3 GB(tombantombana) |
| F16 | 141.1 GB | 156.0 GB(tombantombana) |
Fitaovana mampandeha azy amin'ny karatra sary
Amin'ny Q4_K_M sy contexte 8,192 token.
Tsy misy fitaovana ao amin'ny lisitray mampandeha azy tanteraka amin'ny karatra sary amin'ity fandrindrana ity.
Hamarino amin'ny solosainanaoNy môdely mitovy amin'izany amin'ny alalan'ny API
Mpivarotra mora indrindra: NanoGPT, $0.99 isam-bolana amin'ny fampiasana mahazatra (fangatahana 200 isan'andro).
Jereo ny vidiny ao amin'ny Model Price MapAvy amin'ny lisitra ho an'ny daholobe ao amin'ny Hugging Face ny antsipiriany momba ny môdely (anarana, habe, fahazoan-dalana). Mampitondra amin'ny tany am-boalohany ny pejy tsirairay momba ny môdely.