készítő: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Minden adat becslés. A tényleges memóriahasználat és sebesség az illesztőprogramoktól, a beállításoktól és az egyéb futó programoktól függ.
- Paraméterek
- 71B
- Licenc
- llama3.3
- Közzétéve
- 2024. nov. 26.
A licenc a modell készítőjétől származik. A modell használata előtt olvassa el a feltételeit.
A Hugging Face azt kéri, hogy a modell letöltése előtt fogadja el a készítő feltételeit. Ehhez a modellhez nem árusítunk csomagot.
Eredeti a Hugging Face-en ↗Szükséges memória kvantálás szerint
8192 token kontextusnál, a futtatókörnyezet 0,8 GB-jával együtt.
| Kvantálás | Modellfájl | Összesen |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(hozzávetőleges) |
| Q5_K_M | 50.2 GB | 56.0 GB(hozzávetőleges) |
| Q6_K | 57.9 GB | 64.4 GB(hozzávetőleges) |
| Q8_0 | 75.0 GB | 83.3 GB(hozzávetőleges) |
| F16 | 141.1 GB | 156.0 GB(hozzávetőleges) |
Hardverek, amelyek a videokártyán futtatják
Q4_K_M kvantálásnál és 8192 token kontextusnál.
Az általunk listázott hardverek közül egy sem futtatja ezzel a beállítással teljesen a videokártyán.
Ellenőrzés az Ön számítógépénUgyanez a modell API-n keresztül
Legolcsóbb szolgáltató: NanoGPT, havonta $0.99 az alapértelmezett használat mellett (naponta 200 kérés).
Az árak megtekintése a Model Price Map oldalonA modellek adatai a Hugging Face nyilvános listáiból származnak (nevek, méretek, licencek). Minden modelloldal az eredetire hivatkozik.