← Run Locally · Wszystkie modele
twórca: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Wszystkie liczby są szacunkowe. Rzeczywiste zużycie pamięci i szybkość zależą od sterowników, ustawień i innych uruchomionych programów.
- Parametry
- 71B
- Licencja
- llama3.3
- Opublikowano
- 26 lis 2024
Licencja należy do twórcy modelu. Sprawdź jej warunki, zanim zaczniesz używać modelu.
Hugging Face wymaga zaakceptowania warunków twórcy przed pobraniem tego modelu. Nie sprzedajemy dla niego zestawu.
Oryginał w Hugging Face ↗Potrzebna pamięć według kwantyzacji
Przy 8192 tokenach kontekstu, wliczając 0,8 GB na środowisko uruchomieniowe.
| Kwantyzacja | Plik modelu | Razem |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(przybliżone) |
| Q5_K_M | 50.2 GB | 56.0 GB(przybliżone) |
| Q6_K | 57.9 GB | 64.4 GB(przybliżone) |
| Q8_0 | 75.0 GB | 83.3 GB(przybliżone) |
| F16 | 141.1 GB | 156.0 GB(przybliżone) |
Sprzęt, który uruchomi go na karcie graficznej
Przy Q4_K_M i 8192 tokenach kontekstu.
Żaden sprzęt z naszej listy nie uruchomi go w całości na karcie graficznej przy tym ustawieniu.
Sprawdź na swoim komputerzeTen sam model przez API
Najtańszy dostawca: NanoGPT, $0.99 miesięcznie przy domyślnym użyciu (200 zapytań dziennie).
Zobacz ceny w Model Price MapDane modeli pochodzą z publicznych wpisów w serwisie Hugging Face (nazwy, rozmiary, licencje). Każda strona modelu zawiera link do oryginału.