frá meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Allar tölur eru áætlanir. Raunveruleg minnisnotkun og hraði fer eftir reklum, stillingum og öðrum forritum sem eru í gangi.
- Stikar
- 71B
- Leyfi
- llama3.3
- Gefið út
- Nov 26, 2024
Leyfið er frá framleiðanda líkansins. Kynntu þér skilmála þess áður en þú notar líkanið.
Hugging Face krefst þess að þú samþykkir skilmála framleiðandans áður en þú sækir þetta líkan. Enginn pakki er seldur fyrir það.
Upprunalegt á Hugging Face ↗Minni sem þarf eftir skömmtun
Við 8,192 tóka samhengi, að meðtöldum 0,8 GB fyrir keyrsluumhverfið.
| Skömmtun | Líkanaskrá | Samtals |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(gróft mat) |
| Q5_K_M | 50.2 GB | 56.0 GB(gróft mat) |
| Q6_K | 57.9 GB | 64.4 GB(gróft mat) |
| Q8_0 | 75.0 GB | 83.3 GB(gróft mat) |
| F16 | 141.1 GB | 156.0 GB(gróft mat) |
Vélbúnaður sem keyrir það á skjákortinu
Við Q4_K_M og 8,192 tóka samhengi.
Enginn vélbúnaður á listanum okkar keyrir það alfarið á skjákortinu með þessari stillingu.
Athuga það á tölvunni þinniSama líkan í gegnum API
Ódýrasti seljandinn: NanoGPT, $0.99 á mánuði við sjálfgefna notkun (200 fyrirspurnir á dag).
Sjá verðin á Model Price MapUpplýsingar um líkönin koma úr opinberum skráningum Hugging Face (nöfn, stærðir, leyfi). Hver líkanasíða tengir á upprunann.