מאת meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
כל הנתונים הם הערכות. צריכת הזיכרון והמהירות בפועל תלויות במנהלי ההתקן, בהגדרות ובתוכנות אחרות שרצות.
- פרמטרים
- 71B
- רישיון
- llama3.3
- תאריך פרסום
- 26 בנוב׳ 2024
הרישיון הוא של יוצר המודל. יש לעיין בתנאיו לפני השימוש במודל.
Hugging Face מבקשת שתאשרו את תנאי היצרן לפני הורדת המודל הזה. לא נמכרת עבורו ערכה.
המקור ב-Hugging Face ↗זיכרון נדרש לפי קוונטיזציה
בהקשר של 8,192 טוקנים, כולל 0.8 GB לסביבת ההרצה.
| קוונטיזציה | קובץ המודל | סה"כ |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(גס) |
| Q5_K_M | 50.2 GB | 56.0 GB(גס) |
| Q6_K | 57.9 GB | 64.4 GB(גס) |
| Q8_0 | 75.0 GB | 83.3 GB(גס) |
| F16 | 141.1 GB | 156.0 GB(גס) |
חומרה שמריצה אותו על כרטיס המסך
ב-Q4_K_M ובהקשר של 8,192 טוקנים.
אף אחת מהחומרות שאנו מפרטים אינה מריצה אותו במלואו על כרטיס המסך בהגדרה הזו.
בדיקה במחשב שלכםאותו מודל דרך API
הספק הזול ביותר: NanoGPT, $0.99 לחודש בשימוש ברירת המחדל (200 בקשות ביום).
צפייה במחירים ב-Model Price Mapפרטי המודלים לקוחים מהרשימות הציבוריות של Hugging Face (שמות, גדלים, רישיונות). כל עמוד מודל מקשר למקור.