meta-llama દ્વારા
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
બધા આંકડા અંદાજ છે. મેમરીનો વાસ્તવિક ઉપયોગ અને ઝડપ આપના ડ્રાઇવર, સેટિંગ અને ચાલુ અન્ય પ્રોગ્રામ પર આધારિત છે.
- પેરામીટર
- 71B
- લાઇસન્સ
- llama3.3
- પ્રકાશિત
- 26 નવે, 2024
આ લાઇસન્સ મોડેલ નિર્માતાનું છે. મોડેલનો ઉપયોગ કરતાં પહેલાં તેની શરતો તપાસો.
આ મોડેલ ડાઉનલોડ કરતાં પહેલાં Hugging Face આપને નિર્માતાની શરતો સ્વીકારવા કહે છે. તેના માટે કોઈ કિટ વેચાતી નથી.
Hugging Face પર મૂળ ↗ક્વોન્ટાઇઝેશન મુજબ જરૂરી મેમરી
8,192 ટોકનના કોન્ટેક્સ્ટ પર, રનટાઇમ માટેના 0.8 GB સહિત.
| ક્વોન્ટાઇઝેશન | મોડેલ ફાઇલ | કુલ |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(અંદાજે) |
| Q5_K_M | 50.2 GB | 56.0 GB(અંદાજે) |
| Q6_K | 57.9 GB | 64.4 GB(અંદાજે) |
| Q8_0 | 75.0 GB | 83.3 GB(અંદાજે) |
| F16 | 141.1 GB | 156.0 GB(અંદાજે) |
ગ્રાફિક્સ કાર્ડ પર તેને ચલાવતું હાર્ડવેર
Q4_K_M અને 8,192 ટોકનના કોન્ટેક્સ્ટ પર.
અમે યાદીમાં રાખેલું કોઈ પણ હાર્ડવેર આ સેટિંગ પર તેને સંપૂર્ણપણે ગ્રાફિક્સ કાર્ડ પર ચલાવતું નથી.
આપના કમ્પ્યુટર પર તપાસોAPI દ્વારા એ જ મોડેલ
સૌથી સસ્તો વિક્રેતા: NanoGPT, સામાન્ય ઉપયોગ (દિવસની 200 વિનંતીઓ) પર મહિને $0.99.
Model Price Map પર ભાવ જુઓમોડેલની વિગતો Hugging Faceની જાહેર યાદીઓમાંથી લેવામાં આવી છે (નામ, કદ, લાઇસન્સ). દરેક મોડેલ પેજ મૂળ પેજ સાથે લિંક થયેલું છે.