በmeta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
ሁሉም አሃዞች ግምቶች ናቸው። እውነተኛው የሜሞሪ አጠቃቀም እና ፍጥነት በድራይቨሮችዎ፣ በቅንብሮችዎ እና በሚሠሩ ሌሎች ፕሮግራሞች ላይ ይመሠረታል።
- ፓራሜተሮች
- 71B
- ፈቃድ
- llama3.3
- የታተመበት
- ኖቬም 26 2024
ፈቃዱ የሞዴሉ አምራች ነው። ሞዴሉን ከመጠቀምዎ በፊት ውሉን ይመልከቱ።
Hugging Face ይህን ሞዴል ከማውረድዎ በፊት የአምራቹን ውል እንዲቀበሉ ይጠይቃል። ለዚህ ሞዴል ኪት አይሸጥም።
ዋናው በHugging Face ላይ ↗በኳንታይዜሽን የሚያስፈልግ ሜሞሪ
በ8,192 ቶከኖች ኮንቴክስት፣ ለሩንታይም የሚያስፈልገውን 0.8 GB ጨምሮ።
| ኳንታይዜሽን | የሞዴል ፋይል | ድምር |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(ግምታዊ) |
| Q5_K_M | 50.2 GB | 56.0 GB(ግምታዊ) |
| Q6_K | 57.9 GB | 64.4 GB(ግምታዊ) |
| Q8_0 | 75.0 GB | 83.3 GB(ግምታዊ) |
| F16 | 141.1 GB | 156.0 GB(ግምታዊ) |
በግራፊክስ ካርዱ ላይ የሚያሄደው ሃርድዌር
በQ4_K_M እና በ8,192 ቶከኖች ኮንቴክስት።
ከምንዘረዝራቸው ሃርድዌሮች ውስጥ በዚህ ቅንብር ሙሉ በሙሉ በግራፊክስ ካርዱ ላይ የሚያሄደው የለም።
በኮምፒውተርዎ ላይ ይመልከቱተመሳሳዩ ሞዴል በኤፒአይ
በጣም ርካሽ ሻጭ፦ NanoGPT፣ በነባሪ አጠቃቀም (በቀን 200 ጥያቄዎች) በወር $0.99።
ዋጋዎቹን በModel Price Map ላይ ይመልከቱየሞዴል ዝርዝሮች የተወሰዱት ከHugging Face የሕዝብ ዝርዝሮች ነው (ስሞች፣ መጠኖች፣ ፈቃዶች)። እያንዳንዱ የሞዴል ገጽ ወደ ዋናው ይመራል።