ដោយ meta-llama
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
តួលេខទាំងអស់ជាការប៉ាន់ស្មាន។ ការប្រើអង្គចងចាំ និងល្បឿនពិតប្រាកដ អាស្រ័យលើកម្មវិធីបញ្ជា (driver) ការកំណត់ និងកម្មវិធីផ្សេងទៀតដែលកំពុងដំណើរការរបស់អ្នក។
- ប៉ារ៉ាម៉ែត្រ
- 1.2B
- អាជ្ញាប័ណ្ណ
- llama3.2
- បានបោះពុម្ពផ្សាយ
- Sep 18, 2024
អាជ្ញាប័ណ្ណនេះជារបស់អ្នកផលិតម៉ូដែល។ សូមពិនិត្យលក្ខខណ្ឌរបស់វា មុនពេលប្រើម៉ូដែល។
Hugging Face តម្រូវឱ្យអ្នកយល់ព្រមលក្ខខណ្ឌរបស់អ្នកផលិត មុនពេលទាញយកម៉ូដែលនេះ។ មិនមានកញ្ចប់លក់សម្រាប់វាទេ។
ប្រភពដើមនៅលើ Hugging Face ↗អង្គចងចាំដែលត្រូវការតាម quantization
នៅបរិបទ 8,192 token រួមទាំង 0.8 GB សម្រាប់ runtime។
| Quantization | ឯកសារម៉ូដែល | សរុប |
|---|---|---|
| Q4_K_M | 0.7 GB | 1.6 GB(ប្រហាក់ប្រហែល) |
| Q5_K_M | 0.9 GB | 1.8 GB(ប្រហាក់ប្រហែល) |
| Q6_K | 1.0 GB | 1.9 GB(ប្រហាក់ប្រហែល) |
| Q8_0 | 1.3 GB | 2.2 GB(ប្រហាក់ប្រហែល) |
| F16 | 2.5 GB | 3.5 GB(ប្រហាក់ប្រហែល) |
ផ្នែករឹងដែលដំណើរការវាលើកាតក្រាហ្វិក
នៅ Q4_K_M និងបរិបទ 8,192 token។
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
ម៉ូដែលដូចគ្នាតាមរយៈ API
អ្នកលក់ថោកបំផុត៖ Inference, $0.09 ក្នុងមួយខែ តាមការប្រើប្រាស់លំនាំដើម (200 សំណើក្នុងមួយថ្ងៃ)។
មើលតម្លៃនៅលើ Model Price Mapព័ត៌មានលម្អិតអំពីម៉ូដែល (ឈ្មោះ ទំហំ អាជ្ញាប័ណ្ណ) មកពីបញ្ជីសាធារណៈរបស់ Hugging Face។ ទំព័រម៉ូដែលនីមួយៗមានតំណទៅកាន់ប្រភពដើម។