meta-llama ৰ দ্বাৰা
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
সকলো সংখ্যা আনুমানিক। মেম'ৰিৰ প্ৰকৃত ব্যৱহাৰ আৰু গতি আপোনাৰ ড্ৰাইভাৰ, ছেটিং আৰু চলি থকা অন্য প্ৰগ্ৰামৰ ওপৰত নিৰ্ভৰ কৰে।
- পেৰামিটাৰ
- 1.2B
- অনুজ্ঞাপত্ৰ
- llama3.2
- প্ৰকাশৰ তাৰিখ
- Sep 18, 2024
অনুজ্ঞাপত্ৰটো মডেল নিৰ্মাতাৰ। মডেলটো ব্যৱহাৰ কৰাৰ আগতে ইয়াৰ চৰ্তবোৰ পৰীক্ষা কৰক।
এই মডেলটো ডাউনলোড কৰাৰ আগতে Hugging Face এ আপোনাক নিৰ্মাতাৰ চৰ্ত গ্ৰহণ কৰিবলৈ কয়। ইয়াৰ বাবে কোনো কিট বিক্ৰী কৰা নহয়।
Hugging Face ত মূল ↗কোৱান্টাইজেচন অনুসৰি প্ৰয়োজনীয় মেম'ৰি
8,192 টোকেনৰ কনটেক্সটত, ৰানটাইমৰ বাবে 0.8 GB সহ।
| কোৱান্টাইজেচন | মডেল ফাইল | মুঠ |
|---|---|---|
| Q4_K_M | 0.7 GB | 1.6 GB(মোটামুটি) |
| Q5_K_M | 0.9 GB | 1.8 GB(মোটামুটি) |
| Q6_K | 1.0 GB | 1.9 GB(মোটামুটি) |
| Q8_0 | 1.3 GB | 2.2 GB(মোটামুটি) |
| F16 | 2.5 GB | 3.5 GB(মোটামুটি) |
গ্ৰাফিক্স কাৰ্ডত ইয়াক চলাব পৰা হাৰ্ডৱেৰ
Q4_K_M আৰু 8,192 টোকেনৰ কনটেক্সটত।
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
API ৰ জৰিয়তে একেটা মডেল
আটাইতকৈ সস্তা বিক্ৰেতা: Inference, ডিফল'ট ব্যৱহাৰত (দিনত 200 টা অনুৰোধ) এমাহত $0.09।
Model Price Map ত মূল্যবোৰ চাওকমডেলৰ তথ্য Hugging Face ৰ সৰ্বসাধাৰণ তালিকাৰ পৰা লোৱা (নাম, আকাৰ, অনুজ্ঞাপত্ৰ)। প্ৰতিটো মডেল পৃষ্ঠাই মূলটোলৈ লিংক দিয়ে।