meta-llama ৰ দ্বাৰা
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
সকলো সংখ্যা আনুমানিক। মেম'ৰিৰ প্ৰকৃত ব্যৱহাৰ আৰু গতি আপোনাৰ ড্ৰাইভাৰ, ছেটিং আৰু চলি থকা অন্য প্ৰগ্ৰামৰ ওপৰত নিৰ্ভৰ কৰে।
- পেৰামিটাৰ
- 71B
- অনুজ্ঞাপত্ৰ
- llama3.3
- প্ৰকাশৰ তাৰিখ
- Nov 26, 2024
অনুজ্ঞাপত্ৰটো মডেল নিৰ্মাতাৰ। মডেলটো ব্যৱহাৰ কৰাৰ আগতে ইয়াৰ চৰ্তবোৰ পৰীক্ষা কৰক।
এই মডেলটো ডাউনলোড কৰাৰ আগতে Hugging Face এ আপোনাক নিৰ্মাতাৰ চৰ্ত গ্ৰহণ কৰিবলৈ কয়। ইয়াৰ বাবে কোনো কিট বিক্ৰী কৰা নহয়।
Hugging Face ত মূল ↗কোৱান্টাইজেচন অনুসৰি প্ৰয়োজনীয় মেম'ৰি
8,192 টোকেনৰ কনটেক্সটত, ৰানটাইমৰ বাবে 0.8 GB সহ।
| কোৱান্টাইজেচন | মডেল ফাইল | মুঠ |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(মোটামুটি) |
| Q5_K_M | 50.2 GB | 56.0 GB(মোটামুটি) |
| Q6_K | 57.9 GB | 64.4 GB(মোটামুটি) |
| Q8_0 | 75.0 GB | 83.3 GB(মোটামুটি) |
| F16 | 141.1 GB | 156.0 GB(মোটামুটি) |
গ্ৰাফিক্স কাৰ্ডত ইয়াক চলাব পৰা হাৰ্ডৱেৰ
Q4_K_M আৰু 8,192 টোকেনৰ কনটেক্সটত।
আমি তালিকাভুক্ত কৰা কোনো হাৰ্ডৱেৰেই এই ছেটিঙত ইয়াক সম্পূৰ্ণৰূপে গ্ৰাফিক্স কাৰ্ডত চলাব নোৱাৰে।
আপোনাৰ কম্পিউটাৰত পৰীক্ষা কৰকAPI ৰ জৰিয়তে একেটা মডেল
আটাইতকৈ সস্তা বিক্ৰেতা: NanoGPT, ডিফল'ট ব্যৱহাৰত (দিনত 200 টা অনুৰোধ) এমাহত $0.99।
Model Price Map ত মূল্যবোৰ চাওকমডেলৰ তথ্য Hugging Face ৰ সৰ্বসাধাৰণ তালিকাৰ পৰা লোৱা (নাম, আকাৰ, অনুজ্ঞাপত্ৰ)। প্ৰতিটো মডেল পৃষ্ঠাই মূলটোলৈ লিংক দিয়ে।