← Run Locally · Tất cả mô hình
của meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
Mọi con số đều là ước tính. Mức dùng bộ nhớ và tốc độ thực tế phụ thuộc vào driver, cài đặt và các chương trình khác đang chạy.
- Tham số
- 71B
- Giấy phép
- llama3.3
- Công bố
- 26 thg 11, 2024
Giấy phép là của nhà phát triển mô hình. Hãy xem kỹ các điều khoản trước khi dùng mô hình.
Hugging Face yêu cầu bạn chấp nhận điều khoản của nhà phát triển trước khi tải mô hình này. Mô hình này không có bộ kit nào được bán.
Bản gốc trên Hugging Face ↗Bộ nhớ cần theo mức lượng tử hóa
Với ngữ cảnh 8.192 token, đã gồm 0,8 GB cho runtime.
| Lượng tử hóa | Tệp mô hình | Tổng |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(ước lượng thô) |
| Q5_K_M | 50.2 GB | 56.0 GB(ước lượng thô) |
| Q6_K | 57.9 GB | 64.4 GB(ước lượng thô) |
| Q8_0 | 75.0 GB | 83.3 GB(ước lượng thô) |
| F16 | 141.1 GB | 156.0 GB(ước lượng thô) |
Phần cứng chạy được mô hình trên card đồ họa
Ở mức Q4_K_M và ngữ cảnh 8.192 token.
Với cài đặt này, không phần cứng nào trong danh sách của chúng tôi chạy được mô hình hoàn toàn trên card đồ họa.
Kiểm tra trên máy của bạnCùng mô hình qua API
Nơi bán rẻ nhất: NanoGPT, $0.99 mỗi tháng với mức dùng mặc định (200 yêu cầu mỗi ngày).
Xem giá trên Model Price MapThông tin mô hình lấy từ danh sách công khai của Hugging Face (tên, kích thước, giấy phép). Mỗi trang mô hình đều có liên kết đến bản gốc.