開発元:meta-llama
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
数値はすべて推定です。実際のメモリ使用量と速度は、ドライバー・設定・同時に動いている他のプログラムによって変わります。
- パラメーター数
- 1.2B
- ライセンス
- llama3.2
- 公開日
- 2024年9月18日
ライセンスはモデル開発元のものです。モデルを使う前に条件を確認してください。
このモデルは、ダウンロードの前に開発元の規約への同意が Hugging Face で求められます。このモデルのキットは販売していません。
Hugging Face の元ページ ↗量子化ごとの必要メモリ
コンテキスト 8,192 トークンの場合。ランタイム分の 0.8 GB を含みます。
| 量子化 | モデルファイル | 合計 |
|---|---|---|
| Q4_K_M | 0.7 GB | 1.6 GB(概算) |
| Q5_K_M | 0.9 GB | 1.8 GB(概算) |
| Q6_K | 1.0 GB | 1.9 GB(概算) |
| Q8_0 | 1.3 GB | 2.2 GB(概算) |
| F16 | 2.5 GB | 3.5 GB(概算) |
グラフィックカード上で動かせるハードウェア
Q4_K_M、コンテキスト 8,192 トークンの場合。
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
同じモデルを API で使う場合
最安の提供元:Inference。標準の利用量(1日 200 リクエスト)で月 $0.09。
Model Price Map で価格を見るモデルの情報(名前・サイズ・ライセンス)は Hugging Face の公開リストから取得しています。各モデルのページに元のページへのリンクがあります。