開発元：meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
数値はすべて推定です。実際のメモリ使用量と速度は、ドライバー・設定・同時に動いている他のプログラムによって変わります。
- パラメーター数
- 71B
- ライセンス
- llama3.3
- 公開日
- 2024年11月26日
ライセンスはモデル開発元のものです。モデルを使う前に条件を確認してください。
このモデルは、ダウンロードの前に開発元の規約への同意が Hugging Face で求められます。このモデルのキットは販売していません。
Hugging Face の元ページ ↗量子化ごとの必要メモリ
コンテキスト 8,192 トークンの場合。ランタイム分の 0.8 GB を含みます。
| 量子化 | モデルファイル | 合計 |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(概算) |
| Q5_K_M | 50.2 GB | 56.0 GB(概算) |
| Q6_K | 57.9 GB | 64.4 GB(概算) |
| Q8_0 | 75.0 GB | 83.3 GB(概算) |
| F16 | 141.1 GB | 156.0 GB(概算) |
グラフィックカード上で動かせるハードウェア
Q4_K_M、コンテキスト 8,192 トークンの場合。
この設定では、掲載しているハードウェアのどれもグラフィックカードだけで動かすことはできません。
お使いのコンピューターで確認同じモデルを API で使う場合
最安の提供元：NanoGPT。標準の利用量（1日 200 リクエスト）で月 $0.99。
Model Price Map で価格を見るモデルの情報（名前・サイズ・ライセンス）は Hugging Face の公開リストから取得しています。各モデルのページに元のページへのリンクがあります。