제작: meta-llama
Llama 3.2 1B Instruct
meta-llama/Llama-3.2-1B-Instruct
모든 수치는 추정치입니다. 실제 메모리 사용량과 속도는 드라이버, 설정, 함께 실행 중인 다른 프로그램에 따라 달라집니다.
- 파라미터
- 1.2B
- 라이선스
- llama3.2
- 공개일
- 2024년 9월 18일
라이선스는 모델 제작사의 것입니다. 모델을 쓰기 전에 조건을 확인하세요.
Hugging Face에서 이 모델을 내려받으려면 먼저 제작사 약관에 동의해야 합니다. 이 모델의 키트는 판매하지 않습니다.
Hugging Face 원본 ↗양자화별 필요한 메모리
컨텍스트 8,192 토큰 기준이며, 런타임용 0.8 GB를 포함합니다.
| 양자화 | 모델 파일 | 합계 |
|---|---|---|
| Q4_K_M | 0.7 GB | 1.6 GB(대략) |
| Q5_K_M | 0.9 GB | 1.8 GB(대략) |
| Q6_K | 1.0 GB | 1.9 GB(대략) |
| Q8_0 | 1.3 GB | 2.2 GB(대략) |
| F16 | 2.5 GB | 3.5 GB(대략) |
그래픽카드에서 실행할 수 있는 하드웨어
Q4_K_M, 컨텍스트 8,192 토큰 기준입니다.
- NVIDIA GeForce RTX 3060 (12 GB)
- NVIDIA GeForce RTX 3070
- NVIDIA GeForce RTX 3080 (10 GB)
- NVIDIA GeForce RTX 3090
- NVIDIA GeForce RTX 4070
- NVIDIA GeForce RTX 4070 Ti SUPER
- NVIDIA GeForce RTX 4080 SUPER
- NVIDIA GeForce RTX 4090
- NVIDIA GeForce RTX 5060 Ti (16 GB)
- NVIDIA GeForce RTX 5070
- NVIDIA GeForce RTX 5070 Ti
- NVIDIA GeForce RTX 5080
- NVIDIA GeForce RTX 5090
- AMD Radeon RX 7600
- AMD Radeon RX 7700 XT
- AMD Radeon RX 7800 XT
- AMD Radeon RX 7900 XT
- AMD Radeon RX 7900 XTX
- AMD Radeon RX 9070 XT
- Apple M1 Pro
- Apple M1 Max
- Apple M2
- Apple M2 Pro
- Apple M2 Max
- Apple M3
- Apple M3 Pro
- Apple M3 Max (30-core GPU)
- Apple M3 Max (40-core GPU)
- Apple M4
- Apple M4 Pro
- Apple M4 Max (32-core GPU)
- Apple M4 Max (40-core GPU)
- Apple M5
- AMD Ryzen AI Max+ 395
API로 쓰는 같은 모델
가장 싼 판매처: Inference, 기본 사용량(하루 200회 요청)에서 한 달 $0.09.
Model Price Map에서 가격 보기모델 정보(이름, 크기, 라이선스)는 Hugging Face의 공개 목록에서 가져옵니다. 모델 페이지마다 원본 링크가 있습니다.