제작: meta-llama
Llama 3.3 70B Instruct
meta-llama/Llama-3.3-70B-Instruct
모든 수치는 추정치입니다. 실제 메모리 사용량과 속도는 드라이버, 설정, 함께 실행 중인 다른 프로그램에 따라 달라집니다.
- 파라미터
- 71B
- 라이선스
- llama3.3
- 공개일
- 2024년 11월 26일
라이선스는 모델 제작사의 것입니다. 모델을 쓰기 전에 조건을 확인하세요.
Hugging Face에서 이 모델을 내려받으려면 먼저 제작사 약관에 동의해야 합니다. 이 모델의 키트는 판매하지 않습니다.
Hugging Face 원본 ↗양자화별 필요한 메모리
컨텍스트 8,192 토큰 기준이며, 런타임용 0.8 GB를 포함합니다.
| 양자화 | 모델 파일 | 합계 |
|---|---|---|
| Q4_K_M | 42.8 GB | 47.9 GB(대략) |
| Q5_K_M | 50.2 GB | 56.0 GB(대략) |
| Q6_K | 57.9 GB | 64.4 GB(대략) |
| Q8_0 | 75.0 GB | 83.3 GB(대략) |
| F16 | 141.1 GB | 156.0 GB(대략) |
그래픽카드에서 실행할 수 있는 하드웨어
Q4_K_M, 컨텍스트 8,192 토큰 기준입니다.
이 설정에서는 목록의 어떤 하드웨어도 그래픽카드만으로 실행하지 못합니다.
내 컴퓨터에서 확인하기API로 쓰는 같은 모델
가장 싼 판매처: NanoGPT, 기본 사용량(하루 200회 요청)에서 한 달 $0.99.
Model Price Map에서 가격 보기모델 정보(이름, 크기, 라이선스)는 Hugging Face의 공개 목록에서 가져옵니다. 모델 페이지마다 원본 링크가 있습니다.