deepseek-ai / DeepSeek-V3

논문 링크👁️

목차

1. 소개
2. 모델 요약
3. 모델 다운로드
4. 평가 결과
5. 채팅 웹사이트 및 API 플랫폼
6. 로컬 실행 방법
7. 라이선스
8. 인용
9. 연락처

1. 소개

우리는 총 671B 파라미터를 가진 강력한 Mixture-of-Experts(MoE) 언어 모델인 DeepSeek-V3를 소개합니다. 각 토큰에 대해 37B가 활성화됩니다. 효율적인 추론과 비용 효율적인 학습을 달성하기 위해, DeepSeek-V3는 DeepSeek-V2에서 철저히 검증된 멀티헤드 잠재 주의(Multi-head Latent Attention, MLA) 및 DeepSeekMoE 아키텍처를 채택합니다. 또한 DeepSeek-V3는 부하 균형을 위한 보조 손실 없는 전략을 개척하고, 더 강력한 성능을 위해 다중 토큰 예측 학습 목표를 설정합니다. 우리는 DeepSeek-V3를 14.8조 개의 다양하고 고품질 토큰으로 사전 학습한 후, 지도 학습(Supervised Fine-Tuning) 및 강화 학습(Reinforcement Learning) 단계를 거쳐 그 능력을 최대한 활용합니다. 종합적인 평가 결과, DeepSeek-V3는 다른 오픈소스 모델을 능가하며, 선도적인 폐쇄형 모델과 비교 가능한 성능을 달성합니다. 뛰어난 성능에도 불구하고, DeepSeek-V3는 전체 학습에 단 2.788M H800 GPU 시간이 필요합니다. 또한 학습 과정은 매우 안정적입니다. 전체 학습 과정 동안 회복 불가능한 손실 급등이나 롤백 없이 진행되었습니다.

2. 모델 요약

---

아키텍처: 혁신적인 부하 균형 전략 및 학습 목표

• DeepSeek-V2의 효율적인 아키텍처 위에, 우리는 pio

---

🚀 가벼운 미리보기 모드: 페이지 속도를 위해 핵심 도입부만 번역되었습니다. 전체 코드는 원문 GitHub에서 확인하세요!