deepseek-ai / DeepSeek-V3

논문 링크👁️

목차

1. 소개
2. 모델 요약
3. 모델 다운로드
4. 평가 결과
5. 채팅 웹사이트 및 API 플랫폼
6. 로컬 실행 방법
7. 라이선스
8. 인용
9. 연락처

1. 소개

우리는 총 671B 파라미터를 가진 강력한 Mixture-of-Experts(MoE) 언어 모델인 DeepSeek-V3를 소개합니다. 각 토큰에 대해 37B 파라미터가 활성화됩니다. 효율적인 추론과 비용 효율적인 학습을 달성하기 위해 DeepSeek-V3는 Multi-head Latent Attention(MLA)과 DeepSeekMoE 아키텍처를 채택했으며, 이는 DeepSeek-V2에서 철저하게 검증되었습니다. 더 나아가 DeepSeek-V3는 보조 손실 없는 로드 밸런싱 전략을 선도하고, 더 강력한 성능을 위해 다중 토큰 예측 학습 목표를 설정합니다. 우리는 DeepSeek-V3를 14.8조 개의 다양하고 고품질 토큰으로 사전 학습한 후, 지도 학습 세부 조정과 강화 학습 단계를 통해 그 능력을 최대한 활용합니다. 포괄적인 평가 결과, DeepSeek-V3는 다른 오픈소스 모델을 능가하며, 선도적인 폐쇄형 모델과 비교 가능한 성능을 달성합니다. 탁월한 성능에도 불구하고, DeepSeek-V3의 전체 학습에는 단지 2.788M H800 GPU 시간이 소요됩니다. 또한, 학습 과정은 매우 안정적입니다. 전체 학습 과정 동안 회복 불가능한 손실 급증이나 롤백을 경험하지 않았습니다.

2. 모델 요약

---

아키텍처: 혁신적인 로드 밸런싱 전략 및 학습 목표

• DeepSeek-V2의 효율적인 아키텍처를 기반으로, 우리는

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.