OpenBMB / VoxCPM

VoxCPM2: 다국어 음성 생성, 창의적 음성 디자인, 실제와 같은 클로닝을 위한 토크나이저 없는 TTS

영어 | 中文

👋 토론과 지원을 위한 커뮤니티에 참여하세요!

Feishu | Discord

VoxCPM은 토크나이저 없는 텍스트-투-스피치 시스템으로, 이산 토큰화를 거치지 않고 **끝에서 끝까지의 확산 자기회귀 구조(diffusion autoregressive architecture)**를 통해 연속적인 음성 표현을 직접 생성하여 매우 자연스럽고 표현력 있는 합성을 실현합니다.

VoxCPM2는 최신 주요 버전으로, 20억(2B) 매개변수 모델이며, 200만 시간 이상의 다국어 음성 데이터를 학습하였고, 현재 30개 언어, 음성 디자인, 제어 가능한 음성 클로닝, 그리고 48kHz 스튜디오 품질 오디오 출력을 지원합니다. MiniCPM-4 백본 기반으로 구축되었습니다.

✨ 주요 특징

• 🌍 30개 언어 다국어 지원 — 30개 지원 언어 중 어느 언어의 텍스트라도 입력하면 바로 합성 가능하며, 언어 태그 불필요
• 🎨 음성 디자인 — 자연어 설명만으로 새로운 음성 생성 가능 (성별, 나이, 톤, 감정, 속도 등), 참조 오디오 필요 없음
• 🎛️ 제어 가능한 클로닝 — 짧은 참조 클립에서 어떤 음성이든 클로닝 가능하며, 선택적 스타일 가이드를 통해 감정, 속도, 표현을 조절하면서 원래 음색 유지
• 🎙️ 궁극의 클로닝 — 모든 음성 뉘앙스를 재현: 참조 오디오와 그 전사(transcript)를 제공하면 모델이 참조에서 매끄럽게 이어져 모든 뉘앙스를 충실히 유지

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.