Whisper

[블로그] [논문] [모델 카드] [Colab 예제]

Whisper는 범용 음성 인식 모델입니다. 다양한 오디오로 구성된 대규모 데이터셋으로 학습되었으며, 다국어 음성 인식, 음성 번역, 언어 식별을 수행할 수 있는 다중 작업 모델이기도 합니다.

접근 방법

트랜스포머 시퀀스-투-시퀀스 모델이 다국어 음성 인식, 음성 번역, 음성 언어 식별, 음성 활동 탐지 등 다양한 음성 처리 작업에서 학습됩니다. 이러한 작업들은 디코더가 예측해야 하는 일련의 토큰으로 공동 표현되어 단일 모델이 기존 음성 처리 파이프라인의 여러 단계를 대체할 수 있게 합니다. 다중 작업 학습 형식은 작업 지정자 또는 분류 목표로 사용할 수 있는 특수 토큰 집합을 사용합니다.

설정

모델을 학습하고 테스트하기 위해 Python 3.9.9와 PyTorch 1.10.1을 사용했지만, 코드베이스는 Python 3.8-3.11과 최신 PyTorch 버전과 호환될 것으로 예상됩니다. 또한 코드베이스는 몇 가지 Python 패키지에 의존하며, 특히 OpenAI의 빠른 토크나이저 구현을 위해 tiktoken이 필요합니다. Whisper 최신 릴리스를 다운로드하고 설치(또는 업데이트)하려면 다음 명령어를 사용하세요:

pip install -U openai-whisper

또는, 다음 명령어를 사용하면 이 저장소의 최신 커밋과 해당 Python 종속성을 함께 설치할 수 있습니다:

pip install git+ 

패키지를 이 저장소의 최신 버전으로 업데이트하려면, pl

---

🌐 본 텍스트는 빠른 이해를 돕기 위한 요약 번역본입니다. 정확한 기술 정보 및 전체 코드는 GitHub 원문에서 확인하실 수 있습니다.