IndexTTS: Bibili에서 XTTS와 Tortoise 기반으로 개발한 TTS 모델 118

IndexTTS는 B사이트(빌리빌리)가 XTTS와 Tortoise를 기반으로 개발한 텍스트 음성 변환 모델로, 산업급 제로샷 TTS 기능을 갖추고 있습니다. 중국어 시나리오를 대상으로 문자-병음 혼합 모델링을 혁신적으로 채택하여 발음 오류를 빠르게 교정할 수 있으며, Conformer 조건부 인코더와 BigVGAN2 디코더를 결합하여 학습 안정성, 음색 복원도 및 출력 음질을 향상시켰습니다.

핵심 기능:

✅ 중국어 및 영어 이중 언어 지원

✅ 중국어 병음 교정: 병음을 입력하여 다성자의 발음 조정 (예: "长"을 "zhǎng" 또는 "cháng"으로 지정 가능)

✅ 구두점 휴지 제어: 구두점을 통해 음성 휴지 리듬 제어

✅ 음질 강화: Conformer 인코더가 음색 특징을 추출하고, BigVGAN2 디코더가 파형 생성 품질을 향상

✅ 감정 분리 제어: 감정 표현과 화자 음색을 독립적으로 조절

✅ 정밀한 길이 제어: 토큰 수 지정 또는 자기회귀 생성의 두 가지 모드 지원

기술 하이라이트:

✅ 중국어 혼합 모델링: 입력 레이어에서 순수 텍스트/병음 혼합 입력을 호환하며, 미표시 병음을 자동 예측하여 단어 오류율 감소

✅ Conformer 인코더: 합성곱과 자기 주의 메커니즘을 융합하여 음색 운율 모델링 강화

✅ BigVGAN2 디코더: GAN 아키텍처 기반의 파형 생성기로, 계산 효율과 음질 표현을兼顾

주요 장점:

✓ 다성자 정밀 발음

✓ 자연스러운 휴지 리듬

✓ 고음질 음성

✓ 빠른 음성 복제

✓ 중국어 및 영어 이중 언어 지원

대표적인 적용 사례:

IndexTTS가 합성한 음성은 감정이 자연스럽고 충만하며 실제 사람에 가까워, 지능형 비서 | 오디오북 | 영상더빙 | 지능형 고객 서비스 | 교육 도구 등 다양한场景에广泛 적용됩니다.

성능表现

✓ 자연스러움 및 일관성: 자연스러움, 내용 일관성 및 제로샷 음성 복제에서 IndexTTS는 XTTS 등 기존 모델에 비해 현저한 개선을 보입니다.

✓ 학습 및 추론 효율: 학습 과정이 비교적 간단하고 추론 속도가 더 빠르며, 성능은 Fish-Speech, CosyVoice2, FireRedTTS, F5-TTS 등 주류 오픈소스 TTS 시스템을 능가합니다.

✓ 코드북 활용률: 벡터 양자화(VQ)와 유한 슈르 양자화(FSQ)와 비교하여 코드북 붕괴 문제를 해결했으며, 코드북 활용률이 100%에 근접합니다.

배포 방식:

1. GitHub 코드 저장소 복제

2. PyTorch 등 의존성 설치

3. 오디오 데이터 준비 및 전처리

4. 사전 학습된 모델 학습 또는 로드

5. 매개변수 조정 후 오디오 파일 생성

프로젝트 주소:https://github.com/index-tts/index-tts