대본 기획 도우미▸ 
AI 앱 
AI 뉴스 MegaTTS 3: ByteDance가 출시한 제로샷 텍스트-음성 합성 시스템
小编 ·
MegaTTS 3: ByteDance가 출시한 제로샷 텍스트-음성 합성 시스템
MegaTTS 3란 무엇인가요?
MegaTTS 3는 ByteDance에서 출시한 제로샷 텍스트 음성 합성 시스템입니다. 경량 확산 모델(diffusion model)을 사용하여 음성을 콘텐츠, 음색, 운율 등의 속성으로 분해하여 모델링하며, 초고음질의 음성 복제, 이중 언어 합성, 억양 강도 제어 등의 기능을 지원하여 음성 합성, 음성 편집 등 다양한 시나리오에 활용될 수 있습니다.
핵심 아키텍처 및 기술
경량화되고 효율적인 확산 모델: MegaTTS 3의 핵심은 TTS Diffusion Transformer로, 매개변수 수가 0.45B에 불과하여 고효율을 유지하면서도 고품질의 음성을 생성할 수 있습니다.
음성 분해 및 모델링: 음성을 콘텐츠, 음색, 운율 등 여러 속성으로 분해하고, 각 속성에 적합한 모듈을 설계하여 모델링합니다. 예를 들어, 음색은 시간에 따라 천천히 변화하는 전역 속성이므로 전역 벡터를 사용하여 모델링하고, 운율은 문장 내에서 빠르게 변화하므로 VQGAN 기반 음향 모델을 사용하여 스펙트로그램을 생성하고, 잠재 코드 기반 언어 모델을 사용하여 운율의 분포를拟合합니다. 언어 모델은 국부적 및 장거리 의존성을 포착할 수 있습니다.
보코더(声码器): GAN 기반 보코더를 사용하여 위상을 적절하게 구성하며, 언어 모델이 위상을 모델링할 필요가 없습니다.
MegaTTS 3 기능 특징
초고음질 음성 복제: 목표 화자와 매우 유사한 음성을 생성할 수 있습니다.
이중 언어 지원: 중국어와 영어, 그리고 중영 혼합 음성 합성을 지원합니다.
제어 가능성: 억양 강도 제어를 지원하며, 앞으로 더 정밀한 발음/길이 조정도 지원할 예정입니다.
제로샷 음성 합성: 목표 화자의 특정 음성 데이터 없이도 해당 화자의 음성을 생성할 수 있습니다.
MegaTTS 3 활용 시나리오
음성 합성: 오디오북, 음성 방송 등 텍스트를 음성으로 변환해야 하는 다양한 시나리오에 활용할 수 있습니다.
음성 편집: 다양한 요구 사항을 충족하기 위해 음성을 편집하고 수정할 수 있습니다.
크로스 언어 음성 합성: 크로스 언어 음성 합성 작업을 지원합니다.
MegaTTS 3 사용 튜토리얼
커맨드라인 도구: 커맨드라인 인터페이스를 제공하여, 입력 음성 프롬프트 파일과 텍스트 내용을 지정하여 합성 음성을 생성할 수 있습니다. 예시:
표준 음성 합성 명령어:
CUDA_VISIBLE_DEVICES=0 python tts/infer_cli.py --input_wav 'assets/Chinese_prompt.wav' --input_text "另一边的桌上，一位读书人嗤之以鼻道，'佛子三藏，神子燕小鱼是什么样的人物，李家的那个李子夜如何与他们相提并论？'" --output_dir ./gen
억양 제어가 포함된 음성 합성 명령어:
CUDA_VISIBLE_DEVICES=0 python tts/infer_cli.py --input_wav 'assets/English_prompt.wav' --input_text '这是一条有口音的音频。' --output_dir ./gen --p_w 1.0 --t_w 3.0
Web UI: Web UI를 통한 음성 합성도 지원합니다.
MegaTTS 3 설치
환경 요구 사항: Python 3.9 환경이 필요합니다.
모델 다운로드: 사전 학습된 모델의 체크포인트는 Google Drive 또는 Hugging Face에서 다운로드할 수 있으며, 지정된 디렉터리에 배치합니다.
설치 단계:
# 创建 Python 3.9 的 conda 环境 conda create -n megatts3-env python=3.9 conda activate megatts3-env # 安装依赖 pip install -r requirements.txt
github 프로젝트:https://github.com/bytedance/MegaTTS3
