Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten MegaTTS 3: Zero-Shot Text-to-Speech-System von ByteDance
小编 ·
MegaTTS 3: Zero-Shot Text-to-Speech-System von ByteDance
Was ist MegaTTS 3?
MegaTTS 3 ist ein Zero-Shot-Text-zu-Sprache-Synthesesystem, das von ByteDance entwickelt wurde. Es verwendet ein leichtgewichtiges Diffusionsmodell, das Sprache in Inhalt, Klangfarbe und Prosodie zerlegt und diese Attribute modelliert. Es unterstützt hochwertiges Voice Cloning, zweisprachige Synthese, Steuerung der Akzentstärke und weitere Funktionen und kann in Szenarien wie Sprachsynthese und Sprachbearbeitung eingesetzt werden.
Kernarchitektur und Technologie
Leichtgewichtiges und effizientes Diffusionsmodell: Das Herzstück von MegaTTS 3 ist der TTS Diffusion Transformer mit nur 0,45B Parametern, der bei gleichbleibend hoher Effizienz qualitativ hochwertige Sprache erzeugen kann.
Sprachzerlegung und Modellierung: Die Sprache wird in verschiedene Attribute wie Inhalt, Klangfarbe und Prosodie zerlegt, und für jedes Attribut werden geeignete Module zur Modellierung entwickelt. Beispielsweise werden globale Vektoren zur Modellierung der Klangfarbe verwendet, da die Klangfarbe eine globale Eigenschaft ist, die sich im Zeitverlauf langsam ändert; ein auf VQGAN basierendes akustisches Modell erzeugt Spektrogramme, und ein auf latenten Codes basierendes Sprachmodell modelliert die Prosodieverteilung, da sich die Prosodie innerhalb eines Satzes schnell ändert und das Sprachmodell lokale sowie weitreichende Abhängigkeiten erfassen kann.
Vocoder: Es wird ein GAN-basierter Vocoder verwendet, um die Phase angemessen zu konstruieren, ohne dass ein Sprachmodell die Phase modellieren muss.
Funktionsmerkmale von MegaTTS 3
Voice Cloning in höchster Qualität: Kann Sprache erzeugen, die dem Zielsprecher sehr ähnlich ist.
Zweisprachige Unterstützung: Unterstützt Chinesisch und Englisch sowie gemischte chinesisch-englische Sprachsynthese.
Steuerbarkeit: Unterstützt die Steuerung der Akzentstärke und wird in Zukunft auch feinere Aussprache-/Daueranpassungen ermöglichen.
Zero-Shot-Sprachsynthese: Kann die Stimme eines Zielsprechers erzeugen, ohne dass spezifische Sprachdaten dieses Sprechers vorhanden sind.
Anwendungsszenarien für MegaTTS 3
Sprachsynthese: Kann in verschiedenen Szenarien eingesetzt werden, in denen Text in Sprache umgewandelt werden muss, z. B. Hörbücher, Sprachansagen usw.
Sprachbearbeitung: Ermöglicht das Bearbeiten und Ändern von Sprache, um unterschiedliche Anforderungen zu erfüllen.
Sprachübergreifende Sprachsynthese: Unterstützt sprachübergreifende Sprachsyntheseaufgaben.
MegaTTS 3 Nutzungsanleitung
Kommandozeilen-Tool: Es wird eine Kommandozeilenoberfläche bereitgestellt, mit der Benutzer durch Angabe der Eingabe-Sprachaufforderungsdatei und des Textinhalts synthetisierte Sprache erzeugen können. Zum Beispiel:
Standardbefehl zur Sprachsynthese:
CUDA_VISIBLE_DEVICES=0 python tts/infer_cli.py --input_wav 'assets/Chinese_prompt.wav' --input_text "另一边的桌上，一位读书人嗤之以鼻道，'佛子三藏，神子燕小鱼是什么样的人物，李家的那个李子夜如何与他们相提并论？'" --output_dir ./gen
Sprachsynthesebefehl mit Akzentsteuerung:
CUDA_VISIBLE_DEVICES=0 python tts/infer_cli.py --input_wav 'assets/English_prompt.wav' --input_text '这是一条有口音的音频。' --output_dir ./gen --p_w 1.0 --t_w 3.0
Web UI: Die Sprachsynthese wird auch über eine Web-UI unterstützt.
MegaTTS 3 Installation
Umgebungsanforderungen: Python 3.9-Umgebung ist erforderlich.
Modelldownload: Die Checkpoints des vortrainierten Modells können von Google Drive oder Hugging Face heruntergeladen und in das angegebene Verzeichnis gelegt werden.
Installationsschritte:
# 创建 Python 3.9 的 conda 环境 conda create -n megatts3-env python=3.9 conda activate megatts3-env # 安装依赖 pip install -r requirements.txt
GitHub-Projekt: https://github.com/bytedance/MegaTTS3
