脚本プランナー▸ 
AIアプリ 
AIニュース MegaTTS 3：ByteDanceが発表したゼロショット音声合成システム
小编 ·
MegaTTS 3：ByteDanceが発表したゼロショット音声合成システム
MegaTTS 3とは？
MegaTTS 3はバイトダンスが発表したゼロショットテキスト読み上げ合成システムです。軽量な拡散モデルを採用し、音声を内容・声色・韻律などの属性に分解してモデリングを行います。超高音質の音声クローン、二言語合成、アクセント強度の制御などの機能をサポートしており、音声合成や音声編集などのシナリオに応用できます。
コアアーキテクチャと技術
軽量で高効率な拡散モデル：MegaTTS 3の中核はTTS Diffusion Transformerであり、パラメータ数はわずか0.45Bです。高い効率を保ちながら、高品質な音声を生成できます。
音声の分解とモデリング：音声を内容・声色・韻律などの異なる属性に分解し、各属性に対して適切なモジュールを設計してモデリングを行います。例えば、声色は時間とともに緩やかに変化する全体的な属性であるため、全体ベクトルを使用してモデリングします。韻律は文中で急速に変化し、言語モデルが局所的および長距離の依存関係を捉えることができるため、VQGANに基づく音響モデルを使用してスペクトログラムを生成し、潜在コードに基づく言語モデルを使用して韻律の分布を近似します。
ボコーダー：位相をモデル化するために言語モデルを必要とせず、GANに基づくボコーダーを使用して適切に位相を構築します。
MegaTTS 3の機能特徴
超高音質の音声クローン：ターゲット話者と非常に類似した音声を生成できます。
二言語サポート：中国語と英語、および中英混合の音声合成をサポートします。
制御性：アクセント強度の制御をサポートし、将来的にはより精密な発音/長さの調整もサポートする予定です。
ゼロショット音声合成：ターゲット話者の特定の音声データがない場合でも、その音声を生成できます。
MegaTTS 3の応用シナリオ
音声合成：オーディオブックや音声放送など、テキストを音声に変換する必要があるさまざまなシナリオで使用できます。
音声編集：さまざまなニーズに対応するために、音声を編集・修正することができます。
言語横断音声合成：言語を横断する音声合成タスクをサポートします。
MegaTTS 3の使用チュートリアル
コマンドラインツール：コマンドラインインターフェースが提供されており、ユーザーは入力音声プロンプトファイルとテキスト内容を指定することで合成音声を生成できます。例：
標準音声合成コマンド：
CUDA_VISIBLE_DEVICES=0 python tts/infer_cli.py --input_wav 'assets/Chinese_prompt.wav' --input_text "另一边的桌上，一位读书人嗤之以鼻道，'佛子三藏，神子燕小鱼是什么样的人物，李家的那个李子夜如何与他们相提并论？'" --output_dir ./gen
アクセント制御付き音声合成コマンド：
CUDA_VISIBLE_DEVICES=0 python tts/infer_cli.py --input_wav 'assets/English_prompt.wav' --input_text '这是一条有口音的音频。' --output_dir ./gen --p_w 1.0 --t_w 3.0
Web UI：Web UIを介した音声合成もサポートしています。
MegaTTS 3のインストール
環境要件：Python 3.9環境が必要です。
モデルダウンロード：事前学習済みモデルのチェックポイントはGoogle DriveまたはHugging Faceからダウンロードでき、指定されたディレクトリに配置します。
インストール手順：
# Python 3.9 の conda 環境を作成 conda create -n megatts3-env python=3.9 conda activate megatts3-env # 依存関係のインストール pip install -r requirements.txt
githubプロジェクト：https://github.com/bytedance/MegaTTS3
