CSM：Sesameの音声合成モデル、まるで本物の人間と会話しているよう 184

小编 · 2025-03-02

CSM（Conversational Speech Model）は、Sesameが開発した会話型音声合成モデルです。Transformerアーキテクチャに基づき、エンドツーエンドのマルチモーダル学習を採用し、文脈や感情の背景を組み合わせることで極めてリアルな人間のような音声を合成し、音声合成分野で優れた性能を発揮します。

CSM：Sesameの音声合成モデル、まるで本物の人間と会話しているよう

CSMとは？

CSM（Conversational Speech Model）は、Sesame社が開発した対話型音声合成モデルです。Transformerアーキテクチャに基づき、エンドツーエンドのマルチモーダル学習手法を採用しており、文脈や感情の背景を組み合わせることで極めてリアルな人間のような音声を合成でき、音声合成分野で優れた性能を発揮します。

CSMの機能と特徴

自然な音声表現：実際の人声のトーン、リズム、音色を模倣し、従来の音声合成システムにあった単調なイントネーションの問題を解決し、合成音声がまるで人間が話しているかのように聞こえます。
繊細な感情表現：感情、間、強調などの自然な要素を取り入れ、怒り、悲しみ、興奮などさまざまな感情を伝えることができ、対話により強い感染力を与えます。
低遅延応答：最適化された計算方法により、対話のスムーズさを確保し、aiの応答時間は極めて短く、人間の即時反応に近いレベルです。
マルチモーダル対話：テキストと音声履歴を同時に入力でき、文脈理解能力を備え、対話の背景や感情を理解するため、音声がより自然で対話性が高くなります。
個性の一貫性：安定した音声特徴を保ち、異なる場面で不調和な状況が発生するのを防ぎ、従来のTTSシステムに見られるロボットのようなイントネーションを排除します。
対話の動的モデリング：人間の対話における自然な間、話速、強調などの要素をシミュレートし、音声対話のリアルさと対話感を強化します。

CSMの技術的なハイライト

エンドツーエンドマルチモーダルTransformerアーキテクチャ：中間処理ステップを経由せず、テキストから直接高品質な音声を生成します。Transformerを中核にすることで、AI音声に文脈理解能力を持たせます。テキストはLLaMA Tokenizerで処理され、音声はMimi Tokenizerでエンコードされ、RVQ量子化技術を採用しています。

Residual Vector Quantization（RVQ）ベースのオーディオ符号化：セマンティックTokenと音響Tokenという2種類のオーディオTokenを使用します。セマンティックTokenは音声の意味や発音特徴を表し、音響Tokenは音高、音色、プロソディなどの詳細を表します。階層的なRVQトレーニングにより、異なる階層が中核と詳細特徴を予測し、情報の損失を回避して音声の自然性を向上させます。

端到端多模态Transformer架构.webp

計算最適化と低遅延推論

遅延モード最適化：下位のRVQ層を先に計算し、その後高位の詳細特徴を順番に計算することで、推論速度を加速します。
計算分散：トレーニング段階では1/16のオーディオフレームをランダムにサンプリングして最適化し、計算要件を削減しつつオーディオ品質には影響しません。
2段階Transformer構造：バックボーンTransformerがテキストとオーディオ情報を処理し、基本構造を予測します。軽量デコーダーがオーディオを精緻化し、計算量を削減して推論速度を向上させます。