Kyutai TTS：リアルタイム用途向けに設計されたオープンソースのテキスト読み上げツール 80

小编 · 2025-07-05

Kyutai TTSは、フランスのKyutai Labsが開発した、リアルタイム用途向けに設計されたオープンソースのテキスト読み上げモデルです。パラメータ数は16億、英語とフランス語の単語誤り率はそれぞれ2.82%と3.29%、音声生成の遅延はわずか220msで、ライブ配信や音声アシスタントに適しています。ストリーミング処理と低遅延モデリング技術により、テキストから音声への変換がより効率的になっています。

Kyutai TTS：リアルタイム用途向けに設計されたオープンソースのテキスト読み上げツール

Kyutai TTS は、フランスの Kyutai Labs が開発したオープンソースのテキスト読み上げモデルで、リアルタイムアプリケーション向けに設計されています。パラメータ数は 1.6B で、英語とフランス語の単語誤り率はそれぞれ 2.82% と 3.29%、音声生成の遅延はわずか 220 ミリ秒で、ライブ配信や音声アシスタントなどの用途に適しています。そのストリーミング処理と遅延ストリーミングモデリング技術により、テキストと音声の生成がより効率的になります。

Kyutai TTS：リアルタイムシナリオ向けに設計されたオープンソースのテキスト読み上げツール

技術的特徴：

ストリーミング処理と低遅延：Kyutai TTS は、最初のテキストトークンを受信した直後から音声を生成でき、遅延はわずか 220 ミリ秒です。NVIDIA L40S GPU 上で 32 件のリクエストを処理する場合、遅延は約 350 ミリ秒です。

高精度な音声出力：英語とフランス語の単語誤り率はそれぞれ 2.82% と 3.29%、話者類似度はそれぞれ 77.1% と 78.7% に達し、音声は自然で元のサンプルに近いです。

長文コンテンツの生成：長文を処理でき、従来の TTS モデルの 30 秒制限を突破します。

音声クローン：ユーザーが 10 秒間の音声サンプルを提供すると、モデルは話者の声色やイントネーションなどを再現できます。合法性を確保するため、Kyutai TTS は公開データセットに基づく音声ライブラリを提供しており、音声埋め込みモデルは直接公開していません。

単語タイムスタンプ：生成された音声の各単語には正確なタイムスタンプが付けられており、リアルタイムの字幕生成やインタラクティブアプリケーションに便利です。

アーキテクチャと学習：

遅延ストリーミングモデリング（DSM）：モデルはテキストを受信しながらリアルタイムで音声を生成でき、ストリーミングテキスト入力をサポートし、複数のリクエストを同時に処理できます。
学習データとハードウェア：250 万時間の公開オーディオデータを使用して学習され、転写テキストは Whisper によって生成されました。学習プロセスでは 32 個の H100 GPU が使用されました。