StreamSpeech：ストリーミング音声入力向けリアルタイム翻訳モデル 191

StreamSpeechは、ストリーミング音声入力によるリアルタイム翻訳を実現できるモデルで、オフラインおよび同期音声認識、音声翻訳、音声合成に使用されます。リアルタイム通信において、音声を即座に別の言語に翻訳し、対応する目標言語の音声を出力することができます。

音声を別の言語に翻訳するだけでなく、音声内容をリアルタイムでテキストに変換することもできます。ユーザーは音声とテキストの両方の形式で翻訳結果を同時に取得でき、翻訳プロセスは同期して行われるため、音声入力全体が終了するのを待つ必要がなく、低遅延のリアルタイム翻訳を実現します。

StreamSpeechはまた、翻訳プロセス中にリアルタイムの音声認識結果を表示し、ユーザーが翻訳の進行状況を即座に把握できるよう支援します。

StreamSpeechは、翻訳イヤホン、会議システム、ライブ配信プラットフォームなど、さまざまなアプリケーションやデバイスにシームレスに統合でき、ユーザーに便利な翻訳サービスを提供できます。個人デバイスでの使用でも、大規模な会議システムでの応用でも、Simul-S2STは安定したパフォーマンスを提供します。

StreamSpeechの応用シナリオ：

• 国際会議でStreamSpeechを使用して同時通訳を行う。

• 多国籍企業がStreamSpeechを使用してリモート会議を行い、リアルタイムの多言語コミュニケーションを実現する。

• 言語学習者がStreamSpeechを使用して異なる言語の聴力と口語を練習する。

StreamSpeechの特長：

• StreamSpeechは、オフラインおよび同期の音声対音声翻訳の両方でSOTA性能を実現しています。

• StreamSpeechは、「オールインワン」シームレスモデルにより、ストリーミングASR、同期音声対テキスト翻訳、同期音声対音声翻訳を実行します。

• StreamSpeechは、同時通訳プロセス中に中間結果（ASRまたは翻訳結果）を提示し、より包括的な低遅延通信体験を提供します。

StreamSpeechは、リアルタイムの異言語コミュニケーションが必要な専門家に非常に適しています。翻訳遅延を削減することで、異なる言語背景を持つ人々がリアルタイムでスムーズに会話できるようにします。"

公式サイト：https://ictnlp.github.io/StreamSpeech-site/

Github：https://github.com/ictnlp/StreamSpeech

論文：https://arxiv.org/abs/2406.03049