脚本プランナー▸ 
AIアプリ 
AIニュース SpeechGPT 2.0-preview：インタラクションと情景知能に向けた初の音声対話モデル
小编 ·
SpeechGPT 2.0-preview：インタラクションと情景知能に向けた初の音声対話モデル
復旦大学OpenMOSS人工知能オープンラボは、リアルタイム対話とシナリオ知能に対応した初のオープンソース音声対話モデル「SpeechGPT 2.0-preview」を発表しました。SpeechGPT 2.0-previewは百万時間級の中文音声データに基づいて訓練され、エンドツーエンドアーキテクチャにより音声とテキストモダリティの高次元融合を実現し、特定のキャラクターの感情を模倣するなど、指示に応じて多感情・多スタイルの音声を生成できます。
一、コア技術におけるブレークスルー
1. エンドツーエンド音声モデリング
モデルはセマンティック－音響統合モデリングにより、音声入力を直接処理して音声またはテキスト出力を生成します。従来のカスケード型ASR（音声認識）やTTS（音声合成）モジュールは不要です。独自開発した超低ビットレートストリーミング音声Codec（750bps）は音声を毎秒75トークンに圧縮し、Codec Patchify技術と組み合わせることで隣接するタイムステップの音声トークンを統合ベクトルに集約し、モダリティ間のモデリングコンフリクトを効果的に緩和します。ストリーミング入出力をサポートし、200ms未満の遅延によるリアルタイム対話を実現します。
2. 音声－テキスト混合モデリング
モデルは以下の多段階訓練フローを採用しています：
モダリティ適応事前学習：ラベルなしの音声データを利用して音声モダリティの特徴を学習；
モダリティ横断指示ファインチューニング：大規模なモダリティ横断指示データセット（SpeechInstruct）により指示理解能力を向上；
チェーン式モダリティファインチューニング：例えば、音声指示を受信しテキストで思考してから音声で返答するなど、モダリティ横断変換の精度を最適化。
3. マルチモーダル能力アライメント
音声－テキストアラインメント事前学習により、モデルは明示的に訓練されていない汎化能力を「創発」させます。例えば、話速調整データなしで話速を制御したり、見たことのないキャラクターの口調やスタイルを模倣したりすることができます。
二、機能特性とパフォーマンス
1. 人間らしい対話体験
感情・スタイル制御：多感情（虚弱、快活など）、多音色（男女切り替え）、多スタイル（詩の朗読、方言模倣）の精緻な制御をサポートし、ロールプレイ能力が優れています；
2. リアルタイム割り込み対話：百ミリ秒レベルの応答速度により、自然な会話における即時割り込みと再開をサポートします。
知能と実用性
テキスト能力統合：音声表現力を基盤として、テキストモデルの知能を維持しつつ、ツール呼び出し、ウェブ検索、外部ナレッジベース接続などの機能をサポート；
マルチタスク互換性：長文ドキュメント解析、多輪対話などのシナリオを処理でき、長文コンテキスト能力によって短文タスクの性能が低下することはありません。
3. オープンソースエコシステムのサポート
モデルのコード、重み、技術レポートは完全オープンソース（Apache 2.0ライセンス）で、Hugging Faceの事前学習モデルとGradioデモインターフェースを提供し、ローカルデプロイをサポートします；
vLLMフレームワークを統合して推論効率を最適化し、スパースアテンション機構によりメモリ使用量を96.7%削減、処理速度を3～7倍向上させます。
三、応用シナリオ
スマートアシスタント：自然な音声対話に対応するカスタマーサービス、教育、医療アシスタント。例：リアルタイムのスピーキング練習、感情的な寄り添い；
コンテンツ制作：オーディオブック、詩の朗読、方言コンテンツなどを自動生成し、マルチメディア制作の表現を充実；
アクセシブルコミュニケーション：聴覚障害や言語障害のある方にリアルタイム音声テキスト変換および合成サービスを提供。
SpeechGPT 2.0-previewは、エンドツーエンドアーキテクチャとモダリティ横断アラインメント技術により、音声対話における低遅延・高いリアル感・高い知能を実現し、オープンソースコミュニティにおける音声大規模モデル分野の重要なブレークスルーとなりました。そのオープンソースエコシステムとマルチシナリオ対応能力は、開発者に効率的なツールを提供するだけでなく、人と機械の対話を感情的かつ自然な方向へと深く進化させています。
Githubリポジトリ：https://github.com/OpenMOSS/SpeechGPT-2.0-preview
オンライン体験：https://sp2.open-moss.com（試してみましたがやや重く、笑い声の部分は途切れ途切れになりますが、それでもかなり自然に感じられます。ただし回答が質問と噛み合わないことがあります）
