GUIRoboTron-Speech：美団と浙江大学が発表した初の音声インタラクション対応GUIエージェント 211

小编 · 2025-06-21

美団と浙江大学が共同開発したGUIRoboTron-Speechは、音声コマンドとデバイスのスクリーンショットから直接意思決定を行うことができるGUIエージェントです。ユーザーは音声と画面キャプチャを通じてコンピュータを操作でき、従来のテキスト入力の手間を省きます。

GUIRoboTron-Speech：美団と浙江大学が発表した初の音声インタラクション対応GUIエージェント

美団と浙江大学が共同で開発したGUIRoboTron-Speechは、スクリーンショットと音声指示を使って直接意思決定を行えるGUIエージェントです。ユーザーは音声とデバイスのスクリーンショットを通じてコンピュータを操作でき、従来のテキスト入力の手間を回避できます。

GUIRoboTron-Speechは、従来のテキスト依存の制約を解決します。チームは高品質な音声データセットの作成、段階的な訓練、混合指示訓練戦略によってこのエージェントの訓練を成功させ、複数のタスクで優れたパフォーマンスを発揮させました。研究によれば、ユーザーの意図が明確な場合、音声指示はテキスト指示よりもタスク完了成功率が高く、今後も複雑な指示を処理する能力の向上が続けられます。

GUIRoboTron-Speech：美団と浙江大推出的首个语音交互GUI智能体.jpg

核心機能

音声指示駆動：GUIRoboTron-Speechは音声指示とデバイスのスクリーンショットを直接受信して操作を予測・実行できます。ユーザーが手動で文字を入力する必要はなく、音声だけでGUIエージェントを制御できます。
マルチモーダルインタラクション：音声と視覚の2つのモダリティを融合し、音声指示とGUIインターフェースの視覚要素との対応関係を正確に理解できます。

研究開発手法

データセット生成：音声指示データセットが不足しているため、チームは先進的なランダム声色テキスト読み上げ（TTS）モデルを用いて、大規模なテキスト指示データセットを複数の話し方と声色の音声指示データセットに変換しました。
漸進的訓練フレームワーク：訓練は2つの段階に分かれます：
Grounding段階：モデルは音声指示とGUI視覚要素の正確な対応（例：「『確定』ボタンをクリックする」を理解し、スクリーンショット内で「確定」ボタンを特定するなど）を学習します。
Planning段階：モデルは複数ステップの複雑なタスク（例：「まずアカウントにログインし、最新のメールを探して添付ファイルを開く」など）の実行を学習し、論理的推論とタスク計画能力を実証します。
ヒューリスティック混合指示訓練戦略：事前学習モデルのモダリティ不均衡問題に対処するため、チームは訓練中に音声指示とテキスト指示を混合して使用し、モデルが両方の入力を平等に処理できるようにしました。

パフォーマンス

指示モダリティ比較：ScreenSpotタスクにおいて、音声指示のみで訓練されたモデルの平均grounding精度はテキスト指示のみで訓練されたものより1.6％低くなりましたが、混合指示戦略を採用した後、精度が1.9％向上しました。
GUI視覚Grounding：MobileおよびWeb領域において、GUIRoboTron-Speechは音声指示入力を使用した際、テキスト指示に基づく先進的な手法と同等のパフォーマンスを示します。
複数ステップタスク実行：AndroidControlやGUIOdysseyなどの複数ステップタスクデータセットにおいて、テキスト指示に基づく一部の先進的モデルと同等のパフォーマンスを発揮します。

優位性と意義

インタラクション利便性の向上：デバイス操作時にユーザーが手動で文字を入力する必要がなく、音声だけでさまざまな操作を完了でき、インタラクションの利便性が大幅に向上します。
応用シーンの拡大：この技術は一般ユーザーの日常的な利便性操作だけでなく、運転、医療など両手操作が必要な特殊なシーンにも適用でき、より安全で効率的なインタラクション方式を提供します。
技術発展の促進：GUIRoboTron-SpeechはGUI分野における音声インタラクション技術の応用に新たなアイデアと方法を提供し、関連技術の発展を促進しました。