Mobile-Agent-v2：強力なモバイルデバイス操作アシスタント 200

アリババと北京交通大学のMobile-Agent-v2がリリースされました。Mobile-Agent-v2は、マルチエージェント協働によって効果的なナビゲーションを実現するモバイルデバイス操作アシスタントです。マルチエージェント協働を通じてモバイルデバイスの自動化操作と視覚知覚機能を実現し、aiが人間のようにクリック、スワイズ、入力などの操作をシミュレートしてあなたのスマートフォンを操作し、様々なタスクを実行できるようにします。

Mobile-Agent-v2の背景

従来、モバイルデバイス操作タスクはマルチタスク処理に課題がありましたが、これは主に現在のマルチモーダルLLM（MLLM）におけるナビゲーションとフォーカス管理の制限によるものでした。この制限の結果として、長いシーケンスや混合データ形式でのパフォーマンス低下が発生し、タスクの進捗とフォーカスコンテンツの効果的なナビゲーションが特に困難になっていました。MLLMに基づくエージェントの登場により、ツール呼び出しを通じてMLLMの拡張機能が強化され、新たなソリューションが生まれましたが、モバイルデバイス操作に固有のナビゲーション問題を解決することはできませんでした。

一方、Mobile-Agent-vは、マルチエージェントアーキテクチャに基づく純粋なビジュアルソリューションであり、より強力なタスク分解、クロスアプリケーション操作、多言語能力を備えています。

Mobile-Agent-v2のアーキテクチャと方法論

Mobile-Agent-v2は、計画エージェント、意思決定エージェント、反思エージェントの3つの専門エージェントで構成されるマルチエージェントシステムを導入しています。各エージェントは異なる役割を果たし、ナビゲーションと意思決定のプロセスを共同で強化します：

計画エージェント：このエージェントは、これらの履歴を管理可能なプレーンテキストのタスク進捗に要約・圧縮することで、長い操作履歴の複雑さに対処します。このタスク進捗は意思決定エージェントに引き継がれ、コンテキスト長を短縮することで、より容易なナビゲーションと意思決定を促進します。

意思決定エージェント：意思決定エージェントは視覚知覚モジュール内で動作し、凝縮されたタスク進捗を処理し、賢明な操作意思決定を行います。将来のステップで参照できるように、関連するフォーカスコンテンツでメモリユニットを更新する責任があります。この機能により、エージェントは過去の画面に基づいて正確なフォーカスコンテキストを維持できます。

反思エージェント：潜在的な誤操作を管理・修正するために、反思エージェントは予期された結果に対して各操作の結果を評価します。操作前後の画面変化を分析することで、エラーや無効な操作を識別、分類、応答し、タスク実行の信頼性を強化します。

Mobile-Agent-v2のシナリオ応用

商品の検索と購入：ショッピングアプリで自動的に商品を検索し、カートに追加して購入を完了します。

メール送信：Gmailで自動的にメールを作成して送信します。

ナビゲーション：Google Mapsで自動的にナビゲーション操作を行います。

動画視聴：YouTubeで特定の動画を検索してコメントします。

Mobile-Agentとの比較：単一のエージェントに依存してタスクを実行。Mobile-Agent-v2：マルチエージェント協働アーキテクチャを導入し、複数のエージェントが協調して動作することで、より効率的なナビゲーションとタスク実行を実現します。

実験結果は、以前のモバイルエージェントアーキテクチャと比較して実質的な改善を示しています。Mobile-Agent-v2はタスク完了率を30%以上向上させ、マルチエージェント協働の効果を強調しています。複数のステップと交互パターンを含むタスクは、モバイルデバイス操作の複雑さを効果的にナビゲートおよび管理できるため、新しいアーキテクチャから大きな恩恵を受けることができます。

Mobile-Agent-v2論文：https://arxiv.org/abs/2406.01014

Mobile-Agent-v2コード：https://github.com/X-PLUG/MobileAgent

Modelscope-agent：https://github.com/modelscope/modelscope-agent