Mobile-Agent-v2 : un assistant puissant pour piloter les appareils mobiles 201

Alibaba et l'Université Jiaotong de Pékin ont publié Mobile-Agent-v2, un assistant d'exploitation d'appareils mobiles qui permet une navigation efficace grâce à la collaboration multi-agents. Il réalise, par le biais de la collaboration multi-agents, des opérations automatisées sur les appareils mobiles et des fonctions de perception visuelle, permettant à l'IA de simuler, comme une vraie personne, des clics, des glissements, des saisies et d'autres opérations pour contrôler votre téléphone, et ainsi exécuter diverses tâches.

Contexte de Mobile-Agent-v2

Traditionnellement, les tâches d'exploitation des appareils mobiles présentent des insuffisances en matière de multitâche, principalement en raison des limites de navigation et de gestion de la focalisation dans les LLMs multimodaux actuels (MLLM). Les conséquences de cette limitation incluent une baisse des performances sur les longues séquences et les formats de données mixtes, rendant la navigation efficace dans la progression des tâches et le contenu de focalisation particulièrement difficile. L'émergence d'agents basés sur les MLLM, qui améliorent les capacités d'extension des MLLM par le biais d'appels d'outils, a apporté de nouvelles solutions, mais elles ne parviennent pas à résoudre les problèmes de navigation inhérents à l'exploitation des appareils mobiles.

Mobile-Agent-v, quant à lui, est une solution purement visuelle basée sur une architecture multi-agents, offrant de meilleures capacités de décomposition des tâches, d'exploitation inter-applications et multilingues.

Architecture et méthodologie de Mobile-Agent-v2

Mobile-Agent-v2 introduit un système multi-agents composé de trois agents spécialisés : l'agent de planification, l'agent de décision et l'agent de réflexion. Chaque agent joue un rôle distinct, améliorant ensemble la navigation et le processus de décision :

Agent de planification : cet agent résout la complexité de l'historique des opérations, souvent long, en résumant et en compressant ces historiques en une progression de tâche en texte clair, facile à gérer. Cette progression de tâche est transmise à l'agent de décision, facilitant ainsi une navigation et une prise de décision plus aisées grâce à la réduction de la longueur du contexte.

Agent de décision : l'agent de décision fonctionne au sein du module de perception visuelle, traite la progression de tâche condensée et prend des décisions opérationnelles éclairées. Il est responsable de la mise à jour de l'unité de mémoire avec le contenu de focalisation pertinent, afin qu'il puisse être référencé lors des étapes futures. Cette fonction garantit que l'agent peut maintenir un contexte de focalisation précis en fonction des écrans précédents.

Agent de réflexion : pour gérer et corriger les opérations potentiellement erronées, l'agent de réflexion évalue le résultat de chaque opération par rapport au résultat attendu. En analysant les changements d'écran avant et après l'opération, les erreurs et les opérations non valides sont identifiées, classées et traitées, améliorant ainsi la fiabilité de l'exécution des tâches.

Scénarios d'application de Mobile-Agent-v2

Recherche et achat de produits : recherche automatique de produits dans les applications d'achat, ajout au panier et finalisation de l'achat.

Envoi d'e-mails : rédaction et envoi automatiques d'e-mails dans Gmail.

Navigation : navigation automatique dans Google Maps.

Visionnage de vidéos : recherche et commentaire de vidéos spécifiques sur YouTube.

Par rapport à Mobile-Agent : qui s'appuie sur un agent unique pour exécuter les tâches, Mobile-Agent-v2 introduit une architecture de collaboration multi-agents, permettant une navigation et une exécution des tâches plus efficaces grâce au travail coordonné de plusieurs agents.

Les résultats expérimentaux montrent des améliorations substantielles par rapport aux architectures d'agents mobiles précédentes. Le taux d'achèvement des tâches de Mobile-Agent-v2 a augmenté de plus de 30 %, soulignant l'efficacité de la collaboration multi-agents. Les tâches impliquant plusieurs étapes et des modes entrelacés peuvent grandement bénéficier de la nouvelle architecture, car elle permet de naviguer et de gérer efficacement la complexité de l'exploitation des appareils mobiles.

Article sur Mobile-Agent-v2 :https://arxiv.org/abs/2406.01014

Code de Mobile-Agent-v2 :https://github.com/X-PLUG/MobileAgent

Modelscope-agent :https://github.com/modelscope/modelscope-agent