Mobile-Agent-v2: ein leistungsstarker Assistent zur mobilen Gerätesteuerung 196

Alibaba und die Beijing Jiaotong Universität haben mit Mobile-Agent-v2 einen mobilen Gerätebedienungsassistenten veröffentlicht, der durch Multi-Agenten-Zusammenarbeit eine effektive Navigation ermöglicht. Durch die Kooperation mehrerer Agenten realisiert er die automatisierte Bedienung und visuelle Wahrnehmung mobiler Geräte, sodass KI wie ein echter Mensch Klicken, Wischen, Eingaben und andere Aktionen simulieren kann, um Ihr Smartphone zu steuern und verschiedene Aufgaben auszuführen.

Hintergrund von Mobile-Agent-v2

Herkömmliche Aufgaben zur Bedienung mobiler Geräte weisen Mängel bei der Multitasking-Fähigkeit auf, was hauptsächlich auf die Einschränkungen aktueller multimodaler LLMs (MLLM) bei Navigation und Fokusverwaltung zurückzuführen ist. Zu den Folgen dieser Einschränkungen gehören Leistungseinbußen bei langen Sequenzen und gemischten Datenformaten, wodurch eine effektive Navigation des Aufgabenfortschritts und der Fokusinhalte besonders schwierig wird. Das Aufkommen MLLM-basierter Agenten, die die erweiterten Funktionen von MLLM durch Tool-Aufrufe verbessern, brachte neuartige Lösungen mit sich, kann jedoch die inhärenten Navigationsprobleme bei der Bedienung mobiler Geräte nicht lösen.

Mobile-Agent-v hingegen ist eine reine visuelle Lösung auf Basis einer Multi-Agenten-Architektur und bietet eine stärkere Aufgabenzerlegung, anwendungsübergreifende Bedienung sowie Mehrsprachigkeit.

Architektur und Methodik von Mobile-Agent-v2

Mobile-Agent-v2 führt ein Multi-Agenten-System ein, das aus drei spezialisierten Agenten besteht: dem Planungsagenten, dem Entscheidungsagenten und dem Reflexionsagenten. Jeder Agent übernimmt eine andere Rolle und verbessert gemeinsam den Navigations- und Entscheidungsprozess:

Planungsagent: Dieser Agent bewältigt die Komplexität冗长的操作历史的复杂性，使冗长的操作历史变得可管理，indem er diese Historien zu einem handhabbaren Klartext-Aufgabenfortschritt zusammenfasst und verdichtet. Dieser Aufgabenfortschritt wird an den Entscheidungsagenten übergeben, der durch die Reduzierung der Kontextlänge eine einfachere Navigation und Entscheidungsfindung ermöglicht.

Entscheidungsagent: Der Entscheidungsagent arbeitet innerhalb des visuellen Wahrnehmungsmoduls, verarbeitet den verdichteten Aufgabenfortschritt und trifft fundierte Aktionsentscheidungen. Er ist dafür verantwortlich, die Speichereinheit mit relevanten Fokusinhalten zu aktualisieren, damit sie in zukünftigen Schritten referenziert werden kann. Diese Funktion stellt sicher, dass der Agent basierend auf vergangenen Bildschirmen einen genauen Fokuskontext beibehalten kann.

Reflexionsagent: Um potenzielle Fehlbedienungen zu verwalten und zu korrigieren, bewertet der Reflexionsagent das Ergebnis jeder Aktion im Verhältnis zum erwarteten Ergebnis. Durch die Analyse der Bildschirmveränderungen vor und nach der Aktion werden Fehler und ungültige Aktionen identifiziert, klassifiziert und behandelt, wodurch die Zuverlässigkeit der Aufgabenausführung erhöht wird.

Anwendungsszenarien von Mobile-Agent-v2

Produktsuche und -kauf: Automatisches Suchen nach Produkten in Shopping-Apps, Hinzufügen zum Warenkorb und Abschluss des Kaufs.

E-Mail-Versand: Automatisches Verfassen und Versenden von E-Mails in Gmail.

Navigation: Automatische Navigationsvorgänge in Google Maps.

Video-Wiedergabe: Suchen und Kommentieren bestimmter Videos auf YouTube.

Im Vergleich zu Mobile-Agent, das für die Ausführung von Aufgaben auf einen einzigen Agenten angewiesen ist, führt Mobile-Agent-v2 eine Multi-Agenten-Kooperationsarchitektur ein, bei der mehrere Agenten zusammenarbeiten, um eine effizientere Navigation und Aufgabenausführung zu ermöglichen.

Die experimentellen Ergebnisse zeigen wesentliche Verbesserungen gegenüber früheren mobilen Agent-Architekturen. Die Aufgabenabschlussrate von Mobile-Agent-v2 wurde um mehr als 30 % gesteigert, was die Wirksamkeit der Multi-Agenten-Zusammenarbeit unterstreicht. Aufgaben mit mehreren Schritten und verschachtelten Mustern können erheblich von der neuen Architektur profitieren, da diese die Komplexität der Navigation und Verwaltung mobiler Gerätebedienungen effektiv bewältigen kann.

Paper zu Mobile-Agent-v2:https://arxiv.org/abs/2406.01014

Code zu Mobile-Agent-v2:https://github.com/X-PLUG/MobileAgent

Modelscope-agent:https://github.com/modelscope/modelscope-agent