Mobile-Agent-v2: мощный ассистент для управления мобильными устройствами 197

Али и Пекинский транспортный университет выпустили Mobile-Agent-v2, мобильного ассистента для работы с устройствами, который обеспечивает эффективную навигацию благодаря мультиагентному взаимодействию. Он реализует автоматизированное управление мобильными устройствами и функции визуального восприятия посредством кооперации нескольких агентов, позволяя искусственному интеллекту имитировать нажатия, свайпы, ввод текста и другие действия, как это делает реальный пользователь, тем самым выполняя различные задачи.

Предыстория Mobile-Agent-v2

Традиционно задачи управления мобильными устройствами имеют ограничения в многозадачности, что в первую очередь обусловлено ограничениями навигации и управления фокусом в современных мультимодальных LLM (MLLM). Последствия этих ограничений включают снижение производительности при работе с длинными последовательностями и смешанными форматами данных, что делает эффективную навигацию по ходу выполнения задач и содержимому фокуса особенно сложной. Появление агентов на основе MLLM, расширяющих возможности MLLM за счёт вызова инструментов, принесло новые решения, однако они не способны решить проблемы навигации, присущие управлению мобильными устройствами.

Mobile-Agent-v2 основан на чисто визуальном решении с мультиагентной архитектурой и обладает более мощными возможностями декомпозиции задач, кросс-приложенийного взаимодействия и многоязыковой поддержки.

Архитектура и методология Mobile-Agent-v2

Mobile-Agent-v2 представляет мультиагентную систему, состоящую из трёх специализированных агентов: агента планирования, агента принятия решений и агента рефлексии. Каждый агент выполняет свою роль, совместно усиливая навигацию и процесс принятия решений:

Агент планирования: этот агент решает проблему сложности длительной истории операций путём обобщения и сжатия этой истории в управляемый текстовый прогресс задачи. Этот прогресс задачи передаётся агенту принятия решений, что облегчает навигацию и принятие решений за счёт сокращения длины контекста.

Агент принятия решений: агент принятия решений работает внутри модуля визуального восприятия, обрабатывает сжатый прогресс задачи и принимает обоснованные решения о действиях. Он отвечает за обновление ячеек памяти соответствующим содержимым фокуса для использования в будущих шагах. Эта функция гарантирует, что агент может поддерживать точный контекст фокуса на основе прошлых экранов.

Агент рефлексии: для управления и исправления потенциальных ошибочных действий агент рефлексии оценивает результат каждого действия относительно ожидаемого исхода. Путём анализа изменений экрана до и после действия он выявляет, классифицирует и обрабатывает ошибки и недействительные действия, повышая надёжность выполнения задач.

Сценарии применения Mobile-Agent-v2

Поиск и покупка товаров: автоматический поиск товаров в приложениях для покупок, добавление их в корзину и завершение покупки.

Отправка электронной почты: автоматическое заполнение и отправка писем в Gmail.

Навигация: автоматическое выполнение навигационных операций в Google Maps.

Просмотр видео: поиск и комментирование определённых видео на YouTube.

По сравнению с Mobile-Agent, который полагается на единственного агента для выполнения задач, Mobile-Agent-v2 представляет мультиагентную архитектуру взаимодействия, где несколько агентов работают совместно для достижения более эффективной навигации и выполнения задач.

Экспериментальные результаты демонстрируют существенные улучшения по сравнению с предыдущими архитектурами мобильных агентов. Уровень выполнения задач Mobile-Agent-v2 повысился более чем на 30%, что подчёркивает эффективность мультиагентного взаимодействия. Задачи, включающие несколько шагов и чередующиеся шаблоны, могут в значительной степени выиграть от новой архитектуры, поскольку она способна эффективно осуществлять навигацию и управлять сложностью работы с мобильными устройствами.

Статья Mobile-Agent-v2:https://arxiv.org/abs/2406.01014

Код Mobile-Agent-v2:https://github.com/X-PLUG/MobileAgent

Modelscope-agent:https://github.com/modelscope/modelscope-agent