Mobile-Agent-v2: un potente asistente para operar dispositivos móviles 199

Alibaba y la Universidad de Jiaotong de Beijing han publicado Mobile-Agent-v2, un asistente de operaciones para dispositivos móviles que logra una navegación eficaz mediante la colaboración de múltiples agentes inteligentes. Permite a la ia controlar tu teléfono simulando acciones como clics, deslizamientos y escritura, imitando el comportamiento humano, para ejecutar diversas tareas.

Contexto de Mobile-Agent-v2

Tradicionalmente, las tareas de operación en dispositivos móviles presentaban deficiencias en el manejo multitarea, debido principalmente a las limitaciones de navegación y gestión del foco de los actuales MLLM (LLMs multimodales). Las consecuencias de esta limitación incluyen la degradación del rendimiento ante secuencias largas y formatos de datos mixtos, lo que hace que el progreso de las tareas y la navegación eficaz del contenido focal sean especialmente desafiantes. La aparición de agentes basados en MLLM, que potencian las capacidades de los MLLM mediante llamadas a herramientas, ha aportado soluciones novedosas, pero no consigue resolver los problemas de navegación inherentes a la operación de dispositivos móviles.

Por su parte, Mobile-Agent-v es una solución puramente visual basada en una arquitectura multiagente, que ofrece una descomposición de tareas, operaciones entre aplicaciones y capacidades multilingües más robustas.

Arquitectura y metodología de Mobile-Agent-v2

Mobile-Agent-v2 introduce un sistema multiagente compuesto por tres agentes especializados: el agente de planificación, el agente de decisión y el agente de reflexión. Cada agente desempeña un papel diferente y, en conjunto, mejoran los procesos de navegación y toma de decisiones:

Agente de planificación: este agente aborda la complejidad de historiales operativos extensos al resumir y comprimir dicho historial en un progreso de tarea en texto plano que sea manejable. Dicho progreso se traslada al agente de decisión, facilitando una navegación y toma de decisiones más ágiles al reducir la longitud del contexto.

Agente de decisión: el agente de decisión opera dentro del módulo de percepción visual, procesa el progreso de tarea condensado y toma decisiones operativas fundamentadas. Es responsable de actualizar la unidad de memoria con el contenido focal relevante para su consulta en pasos futuros. Esta función garantiza que el agente pueda mantener un contexto focal preciso basándose en pantallas anteriores.

Agente de reflexión: para gestionar y corregir posibles operaciones erróneas, el agente de reflexión evalúa el resultado de cada operación en comparación con el resultado esperado. Mediante el análisis de los cambios en pantalla antes y después de la operación, identifica, clasifica y responde a operaciones incorrectas e ineficaces, mejorando así la fiabilidad en la ejecución de tareas.

Escenarios de aplicación de Mobile-Agent-v2

Búsqueda y compra de productos: busca automáticamente productos en aplicaciones de compras, los añade al carrito y completa la compra.

Envío de correos: redacta y envía correos automáticamente en Gmail.

Navegación: realiza operaciones de navegación automáticamente en Google Maps.

Visualización de vídeos: busca vídeos concretos y deja comentarios en YouTube.

En comparación con Mobile-Agent, que depende de un único agente para ejecutar tareas, Mobile-Agent-v2 introduce una arquitectura de colaboración multiagente que, mediante el trabajo coordinado de varios agentes, consigue una navegación y ejecución de tareas más eficientes.

Los resultados experimentales muestran mejoras sustanciales respecto a la arquitectura anterior de agentes móviles. La tasa de finalización de tareas de Mobile-Agent-v2 se ha incrementado en más de un 30 %, lo que pone de manifiesto la eficacia de la colaboración multiagente. Las tareas que implican múltiples pasos y patrones entrelazados pueden beneficiarse enormemente de la nueva arquitectura, ya que puede navegar y gestionar eficazmente la complejidad de las operaciones en dispositivos móviles.

Artículo de Mobile-Agent-v2:https://arxiv.org/abs/2406.01014

Código de Mobile-Agent-v2:https://github.com/X-PLUG/MobileAgent

Modelscope-agent:https://github.com/modelscope/modelscope-agent