PC-Agent: un framework multi-agente para automatizar tareas complejas en PC 193

¿Qué es PC-Agent?

PC-Agent es un nuevo marco de agentes de ai jerárquico basado en modelos multimodales grandes (MLLM) desarrollado conjuntamente por el laboratorio Tongyi de Alibaba y la Universidad de Jiao Tong de Shanghái. Puede automatizar tareas complejas en PC mediante la simulación de procesos cognitivos humanos, permitiendo controlar Chrome, Word, WeChat y otros según las instrucciones. Aumenta la tasa de éxito en las tareas en un 32% en comparación con los métodos existentes, resolviendo las limitaciones de los métodos tradicionales en tareas complejas de PC.

Características principales de PC-Agent

• Módulo de Percepción Activa (APM): Mediante la integración de modelos multimodales grandes y el contenido de capturas de pantalla, PC-Agent puede lograr una percepción y operación detalladas del contenido de la pantalla.

• Estructura de colaboración jerárquica multi-agente: PC-Agent descompone las instrucciones complejas en tres niveles: instrucciones, subtareas y acciones, y configura cuatro agentes: Manager, Progress, Decision y Reflection. Esta estructura permite una descomposición de tareas de arriba hacia abajo y una retroalimentación precisa de abajo hacia arriba.

• Mecanismo de decisión dinámica: Mediante el agente Reflection, se proporciona retroalimentación y ajuste en tiempo real sobre los resultados de ejecución, garantizando la precisión y adaptabilidad de las tareas.

Escenarios de aplicación de PC-Agent

• Automatización de tareas: PC-Agent puede ejecutar de forma automatizada tareas digitales complejas, como organizar material de investigación, redactar informes, crear presentaciones, etc.

• Flujos de trabajo entre aplicaciones: Este marco es capaz de manejar tareas complejas entre múltiples aplicaciones, como la interacción y operación de datos entre diferentes softwares.

• Uso eficiente de datos: Incluso con entrenamiento con una pequeña cantidad de datos de alta calidad, PC-Agent puede manejar flujos de trabajo complejos de hasta 50 pasos.

Ventajas de PC-Agent

• Alta tasa de éxito en tareas: La tasa de éxito en tareas complejas aumenta un 32% en comparación con los métodos existentes.

• Alta eficiencia de datos: Solo se necesitan pocos datos para aprender tareas complejas.

• Gran capacidad operativa: Puede percibir con precisión el contenido de la pantalla y realizar ediciones complejas y operaciones entre aplicaciones.

• Amplia gama de escenarios aplicables: Puede manejar automáticamente tareas de oficina como documentos, hojas de cálculo, presentaciones y gestión de agendas.

• Alta satisfacción del usuario: Precisión del 92%, respuesta rápida, puntuación del usuario de 4,5 sobre 5.

• Mejora del rendimiento: En la evaluación experimental de tareas complejas, la tasa de éxito de PC-Agent aumenta un 32% en comparación con los métodos existentes.

• Gran adaptabilidad: Mediante la simulación de procesos cognitivos humanos, PC-Agent puede adaptarse mejor a entornos de interacción complejos.

Repositorio de GitHub:https://github.com/X-PLUG/MobileAgent/tree/main/PC-Agent