PC-Agent : un framework multi-agents pour automatiser des tâches complexes sur PC 191

Qu'est-ce que PC-Agent ?

PC-Agent est un nouveau cadre d'agent intelligent hiérarchique basé sur un grand modèle multimodal (MLLM), développé conjointement par le laboratoire Tongyi d'Alibaba et l'Université Jiao Tong de Shanghai. En simulant le processus cognitif humain, il permet l'automatisation des tâches complexes sur PC. Il peut contrôler Chrome, Word, WeChat, etc. à partir d'instructions, avec un taux de réussite supérieur de 32 % à celui des méthodes existantes, surmontant ainsi les limites des approches traditionnelles pour les tâches complexes sur PC.

Fonctionnalités clés de PC-Agent

• Module de perception active (APM) : en combinant un grand modèle multimodal et le contenu des captures d'écran, PC-Agent permet une perception fine et une exploitation précise du contenu de l'écran.

• Structure de collaboration multi-agent hiérarchique : PC-Agent décompose les instructions complexes en trois niveaux — instruction, sous-tâche et action — et fait appel à quatre agents distincts : Manager, Progress, Decision et Reflection. Cette structure permet une décomposition descendante des tâches et un retour précis ascendant.

• Mécanisme de décision dynamique : grâce à l'agent Reflection, les résultats d'exécution sont évalués et ajustés en temps réel, garantissant ainsi la précision et l'adaptabilité des tâches.

Cas d'utilisation de PC-Agent

• Automatisation des tâches : PC-Agent peut automatiser des tâches numériques complexes, telles que la collecte de documentation de recherche, la rédaction de rapports ou la création de présentations.

• Flux de travail inter-applications : le cadre est capable de gérer des tâches complexes impliquant plusieurs applications, comme l'échange et la manipulation de données entre différents logiciels.

• Utilisation efficace des données : même avec un entraînement sur un petit volume de données de haute qualité, PC-Agent peut gérer des flux de travail complexes comportant jusqu'à 50 étapes.

Avantages de PC-Agent

• Taux de réussite élevé : le taux de réussite sur les tâches complexes est supérieur de 32 % à celui des méthodes existantes.

• Grande efficacité en matière de données : seules quelques données sont nécessaires pour apprendre des tâches complexes.

• Solides capacités opérationnelles : perception précise du contenu de l'écran, permettant des éditions complexes et des opérations inter-applications.

• Large éventail de scénarios d'utilisation : automatisation des tâches bureautiques telles que la gestion de documents, de tableurs, de présentations et d'agendas.

• Haute satisfaction des utilisateurs : taux de précision de 92 %, temps de réponse rapide, note utilisateur de 4,5 sur 5.

• Gain de performance : lors de l'évaluation expérimentale sur des tâches complexes, le taux de réussite de PC-Agent est supérieur de 32 % à celui des méthodes existantes.

• Forte adaptabilité : en simulant le processus cognitif humain, PC-Agent s'adapte mieux aux environnements d'interaction complexes.

Dépôt GitHub :https://github.com/X-PLUG/MobileAgent/tree/main/PC-Agent