Cradle : framework d'Agent IA multimodal capable de contrôler clavier et souris 145

Un framework d'IA multimodal pour le contrôle général d'un ordinateur, permettant à des Agent IA de manipuler directement clavier et souris comme un humain et d'interagir avec tout logiciel open source ou propriétaire.

#Ai工具箱 #Ai开源项目

Visiter Cradle : framework d'Agent IA multimodal capable de contrôler clavier et souris

Cradle : framework d'Agent IA multimodal capable de contrôler clavier et sourisIntroduction

Qu'est-ce que Cradle ?

Cradle est un cadre d'IA multimodale de Contrôle Général d'Ordinateur (General Computer Control, GCC), lancé conjointement par Kunlun Wanwei, l'Institut de Recherche en Intelligence Artificielle de BAAI et d'autres institutions. Il utilise des captures d'écran comme entrées et les opérations de clavier et de souris comme sorties, permettant aux agents IA de contrôler directement un ordinateur comme un humain pour effectuer diverses tâches. Cradle dispose de fonctions principales telles que la collecte d'informations, l'auto-réflexion, l'inférence de tâches, la planification de compétences, la planification d'actions et la gestion de la mémoire, et peut être largement appliqué à des scénarios tels que les jeux, les opérations sur des logiciels courants et les opérations sur des logiciels professionnels.

Cradle : cadre d'Agent IA multimodal, capable de contrôler directement le clavier et la souris.webp

Fonctionnalités principales de Cradle

Collecte d'informations : extraction d'informations multimodales à partir d'images d'écran et d'audio pour la prise de décision.
Auto-réflexion : évaluation de la réussite ou de l'échec des actions précédentes, analyse des raisons de l'échec pour guider les actions suivantes.
Inférence de tâches : inférence et sélection de la meilleure tâche suivante en fonction de l'environnement actuel et des informations historiques.
Planification des compétences : génération et mise à jour de compétences liées à une tâche donnée, afin de s'adapter aux différents besoins d'opérations informatiques.
Planification des actions : génération d'opérations concrètes pour le contrôle du clavier et de la souris, en transformant les stratégies en commandes exécutables.
Gestion de la mémoire et des connaissances : dispose de systèmes de mémoire à long terme et à court terme, stockant les expériences et compétences passées, les récupérant et les appliquant au besoin.

Scénarios d'application de Cradle

Environnements de jeu : tels que « Red Dead Redemption 2 », « Stardew Valley », « Cities: Skylines », etc.
Opérations sur logiciels courants : tels que navigateurs, clients de messagerie, logiciels bureautiques, etc.
Opérations sur logiciels professionnels : tels que logiciels de conception graphique ou de montage vidéo.

Principes techniques de Cradle

Traitement des entrées multimodales : réception et traitement d'entrées multimodales telles que les images d'écran et l'audio, simulant la perception humaine pour comprendre l'interface et l'environnement informatiques.
Extraction et compréhension des informations : utilisation de grands modèles multimodaux (tels que GPT-4V) pour identifier les éléments visuels, les informations textuelles dans les images ainsi que les instructions ou retours dans l'audio.
Mécanisme d'auto-réflexion : évaluation, via un module de réflexion, de la réussite des actions précédemment exécutées et analyse des raisons de l'échec.
Inférence et planification des tâches : détermination de la tâche prioritaire actuelle et formulation de nouvelles actions pour l'accomplir.
Génération et mise à jour des compétences : génération de nouvelles compétences ou mise à jour des compétences existantes en fonction de la tâche courante.

Cradle : cadre d'Agent IA multimodal, capable de contrôler directement le clavier et la souris.webp

Caractéristiques de Cradle

Universalité : ne dépend d'aucune API interne et peut interagir avec tout logiciel open source ou closed source.
Puissante capacité de raisonnement : basée sur de grands modèles de langage, capable de planifier et d'exécuter des tâches complexes.
Auto-amélioration : optimisation continue des performances grâce au mécanisme d'auto-réflexion.
Accumulation de compétences : permet d'accumuler et de réutiliser progressivement diverses compétences opérationnelles.

Cradle a été appliqué avec succès à des jeux tels que « Red Dead Redemption 2 », « Stardew Valley », « Cities: Skylines », ainsi qu'à des logiciels comme le navigateur Chrome, Outlook, etc.