Cradle: framework de Agent IA multimodal capaz de controlar el teclado y el ratón 153

¿Qué es Cradle?

Cradle es un marco de IA multimodal de Control General por Computadora (General Computer Control, GCC), desarrollado conjuntamente por Kunlun Wanwei, el Instituto de Investigación de Inteligencia Artificial de BAAI (Beijing) y otras instituciones. Utiliza capturas de pantalla como entrada y acciones de teclado y ratón como salida, lo que permite a los agentes de IA controlar una computadora directamente como lo haría un humano para completar diversas tareas. Cradle cuenta con funciones clave como recopilación de información, autorreflexión, inferencia de tareas, planificación de habilidades, planificación de acciones y gestión de memoria, y puede aplicarse ampliamente en escenarios como juegos, operaciones con software cotidiano y operaciones con software profesional.

Funciones principales de Cradle

• Recopilación de información: extrae información multimodal a partir de imágenes de pantalla y audio para la toma de decisiones.

• Autorreflexión: evalúa el éxito o fracaso de acciones previas y analiza las causas del fracaso para guiar las acciones posteriores.

• Inferencia de tareas: infiere y selecciona la mejor tarea siguiente según el entorno actual y la información histórica.

• Planificación de habilidades: genera y actualiza habilidades relacionadas con una tarea dada para adaptarse a diferentes necesidades de operación informática.

• Planificación de acciones: genera operaciones concretas para el control del teclado y el ratón, transformando las estrategias en comandos ejecutables.

• Gestión de memoria y conocimiento: dispone de sistemas de memoria a largo y corto plazo que almacenan experiencias y habilidades pasadas para su recuperación y aplicación cuando sea necesario.

Escenarios de aplicación de Cradle

• Entornos de juego: como Red Dead Redemption 2, Stardew Valley, Cities: Skylines, entre otros.

• Operaciones con software cotidiano: como navegadores, clientes de correo electrónico, software de oficina, etc.

• Operaciones con software profesional: como software de diseño gráfico o edición de vídeo.

Principios técnicos de Cradle

• Procesamiento de entrada multimodal: recibe y procesa entradas multimodales de imágenes de pantalla y audio, simulando la percepción humana para comprender la interfaz y el entorno informático.

• Extracción y comprensión de información: utiliza modelos multimodales de gran tamaño (como GPT-4V) para reconocer elementos visuales, información textual e instrucciones o retroalimentación de audio en las imágenes.

• Mecanismo de autorreflexión: evalúa si las acciones ejecutadas previamente tuvieron éxito y analiza las causas del fracaso a través de un módulo de reflexión.

• Inferencia y planificación de tareas: determina la tarea prioritaria actual y formula nuevas acciones para completarla.

• Generación y actualización de habilidades: genera nuevas habilidades o actualiza las existentes según la tarea actual.

Características de Cradle

• Versatilidad: no depende de ninguna API interna, capaz de interactuar con cualquier software de código abierto o cerrado.

• Gran capacidad de razonamiento: basada en grandes modelos de lenguaje, capaz de planificar y ejecutar tareas complejas.

• Auto-mejora: optimiza continuamente su rendimiento mediante el mecanismo de autorreflexión.

• Acumulación de habilidades: permite acumular y reutilizar progresivamente diversas habilidades operativas.

Cradle se ha aplicado con éxito en juegos como Red Dead Redemption 2, Stardew Valley y Cities: Skylines, así como en software como el navegador Chrome y el cliente de correo Outlook.

Enlaces relacionados con Cradle

Página oficial del proyecto Cradle:https://baai-agents.github.io/Cradle/

Repositorio de código de Cradle:https://github.com/BAAI-Agents/Cradle

Artículo de Cradle:https://arxiv.org/abs/2403.03186