Cradle: multimodales KI-Agent-Framework mit direkter Steuerung von Tastatur und Maus 151

Was ist Cradle?

Cradle ist ein multimodales Framework zur allgemeinen Computersteuerung (General Computer Control, GCC) für KI, das gemeinsam von Kunlun Wanwei und dem Beijing Academy of Artificial Intelligence entwickelt wurde. Es verwendet Bildschirmfotos als Eingabe und Tastatur- sowie Mausoperationen als Ausgabe, sodass KI-Agenten Computer wie Menschen direkt steuern können, um verschiedene Aufgaben zu erledigen. Cradle verfügt über Kernfunktionen wie Informationsbeschaffung, Selbstreflexion, Aufgabeninferenz, Fähigkeitenplanung, Aktionsplanung und Speicherverwaltung und kann in Szenarien wie Spielen, alltäglicher Softwarebedienung und professioneller Softwarebedienung weitverbreitet eingesetzt werden.

Kernfunktionen von Cradle

• Informationsbeschaffung: Extraktion multimodaler Informationen aus Bildschirmbildern und Audio zur Entscheidungsfindung.

• Selbstreflexion: Bewertung des Erfolgs früherer Aktionen und Analyse der Fehlerursachen, um nachfolgende Aktionen zu steuern.

• Aufgabeninferenz: Ableitung und Auswahl der optimalen nächsten Aufgabe basierend auf der aktuellen Umgebung und historischen Informationen.

• Fähigkeitenplanung: Erzeugung und Aktualisierung von Fähigkeiten, die für eine bestimmte Aufgabe relevant sind, um unterschiedliche Anforderungen an die Computerbedienung zu erfüllen.

• Aktionsplanung: Erzeugung konkreter Operationen für Tastatur- und Maussteuerung, um Strategien in ausführbare Befehle umzuwandeln.

• Speicher- und Wissensmanagement: Verfügt über ein Langzeit- und Kurzzeitgedächtnissystem, das vergangene Erfahrungen und Fähigkeiten speichert und bei Bedarf abruft und anwendet.

Anwendungsszenarien von Cradle

• Spielumgebungen: Wie „Red Dead Redemption 2", „Stardew Valley", „Cities: Skylines" usw.

• Alltägliche Softwarebedienung: Wie Browser, E-Mail-Clients, Bürosoftware usw.

• Professionelle Softwarebedienung: Wie Grafikdesign- oder Video-Bearbeitungssoftware.

Technische Prinzipien von Cradle

• Multimodale Eingabeverarbeitung: Empfang und Verarbeitung multimodaler Eingaben wie Bildschirmbilder und Audio, um Computerschnittstellen und -umgebungen auf menschliche Weise wahrzunehmen.

• Informationsextraktion und -verständnis: Nutzung großer multimodaler Modelle (wie GPT-4V), um visuelle Elemente und Textinformationen in Bildern sowie Anweisungen oder Feedback in Audio zu erkennen.

• Selbstreflexionsmechanismus: Bewertung durch ein Reflexionsmodul, ob zuvor ausgeführte Aktionen erfolgreich waren, und Analyse der Fehlerursachen.

• Aufgabeninferenz und -planung: Bestimmung der aktuellen vorrangigen Aufgabe und Erstellung neuer Aktionen zu deren Erledigung.

• Fähigkeitsgenerierung und -aktualisierung: Erzeugung neuer Fähigkeiten oder Aktualisierung bestehender Fähigkeiten je nach aktueller Aufgabe.

Merkmale von Cradle

• Allgemeingültigkeit: Unabhängig von internen APIs, kann mit beliebiger Open-Source- oder Closed-Source-Software interagieren.

• Starke Inferenzfähigkeit: Basiert auf großen Sprachmodellen und kann komplexe Aufgaben planen und ausführen.

• Selbstverbesserung: Optimierung der Leistung durch Selbstreflexionsmechanismen.

• Fähigkeitsakkumulation: Kann verschiedene Bedienungsfähigkeiten schrittweise ansammeln und wiederverwenden.

Cradle wurde bereits erfolgreich in Spielen wie „Red Dead Redemption 2", „Stardew Valley" und „Cities: Skylines" sowie in Software wie dem Chrome-Browser und Outlook eingesetzt.

Zugehörige Links zu Cradle

Cradle Projekt-Hauptseite:https://baai-agents.github.io/Cradle/

Cradle Code-Repository:https://github.com/BAAI-Agents/Cradle

Cradle Paper:https://arxiv.org/abs/2403.03186