CUA Browser: Open-Source-Browser-Automatisierungsprojekt auf Basis von Browserbase und OpenAI CUA 223

Was ist CUA Browser?

CUA Browser ist ein kostenloses Open-Source-Projekt, das eine Plattform zum Testen und Erkunden der Computer-Using-Agent (CUA)-Funktionen von Browserbase und Openai bietet. Benutzer können über Befehle in natürlicher Sprache mit dem Browser interagieren und die Reaktionen des Browsers beobachten.

Funktionsmerkmale von CUA Browser

• Multimodale Interaktion: CUA versteht die Inhalte auf dem Bildschirm, indem es die rohen Pixeldaten verarbeitet, und führt Aktionen mithilfe einer virtuellen Maus und Tastatur aus.

• Ausführung mehrstufiger Aufgaben: Komplexe Aufgaben können in mehrere Schritte zerlegt werden, wobei die Reihenfolge der Aktionen dynamisch angepasst werden kann.

• Argumentations- und Selbstkorrekturfähigkeit: Bei der Ausführung von Aufgaben argumentiert CUA durch Chain-of-Thought und passt seine Aktionen dynamisch an die Rückmeldungen aus der Umgebung an.

• Benutzerbestätigungsmechanismus: Bei sensiblen Aktionen, wie der Eingabe von Anmeldedaten oder der Verarbeitung von Captchas, fordert CUA eine Bestätigung durch den Benutzer an, um potenzielle Fehler zu vermeiden.

• Keine spezialisierten APIs erforderlich: CUA ist nicht auf bestimmte Betriebssystem- oder Web-APIs angewiesen und kann direkt über Bildschirm, Maus und Tastatur mit verschiedenen digitalen Umgebungen interagieren.

Projektmerkmale von CUA Browser

• Open Source und kostenlos: CUA Browser ist ein Open-Source-Projekt unter MIT-Lizenz und kann von Benutzern kostenlos genutzt werden.

• Technologische Grundlage: Das Projekt basiert auf der CUA-Technologie von Browserbase und OpenAI. CUA ist ein KI-Modell, das über grafische Benutzeroberflächen (GUI) mit Computeranwendungen interagieren kann.

• Anwendungsszenarien: Nachdem der Benutzer Anweisungen in natürlicher Sprache eingegeben hat, kann CUA Browser Aufgaben wie Web-Browsing, Formularausfüllung und Informationsextraktion ausführen.

Anwendungsszenarien von CUA Browser

• Webautomatisierungsaufgaben: Kann automatisch Formulare ausfüllen, Informationen suchen, Inhalte filtern usw. Zum Beispiel die Suche nach bestimmten Produkten, die Buchung von Hotels oder die Abfrage von Fluginformationen.

• Ausführung komplexer Aufgaben: Kann mehrstufige Aufgaben bewältigen, wie das Erstellen von Projekten, das Erstellen von Einkaufslisten, das Verwalten von Terminen usw. Zum Beispiel das Erstellen einer Einkaufsliste in Todoist oder das Erstellen einer Playlist in Spotify.

• Informationsbeschaffung und -organisation: Extrahieren und Organisieren von Informationen von mehreren Websites, z. B. das Suchen und Vergleichen von Produktinformationen auf verschiedenen Websites.

• Entscheidungsunterstützung: Bietet Entscheidungsunterstützung bei komplexen Aufgaben, z. B. die Berechnung von Rückerstattungsbeträgen oder die Lösung logischer Schlussfolgerungsprobleme.

• Sicherheit und Compliance: Bei der Ausführung sensibler Aktionen fordert CUA eine Bestätigung durch den Benutzer an, um die Sicherheit der Aktionen zu gewährleisten.

• Bildung und Forschung: Kann als Forschungswerkzeug dienen und die Entwicklung und Erprobung neuer KI-Anwendungen unterstützen.

Verwendung von CUA Browser

1. Umgebungsvorbereitung

• Node.js: Node.js muss installiert sein (empfohlene Version 14.x oder höher).

• API-Schlüssel: Die entsprechenden API-Schlüssel müssen von OpenAI und Browserbase bezogen werden.

2. Projekt klonen und konfigurieren:

git clone https://github.com/browserbase/cua-browser.git
cd cua-browser
cp .env.example .env.local

3. Abhängigkeiten installieren:

npm install

4. Umgebungsvariablen konfigurieren:

OPENAI_API_KEY=your_openai_api_key
OPENAI_ORG=your_openai_org_id (optional)
BROWSERBASE_API_KEY=your_browserbase_api_key
BROWSERBASE_PROJECT_ID=your_browserbase_project_id

5. Entwicklungsserver starten:

npm run dev

Beziehung zu OpenAIs Operator

CUA Browser wurde durch OpenAIs Operator-Projekt inspiriert, bei dem es sich um einen KI-Agenten handelt, der Aufgaben über den Browser ausführen kann. Operator verwendet das CUA-Modell, das die visuellen Fähigkeiten von GPT-4o mit den Argumentationsfähigkeiten des Reinforcement Learning kombiniert. Es kann Webinhalte über Bildschirmfotos „sehen" und durch simulierte Maus- und Tastatureingaben mit Webseiten interagieren.

GitHub-Repository: https://github.com/browserbase/cua-browser

Projekt-Website: https://www.browserbase.com/computer-use