ByteDance UI-TARS: ein Open-Source-GUI-Agent mit Selbstlernfähigkeit 246

ByteDance hat am 22. Januar 2025 ein natives grafisches Benutzeroberflächen-Agentenmodell (GUI) als Open Source veröffentlicht: UI-TARS. Der Name UI-TARS stammt von dem TARS-Roboter aus dem Film „Interstellar“ und wurde speziell für die Automatisierung von GUI-Interaktionen entwickelt, was auf ein hohes Maß an Intelligenz und autonomem Denkvermögen hindeutet.

Was ist UI-TARS?

UI-TARS kann wie ein Mensch die Benutzeroberfläche durch Bildschirmfotos beobachten und Tastatur- sowie Mausaktionen ausführen, um die Bedienung von Telefon und Computer durch den Menschen zu simulieren, Aufgaben zu erledigen und über fortgeschrittene Wahrnehmungs-, Denk- und Interaktionsfähigkeiten zu verfügen.

Das Ziel von UI-TARS besteht darin, die Benutzeroberfläche durch ein hochintelligentes Modell zu steuern und mit ihr zu interagieren, um einen natürlicheren und effizienteren Weg der Mensch-Computer-Interaktion zu ermöglichen.

Merkmale von UI-TARS:

• Natürlichsprachliche Steuerung, unterstützt durch ein Vision-Language-Modell

• Unterstützung für Screenshots und visueller Erkennung

• Präzise Maus- und Tastatursteuerung

• Plattformübergreifende Unterstützung (Windows/macOS)

• Echtzeit-Feedback und Statusanzeige

Funktionen von UI-TARS:

• Selbstlernfähigkeit: UI-TARS verfügt über die Fähigkeit zum selbstständigen Lernen und kann seine Aktionen durch kontinuierliche Interaktion und Feedback optimieren.

• Plattformübergreifende Unterstützung: Das Modell ist nicht nur für PC und macOS geeignet, sondern kann auch auf Mobiltelefonen und im Web ausgeführt werden und ist somit breit einsetzbar.

• Verarbeitung natürlicher Sprache: UI-TARS kann Screenshots und natürlichsprachliche Anweisungen als Eingabe verwenden und genau den nächsten Schritt zur Erfüllung der Anweisung vorhersagen, um Benutzern bei der Bedienung der Benutzeroberfläche zu helfen.

• Bilderkennung: UI-TARS kann Screenshots verarbeiten, Oberflächenelemente erkennen und entsprechende Aktionen ausführen, was es bei automatisierten UI-Tests und -Bedienung besonders effektiv macht.

• Erweiterte Wahrnehmung: Durch die Nutzung eines umfangreichen Datensatzes von GUI-Screenshots wird ein kontextbezogenes Verständnis von UI-Elementen und eine präzise Annotation ermöglicht.

• Einheitliche Aktionsmodellierung: Plattformübergreifende Aktionen werden in einem einheitlichen Raum standardisiert, und durch umfangreiche Aktionstrajektorien werden präzise Positionierung und Interaktion realisiert.

• System-2-Reasoning: Durchdachtes Reasoning wird in mehrstufige Entscheidungsprozesse einbezogen und umfasst verschiedene Reasoning-Modi wie Aufgabenzerlegung, reflektierendes Denken und Meilensteinerkennung.

• Iteratives Training: Durch automatische Erfassung, Filterung und reflektierende Verfeinerung neuer Interaktionstrajektorien auf Hunderten von virtuellen Maschinen wird der Datenengpass überwunden.

Anwendungsszenarien für UI-TARS

• Automatisierte Tests: UI-TARS kann für automatisierte Softwaretests eingesetzt werden, um Entwicklern zu helfen, die Funktionalität und Stabilität der Benutzeroberfläche schnell zu überprüfen.

• Web-Automatisierung: In Kombination mit UI-TARS unterstützt Midscene.js die Steuerung von KI-Großmodellen durch natürliche Sprache und führt im aktuellen Seitenzustand eine Reihe von Aktionen aus, um sich den menschlichen Zielvorgaben anzunähern.

• Aufgabenautomatisierung: In der täglichen Arbeit kann UI-TARS Benutzern helfen, sich wiederholende Aufgaben wie Dateneingabe und Informationsabfrage automatisch auszuführen und so die Arbeitseffizienz zu steigern.

• Plattformübergreifende Bedienung: Die Desktop-Version von UI-TARS unterstützt Windows und macOS, was deren breite Anwendbarkeit auf verschiedenen Betriebssystemen zeigt und den Benutzern ein einheitliches Interaktionserlebnis bietet.

• Alltäglicher Gebrauch und Büroautomatisierung: Durch natürlichsprachliche Steuerung kann UI-TARS alltägliche Büroaufgaben wie Dateiverwaltung und Anwendungsbedienung vereinfachen und die Arbeitseffizienz steigern.

Im Gegensatz zu herkömmlichen Systemen, die auf modularen Frameworks oder manueller Prompt-Optimierung basieren, verwendet UI-TARS eine Ende-zu-Ende-Architektur, die sich rein auf visuelle Eingaben stützt und eine umfassende Automatisierung komplexer Aufgaben ermöglicht. UI-TARS beschränkt sich nicht nur auf Testszenarien, sondern liegt den Schwerpunkt stärker auf der intelligenten Gestaltung alltäglicher Benutzerinteraktionen und macht die Interaktion mit dem Computer durch die Kraft der KI menschlicher.

Projektadresse von UI-TARS: https://github.com/bytedance/UI-TARS