GUIRoboTron-Speech: Meituans und der Zhejiang-Universitäts erster sprachgesteuerter GUI-Agent 208

小编 · 2025-06-21

Meituan und die Zhejiang-Universität haben gemeinsam GUIRoboTron-Speech entwickelt, einen GUI-Agenten, der Entscheidungen direkt auf Basis von Sprachbefehlen und Bildschirmfotos des Geräts trifft. Nutzer können den Computer per Sprache und Screenshots steuern und so die Umständlichkeit der herkömmlichen Texteingabe vermeiden.

GUIRoboTron-Speech: Meituans und der Zhejiang-Universitäts erster sprachgesteuerter GUI-Agent

Meituan hat in Zusammenarbeit mit der Zhejiang-Universität GUIRoboTron-Speech entwickelt – einen GUI-Agenten, der mithilfe von Sprachbefehlen und Bildschirmfotos des Geräts direkt Entscheidungen treffen kann. Er ermöglicht es Benutzern, Computer per Sprache und über Bildschirmfotos zu steuern, wodurch die Unannehmlichkeiten der herkömmlichen Texteingabe vermieden werden.

GUIRoboTron-Speech überwindet die Einschränkungen der traditionellen Textabhängigkeit. Dem Team ist es gelungen, diesen Agenten durch die Erstellung eines hochwertigen Sprachdatensatzes, ein stufenweises Training und eine Strategie mit gemischten Instruktionen erfolgreich zu trainieren, sodass er bei vielen Aufgaben hervorragende Leistungen zeigt. Die Forschung ergab, dass Sprachbefehle bei eindeutiger Benutzerabsicht eine höhere Erfolgsquote bei der Aufgabenbewältigung erzielen als Textbefehle. In Zukunft soll die Fähigkeit zur Verarbeitung komplexer Anweisungen weiter verbessert werden.

GUIRoboTron-Speech：美团与浙江大推出的首个语音交互GUI智能体.jpg

Kernfunktionen

Sprachgesteuerte Befehle: GUIRoboTron-Speech kann direkt Sprachbefehle und Bildschirmfotos des Geräts empfangen, um Aktionen vorherzusagen und auszuführen. Benutzer müssen keinen Text manuell eingeben, sondern können den GUI-Agenten per Sprache steuern.
Multimodale Interaktion: Er kombiniert die Modalitäten Sprache und Bild und kann die genaue Zuordnung zwischen Sprachbefehlen und visuellen Elementen der GUI-Oberfläche verstehen.

Entwicklungsmethodik

Datensatzgenerierung: Da Sprachinstruktionsdatensätze fehlten, setzte das Team fortschrittliche Text-to-Speech-Modelle (TTS) mit zufälligen Stimmen ein, um große Textinstruktionsdatensätze in Sprachinstruktionsdatensätze mit unterschiedlichen Sprechstilen und Stimmen umzuwandeln.
Progressives Trainingsframework: Das Training erfolgt in zwei Phasen:
Grounding-Phase: Das Modell lernt die präzise Zuordnung zwischen Sprachbefehlen und visuellen GUI-Elementen, z. B. das Verstehen von „Klicke auf die Schaltfläche ‚OK'“ und das Auffinden der Schaltfläche „OK“ im Screenshot.
Planning-Phase: Das Modell lernt die Ausführung mehrstufiger komplexer Aufgaben, wie z. B. „Zuerst Konto anmelden, dann die neueste E-Mail suchen und den Anhang öffnen“, und zeigt dabei logisches Denken und Aufgabenplanung.
Heuristische Strategie mit gemischten Instruktionen: Um das Modusungleichgewicht des vortrainierten Modells zu lösen, mischte das Team während des Trainings Sprach- und Textinstruktionen, sodass das Modell beide Eingaben gleichberechtigt verarbeitet.

Leistung

Vergleich der Befehlsmodalitäten: In der ScreenSpot-Aufgabe lag die durchschnittliche Grounding-Genauigkeit des nur mit Sprachbefehlen trainierten Modells um 1,6 % unter der des nur mit Textbefehlen trainierten Modells. Durch die Strategie der gemischten Instruktionen stieg die Genauigkeit jedoch um 1,9 %.
Visuelles GUI-Grounding: In den Bereichen Mobile und Web erreicht GUIRoboTron-Speech mit Spracheingabe eine Leistung, die mit modernsten textbasierten Methoden vergleichbar ist.
Ausführung mehrstufiger Aufgaben: Auf mehrstufigen Aufgabendatensätzen wie AndroidControl und GUIOdyssey ist seine Leistung mit der einiger modernster textbasierter Modelle vergleichbar.

Vorteile und Bedeutung

Verbesserung des Bedienkomforts: Benutzer müssen bei der Bedienung von Geräten keinen Text manuell eingeben, sondern können verschiedene Aktionen per Sprache ausführen, was den Bedienkomfort erheblich erhöht.
Erweiterung der Anwendungsszenarien: Diese Technologie eignet sich nicht nur für die alltägliche komfortable Bedienung normaler Benutzer, sondern auch für spezielle Szenarien wie Autofahren oder Medizin, in denen die Hände anderweitig gebunden sind, und bietet so eine sicherere und effizientere Interaktionsweise.
Förderung der technologischen Entwicklung: GUIRoboTron-Speech liefert neue Ideen und Methoden für den Einsatz von Sprachinteraktionstechnologie im GUI-Bereich und treibt die Entwicklung verwandter Technologien voran.