GUIRoboTron-Speech: el primer agente GUI con interacción por voz de Meituan y la Universidad de Zhejiang 210

Meituan y la Universidad de Zhejiang han desarrollado de forma conjunta GUIRoboTron-Speech, un agente de GUI capaz de tomar decisiones directamente mediante instrucciones de voz y capturas de pantalla del dispositivo. Permite a los usuarios controlar el ordenador a través de la voz y capturas de pantalla del dispositivo, evitando las molestias de la entrada de texto tradicional.

GUIRoboTron-Speech resuelve las limitaciones tradicionales que dependen del texto. El equipo logró entrenar a este agente creando conjuntos de datos de voz de alta calidad, mediante un entrenamiento por fases y una estrategia de entrenamiento con instrucciones mixtas, logrando un rendimiento excelente en múltiples tareas. La investigación descubrió que, cuando la intención del usuario es clara, las instrucciones de voz tienen una mayor tasa de éxito en la finalización de tareas que las instrucciones de texto, y en el futuro se seguirá mejorando su capacidad para manejar instrucciones complejas.

Funciones principales

• Impulsado por instrucciones de voz: GUIRoboTron-Speech puede recibir directamente instrucciones de voz y capturas de pantalla del dispositivo para predecir y ejecutar acciones. Los usuarios no necesitan escribir texto manualmente, pueden controlar el agente de GUI mediante la voz.

• Interacción multimodal: combina las modalidades de voz y visión, siendo capaz de comprender con precisión la correspondencia entre las instrucciones de voz y los elementos visuales de la interfaz GUI.

Método de investigación y desarrollo

• Generación del conjunto de datos: debido a la falta de conjuntos de datos de instrucciones de voz, el equipo utilizó un avanzado modelo de texto a voz (TTS) con tonos aleatorios para convertir un gran conjunto de datos de instrucciones de texto en un conjunto de datos de instrucciones de voz con múltiples estilos de habla y tonos.

• Marco de entrenamiento progresivo: el entrenamiento se divide en dos fases:

• Fase de Grounding: el modelo aprende la correspondencia precisa entre las instrucciones de voz y los elementos visuales de la GUI, por ejemplo, comprender "haz clic en el botón 'Aceptar'" y localizar el botón "Aceptar" en la captura de pantalla.

• Fase de Planning: el modelo aprende a ejecutar tareas complejas de varios pasos, como "primero iniciar sesión, luego buscar el correo más reciente y abrir el adjunto", demostrando capacidad de razonamiento lógico y planificación de tareas.

• Estrategia heurística de entrenamiento con instrucciones mixtas: para abordar el desequilibrio modal del modelo preentrenado, el equipo mezcló instrucciones de voz y de texto durante el entrenamiento, permitiendo que el modelo procese ambas entradas por igual.

Rendimiento

• Comparación de modalidades de instrucción: en la tarea ScreenSpot, el modelo entrenado únicamente con instrucciones de voz tuvo una precisión promedio de grounding un 1,6 % inferior a la del modelo entrenado únicamente con instrucciones de texto, pero al adoptar la estrategia de instrucciones mixtas, la precisión aumentó un 1,9 %.

• Grounding visual de GUI: en los ámbitos Mobile y Web, GUIRoboTron-Speech, al utilizar instrucciones de voz como entrada, logra un rendimiento comparable al de los métodos avanzados basados en instrucciones de texto.

• Ejecución de tareas de varios pasos: en conjuntos de datos de tareas de varios pasos como AndroidControl y GUIOdyssey, su rendimiento es comparable al de algunos modelos avanzados basados en instrucciones de texto.

Ventajas e importancia

• Mayor comodidad de interacción: los usuarios no necesitan escribir texto manualmente al operar el dispositivo y pueden completar diversas acciones mediante la voz, lo que aumenta en gran medida la comodidad de la interacción.

• Ampliación de los escenarios de aplicación: esta tecnología no solo es adecuada para las operaciones cotidianas y cómodas de los usuarios comunes, sino también para escenarios especiales que requieren el uso de las manos, como la conducción y la medicina, proporcionando una forma de interacción más segura y eficiente.

• Impulso al desarrollo tecnológico: GUIRoboTron-Speech ofrece nuevas ideas y métodos para la aplicación de la tecnología de interacción por voz en el ámbito de la GUI, promoviendo el desarrollo de tecnologías relacionadas.

Enlaces del proyecto

Artículo técnico:https://arxiv.org/abs/2506.11127

Repositorio de Github:https://github.com/GUIRoboTron/GUIRoboTron-Speech