GUIRoboTron-Speech: первый голосовой GUI-агент от Meituan и Чжэцзянского университета 213

Meituan и Чжэцзянский университет совместно разработали GUIRoboTron-Speech — это GUI-агент, способный принимать решения непосредственно на основе голосовых команд и скриншотов экрана устройства. Он позволяет пользователям управлять компьютером с помощью голоса и скриншотов экрана устройства, избавляя от неудобств, связанных с традиционным текстовым вводом.

GUIRoboTron-Speech снимает ограничения, присущие традиционным подходам, основанным на тексте. Команда исследователей успешно обучила этого агента, создав высококачественный набор голосовых данных, применяя поэтапное обучение и стратегию обучения на смешанных инструкциях, благодаря чему он показывает отличные результаты на множестве задач. Исследование показало, что при чётко выраженном намерении пользователя голосовые команды обеспечивают более высокий процент успешного выполнения задач по сравнению с текстовыми. В будущем планируется и далее повышать его способность обрабатывать сложные команды.

Ключевые функции

• Управление с помощью голосовых команд: GUIRoboTron-Speech может напрямую принимать голосовые команды и скриншоты экрана устройства для прогнозирования и выполнения действий. Пользователю не нужно вводить текст вручную — управление GUI-агентом осуществляется с помощью голоса.

• Мультимодальное взаимодействие: Агент сочетает два модальности — голос и визуальный канал, что позволяет точно сопоставлять голосовые команды с визуальными элементами интерфейса GUI.

Методология разработки

• Генерация набора данных: Поскольку наборы голосовых команд отсутствовали, команда использовала передовые модели преобразования текста в речь (TTS) с разнообразными случайными голосами, чтобы преобразовать масштабный набор текстовых инструкций в набор голосовых команд с различными стилями речи и тембрами.

• Фреймворк поэтапного обучения: Обучение проходит в два этапа:

• Этап Grounding: модель обучается точному сопоставлению голосовых команд с визуальными элементами GUI, например, пониманию команды «нажать кнопку «ОК»» и нахождению кнопки «ОК» на скриншоте.

• Этап Planning: модель обучается выполнению многоэтапных сложных задач, таких как «сначала войти в аккаунт, затем найти последнее письмо и открыть вложение», демонстрируя способности к логическому мышлению и планированию задач.

• Эвристическая стратегия обучения на смешанных инструкциях: Для решения проблемы дисбаланса модальностей в предобученной модели команда смешивала в процессе обучения голосовые и текстовые команды, чтобы модель одинаково работала с обоими типами ввода.

Показатели производительности

• Сравнение модальностей инструкций: В задаче ScreenSpot средняя точность grounding у модели, обученной только на голосовых командах, оказалась на 1,6% ниже, чем у модели, обученной только на текстовых командах, однако после применения стратегии смешанных инструкций точность повысилась на 1,9%.

• Визуальный Grounding GUI: В мобильной и веб-сферах GUIRoboTron-Speech при использовании голосовых команд демонстрирует производительность, сопоставимую с передовыми методами, основанными на текстовых командах.

• Выполнение многоэтапных задач: На наборах данных многоэтапных задач, таких как AndroidControl и GUIOdyssey, его производительность сопоставима с рядом передовых моделей, использующих текстовые команды.

Преимущества и значение

• Повышение удобства взаимодействия: Пользователю не нужно вводить текст вручную при работе с устройством — все операции можно выполнять голосом, что значительно повышает удобство взаимодействия.

• Расширение сценариев применения: Эта технология подходит не только для повседневного удобного использования обычными пользователями, но и для особых сценариев, где требуется управление без рук, таких как вождение или медицина, обеспечивая более безопасное и эффективное взаимодействие.

• Содействие развитию технологий: GUIRoboTron-Speech предлагает новый подход и методы применения технологий голосового взаимодействия в области GUI, способствуя развитию смежных технологий.

Ссылки на проект

Техническая статья:https://arxiv.org/abs/2506.11127

Репозиторий Github:https://github.com/GUIRoboTron/GUIRoboTron-Speech