ByteDance UI-TARS: открытый самообучающийся GUI-агент 244

ByteDance открыла исходный код нативной модели графического пользовательского интерфейса (GUI) агента UI-TARS 22 января 2025 года. Название UI-TARS происходит от робота TARS из фильма «Интерстеллар», специально разработанного для автоматизации взаимодействия с графическим интерфейсом, что указывает на его высокий уровень интеллекта и способность к автономному мышлению.

Что такое UI-TARS?

UI-TARS может наблюдать за интерфейсом через скриншоты, как человек, выполнять действия с клавиатурой, мышью и другие операции, имитируя взаимодействие человека со смартфоном и компьютером для выполнения задач, обладая продвинутыми возможностями восприятия, рассуждения и взаимодействия.

Цель UI-TARS — управление пользовательским интерфейсом и взаимодействие с ним с помощью высокоинтеллектуальной модели, что знаменует переход к более естественному и эффективному способу взаимодействия человека и машины.

Особенности UI-TARS:

• Управление на естественном языке на основе визуально-языковой модели

• Поддержка скриншотов и визуального распознавания

• Точное управление мышью и клавиатурой

• Кроссплатформенная поддержка (Windows/MacOS)

• Обратная связь и отображение состояния в реальном времени

Функции UI-TARS:

• Способность к самообучению: UI-TARS обладает способностью к самообучению и может оптимизировать свои действия посредством постоянного взаимодействия и обратной связи.

• Многоплатформенная поддержка: модель работает не только на ПК и MacOS, но также на смартфонах и в вебе, что обеспечивает широкую применимость.

• Обработка естественного языка: UI-TARS может принимать скриншоты и команды на естественном языке в качестве входных данных, точно прогнозируя следующее действие для выполнения команды и помогая пользователям взаимодействовать с интерфейсом.

• Распознавание изображений: UI-TARS способен обрабатывать скриншоты, распознавать элементы интерфейса и выполнять соответствующие действия, что делает его очень эффективным при автоматизированном тестировании и работе с UI.

• Усиленное восприятие: использование крупномасштабных наборов данных скриншотов GUI обеспечивает контекстно-зависимое понимание и точную аннотацию элементов интерфейса.

• Унифицированное моделирование действий: стандартизация кроссплатформенных действий в едином пространстве и обеспечение точного позиционирования и взаимодействия с помощью крупномасштабных траекторий действий.

• Рассуждение System-2: включение вдумчивого рассуждения в многошаговые решения с участием различных режимов рассуждения, таких как декомпозиция задач, рефлексивное мышление, распознавание вех и другие.

• Итеративное обучение: решение проблемы дефицита данных за счёт автоматического сбора, фильтрации и рефлексивного уточнения новых траекторий взаимодействия на сотнях виртуальных машин.

Сценарии применения UI-TARS

• Автоматизированное тестирование: UI-TARS может использоваться для автоматизированного тестирования программного обеспечения, помогая разработчикам быстро проверять функциональность и стабильность пользовательского интерфейса.

• Веб-автоматизация: в сочетании с UI-TARS, Midscene.js поддерживает управление большой AI-моделью с помощью естественного языка, выполняя серию действий в текущем состоянии страницы для достижения поставленных пользователем целей.

• Автоматизация задач: в повседневной работе UI-TARS может помочь пользователям автоматически выполнять повторяющиеся задачи, такие как ввод данных, поиск информации и т.д., повышая эффективность работы.

• Кроссплатформенные операции: версия UI-TARS Desktop поддерживает системы Windows и macOS, демонстрируя широкую применимость в различных операционных системах и обеспечивая единообразный опыт взаимодействия для пользователей.

• Повседневное использование и офисная автоматизация: благодаря управлению на естественном языке UI-TARS может упростить повседневные офисные задачи, такие как управление файлами, работа с приложениями и т.д., повышая эффективность работы.

В отличие от традиционных систем, основанных на модульных фреймворках или ручной оптимизации подсказок, UI-TARS использует сквозную архитектуру, полагаясь исключительно на визуальный ввод, что обеспечивает комплексную автоматизацию сложных задач. UI-TARS не ограничивается сценариями тестирования — он в большей степени ориентирован на интеллектуализацию повседневного взаимодействия пользователя, делая взаимодействие с компьютером более человечным с помощью силы ИИ.

Адрес проекта UI-TARS: https://github.com/bytedance/UI-TARS