ByteDance UI-TARS: un agente GUI de código abierto con capacidad de autoaprendizaje 235

ByteDance lanzó el 22 de enero de 2025 un modelo nativo de agente de interfaz gráfica de usuario (GUI): UI-TARS, cuyo nombre proviene del robot TARS de la película "Interstellar"robot, diseñado específicamente para automatizar interacciones con interfaces gráficas, lo que sugiere que posee un alto grado de inteligencia y capacidad de pensamiento autónomo.

¿Qué es UI-TARS?

UI-TARS puede observar la interfaz a través de capturas de pantalla igual que un humano, y realizar operaciones con el teclado, el ratón, etc., simulando las acciones humanas en teléfonos y computadoras para completar tareas, contando con capacidades avanzadas de percepción, razonamiento e interacción.

El objetivo de UI-TARS es controlar e interactuar con la interfaz de usuario mediante un modelo altamente inteligente, promoviendo así una transición hacia formas de interacción hombre-máquina más naturales y eficientes.

Características de UI-TARS:

• Control por lenguaje natural respaldado por un modelo de lenguaje visual

• Soporte de capturas de pantalla y reconocimiento visual

• Control preciso del ratón y el teclado

• Soporte multiplataforma (Windows/MacOS)

• Retroalimentación y visualización del estado en tiempo real

Funciones de UI-TARS:

• Capacidad de autoaprendizaje: UI-TARS posee la capacidad de autoaprendizaje, pudiendo optimizar sus operaciones mediante la interacción y retroalimentación continuas.

• Soporte multiplataforma: este modelo no solo es aplicable a PC y MacOS, sino que también puede ejecutarse en teléfonos y páginas web, ofreciendo una amplia aplicabilidad.

• Procesamiento de lenguaje natural: UI-TARS puede tomar capturas de pantalla e instrucciones en lenguaje natural como entrada, prediciendo con precisión el siguiente paso para completar la instrucción, ayudando a los usuarios a operar la interfaz de usuario.

• Reconocimiento de imágenes: UI-TARS es capaz de procesar capturas de pantalla, identificar elementos de la interfaz y realizar las acciones correspondientes, lo que lo hace muy eficaz en la automatización y operación de pruebas de interfaz de usuario.

• Percepción mejorada: aprovecha un conjunto de datos a gran escala de capturas de pantalla de GUI para lograr una comprensión contextual de los elementos de la interfaz y su anotación precisa.

• Modelado unificado de acciones: estandariza las acciones multiplataforma en un espacio unificado, logrando una localización e interacción precisas mediante trayectorias de acciones a gran escala.

• Razonamiento de Sistema 2: incorpora razonamiento deliberado en la toma de decisiones de múltiples pasos, involucrando múltiples modos de razonamiento como descomposición de tareas, pensamiento reflexivo e identificación de hitos.

• Entrenamiento iterativo: resuelve el cuello de botella de datos mediante la recopilación, filtrado y refinamiento reflexivo automático de nuevas trayectorias de interacción en cientos de máquinas virtuales.

Escenarios de aplicación de UI-TARS

• Pruebas automatizadas: UI-TARS puede utilizarse para pruebas automatizadas de software, ayudando a los desarrolladores a verificar rápidamente la funcionalidad y estabilidad de la interfaz de usuario.

• Automatización web: combinado con Midscene.js, UI-TARS permite conducir grandes modelos de IA mediante lenguaje natural, realizando una serie de operaciones en el estado actual de la página para acercarse al objetivo indicado por el usuario.

• Automatización de tareas: en el trabajo diario, UI-TARS puede ayudar a los usuarios a ejecutar automáticamente tareas repetitivas, como la introducción de datos y la recuperación de información, mejorando la eficiencia en el trabajo.

• Operación multiplataforma: la versión de escritorio de UI-TARS es compatible con sistemas Windows y macOS, lo que demuestra su amplia aplicabilidad en diferentes sistemas operativos y ofrece a los usuarios una experiencia de interacción coherente.

• Uso diario y automatización de oficina: mediante el control por lenguaje natural, UI-TARS puede simplificar tareas cotidianas de oficina, como la gestión de archivos y la operación de aplicaciones, mejorando la eficiencia laboral.

A diferencia de los sistemas tradicionales que dependen de frameworks modulares o de la optimización manual de prompts, UI-TARS adopta una arquitectura de extremo a extremo, basándose en entradas puramente visuales para lograr la automatización completa de tareas complejas. UI-TARS no se limita únicamente a escenarios de prueba, sino que se enfoca más en la inteligencia de la interacción diaria del usuario, haciendo que la interacción con la computadora sea más humana gracias al poder de la IA.

Dirección del proyecto UI-TARS: https://github.com/bytedance/UI-TARS