CUA Browser: proyecto open-source de automatización de navegadores basado en Browserbase y OpenAI CUA 225

¿Qué es CUA Browser?

CUA Browser es un proyecto gratuito y de código abierto que ofrece una funcionalidad de prueba y exploración del Computer-Using Agent (CUA) de Browserbase y Openai. Los usuarios pueden interactuar con el navegador mediante comandos en lenguaje natural y observar la respuesta del navegador.

Características de CUA Browser

• Interacción multimodal: CUA comprende el contenido de la interfaz procesando datos de píxeles sin procesar en la pantalla, y realiza operaciones con la ayuda de un ratón y teclado virtuales.

• Ejecución de tareas en varios pasos: puede descomponer tareas complejas en varios pasos y ajustar dinámicamente el orden de las operaciones.

• Capacidad de razonamiento y autocorrección: al ejecutar tareas, CUA razona mediante el pensamiento en cadena y luego ajusta dinámicamente las operaciones según la retroalimentación del entorno.

• Mecanismo de confirmación del usuario: para operaciones sensibles, como introducir información de inicio de sesión o gestionar captchas, CUA solicitará la confirmación del usuario para evitar posibles errores.

• Sin necesidad de API específicas: CUA no depende de un sistema operativo específico ni de API web, y puede interactuar directamente con diversos entornos digitales a través de la pantalla, el ratón y el teclado.

Características del proyecto CUA Browser

• Código abierto y gratuito: CUA Browser es un proyecto de código abierto bajo la licencia MIT, los usuarios pueden utilizarlo de forma gratuita.

• Base tecnológica: este proyecto se desarrolla sobre la tecnología CUA de Browserbase y OpenAI. CUA es un modelo de inteligencia artificial capaz de interactuar con aplicaciones informáticas a través de la interfaz gráfica de usuario (GUI).

• Escenarios de uso: una vez que el usuario introduce instrucciones en lenguaje natural, CUA Browser puede realizar tareas como navegación web, cumplimentación de formularios y extracción de información.

Escenarios de aplicación de CUA Browser

• Tareas de automatización web: puede rellenar formularios automáticamente, buscar información, filtrar contenido, etc. Por ejemplo, buscar productos específicos, reservar hoteles, consultar información de vuelos, etc.

• Ejecución de tareas complejas: puede gestionar tareas en varios pasos, como crear proyectos, generar listas de compras, gestionar agendas, etc. Por ejemplo, crear una lista de compras en Todoist o crear una lista de reproducción en Spotify.

• Búsqueda y organización de información: extraer y organizar información de varios sitios web, como buscar y comparar información de productos en diferentes sitios web.

• Apoyo a la toma de decisiones: proporciona apoyo en la toma de decisiones en tareas complejas, por ejemplo, calcular el importe de un reembolso o resolver problemas de razonamiento lógico.

• Seguridad y cumplimiento: al realizar operaciones sensibles, CUA solicitará la confirmación del usuario para garantizar la seguridad de la operación.

• Educación e investigación: puede servir como herramienta de investigación para ayudar a desarrollar y probar nuevas aplicaciones de IA.

Cómo usar CUA Browser

1. Preparación del entorno

• Node.js: es necesario instalar Node.js (se recomienda la versión 14.x o superior).

• Claves de API: es necesario obtener las correspondientes claves de API de OpenAI y Browserbase.

2. Clonar y configurar el proyecto:

git clone https://github.com/browserbase/cua-browser.git
cd cua-browser
cp .env.example .env.local

3. Instalar dependencias:

npm install

4. Configurar las variables de entorno:

OPENAI_API_KEY=your_openai_api_key
OPENAI_ORG=your_openai_org_id (optional)
BROWSERBASE_API_KEY=your_browserbase_api_key
BROWSERBASE_PROJECT_ID=your_browserbase_project_id

5. Iniciar el servidor de desarrollo:

npm run dev

Relación con Operator de OpenAI

CUA Browser se inspira en el proyecto Operator de OpenAI, que es un agente de IA capaz de ejecutar tareas a través del navegador. Operator utiliza el modelo CUA, que combina las capacidades visuales de GPT-4o y la capacidad de razonamiento del aprendizaje por refuerzo, y puede "ver" el contenido de la página web mediante capturas de pantalla e interactuar con la página web simulando el ratón y el teclado.

Repositorio de GitHub:https://github.com/browserbase/cua-browser

Sitio web oficial del proyecto:https://www.browserbase.com/computer-use