DroidRun: controla dispositivos Android con sencillas instrucciones en lenguaje natural 116

¿Qué es DroidRun?

DroidRun es una herramienta de código abierto que permite la automatización de dispositivos Android mediante agentes de ia. Combina el análisis visual con técnicas de extracción de la estructura de la interfaz de usuario, es compatible con varios modelos de lenguaje (como OpenAI, Gemini, etc.) y puede ejecutar tareas de forma automática, manejar interfaces complejas y UI dinámicas. DroidRun también cuenta con gestión inteligente de errores, capacidad de análisis de capturas de pantalla, seguimiento de elementos y otras funciones, siendo adecuado para la automatización de tareas cotidianas, pruebas de aplicaciones, extracción de datos y otros escenarios, y es compatible con Android 6.0 y versiones superiores.

Funciones principales de DroidRun

• Control mediante lenguaje natural: los usuarios pueden indicar a los agentes de IA que ejecuten diversas tareas mediante instrucciones en lenguaje natural, como abrir aplicaciones, enviar mensajes, navegar por la web, etc.

• Extracción visual y de la estructura de la UI: combina la comprensión visual con técnicas de extracción de la estructura de la interfaz de usuario, lo que permite identificar con precisión elementos interactivos en pantalla, como botones y campos de entrada, para automatizar operaciones en interfaces complejas.

• Gestión inteligente de errores: dispone de gestión inteligente de errores y recuperación automática, capaz de manejar situaciones inesperadas como anuncios emergentes, avisos de permisos, etc., y continuar ejecutando la tarea.

• Compatibilidad con múltiples modelos de lenguaje: permite a los usuarios conectar su modelo de lenguaje preferido y comenzar la automatización de inmediato, sin configuraciones complejas.

Casos de uso de DroidRun

• Automatización de tareas cotidianas: los usuarios pueden delegar tareas repetitivas (como consultar las noticias a diario, enviar mensajes a horas programadas, etc.) en agentes de IA para que las realicen automáticamente.

• Gestión de redes sociales: capaz de gestionar tareas en redes sociales de forma masiva, como iniciar sesión automáticamente, subir imágenes, crear publicaciones, etc.

• Pruebas y desarrollo de aplicaciones: los desarrolladores pueden utilizar DroidRun para simular las acciones de los usuarios, probar la interfaz y las funcionalidades de las aplicaciones, registrar los tiempos de respuesta y detectar posibles problemas.

• Extracción y análisis de datos: la IA puede extraer datos automáticamente de las aplicaciones, por ejemplo, buscar restaurantes cercanos y tomar capturas de pantalla.

Pasos para usar DroidRun

1. Abre el navegador y accede al sitio web oficial de DroidRun.

2. En la página de inicio, haz clic en "Download Android Portal APK" para descargar el archivo droidrun-portal.apk (unos 10 MB).

3. En el dispositivo Android, accede a "Ajustes > Seguridad" y activa la opción "Fuentes desconocidas" para permitir la instalación de aplicaciones no oficiales.

4. Utiliza un gestor de archivos para localizar el archivo APK descargado y haz clic para instalarlo (el proceso de instalación tarda aproximadamente 1 minuto).

5. Una vez completada la instalación, al abrir por primera vez la aplicación DroidRun Portal, esta mostrará un aviso para activar el "Servicio de accesibilidad" y los permisos de "captura de pantalla". Haz clic en el aviso para acceder a la página de ajustes y activa los permisos correspondientes.

6. Introduce dentro de la aplicación la clave API del modelo de lenguaje (compatible con Gemini, ChatGPT, Grok, etc.) y haz clic en "Verify" para confirmar que la conexión se ha realizado correctamente.

Dirección de GitHub:https://github.com/droidrun/droidrun