DroidRun : contrôlez des appareils Android grâce à de simples commandes en langage naturel 119

Qu'est-ce que DroidRun ?

DroidRun est un outil open source permettant l'automatisation des appareils Android via un agent IA. Il combine l'analyse visuelle et l'extraction de la structure de l'interface utilisateur, prend en charge plusieurs modèles de langage (tels qu'OpenAI, Gemini, etc.) et peut exécuter automatiquement des tâches, traiter des interfaces complexes et des UI dynamiques. DroidRun dispose également d'une gestion intelligente des erreurs, d'une capacité d'analyse de captures d'écran, d'un suivi des éléments, etc. Il convient à l'automatisation des tâches quotidiennes, aux tests d'applications, à l'extraction de données et prend en charge Android 6.0 et versions ultérieures.

Fonctionnalités principales de DroidRun

• Contrôle en langage naturel : les utilisateurs peuvent donner des instructions en langage naturel pour que l'agent IA exécute diverses tâches, comme ouvrir une application, envoyer des messages, naviguer sur le web, etc.

• Extraction visuelle et structurelle de l'UI : en combinant la compréhension visuelle et l'extraction de la structure de l'interface, il identifie avec précision les boutons, les champs de saisie et autres éléments interactifs à l'écran, permettant ainsi l'automatisation d'interfaces complexes.

• Gestion intelligente des erreurs : dotée d'une gestion intelligente des erreurs et d'une récupération automatique, elle peut gérer automatiquement les situations inattendues telles que les publicités pop-up ou les invites d'autorisation et poursuivre l'exécution de la tâche.

• Prise en charge de plusieurs modèles de langage : permet aux utilisateurs de connecter leur modèle de langage préféré et de démarrer immédiatement l'automatisation sans configuration complexe.

Cas d'utilisation de DroidRun

• Automatisation des tâches quotidiennes : les utilisateurs peuvent confier à l'agent IA les tâches répétitives (comme consulter les actualités chaque jour, envoyer des messages à heure fixe, etc.).

• Gestion des réseaux sociaux : capable de traiter par lots des tâches sur les réseaux sociaux, comme la connexion automatique, le téléchargement d'images, la publication de posts, etc.

• Tests et développement d'applications : les développeurs peuvent utiliser DroidRun pour simuler les actions des utilisateurs, tester l'interface et les fonctionnalités de l'application, enregistrer les temps de réponse et détecter des problèmes potentiels.

• Extraction et analyse de données : l'IA peut extraire automatiquement des données depuis les applications, par exemple rechercher des restaurants à proximité et effectuer des captures d'écran.

Étapes d'utilisation de DroidRun

1. Ouvrez le navigateur et accédez au site officiel de DroidRun.

2. Sur la page d'accueil, cliquez sur « Download Android Portal APK » pour télécharger le fichier droidrun-portal.apk (environ 10 Mo).

3. Sur l'appareil Android, accédez à « Paramètres > Sécurité » et activez l'option « Sources inconnues » pour autoriser l'installation d'applications non officielles.

4. Utilisez le gestionnaire de fichiers pour trouver le fichier APK téléchargé et cliquez pour l'installer (l'installation prend environ 1 minute).

5. Une fois l'installation terminée, lors de la première ouverture de l'application DroidRun Portal, celle-ci vous demandera d'activer les autorisations « Accessibilité » et « Capture d'écran ». Cliquez sur l'invite pour accéder à la page des paramètres et activez les autorisations correspondantes.

6. Saisissez la clé API du modèle de langage dans l'application (Gemini, ChatGPT, Grok, etc. sont pris en charge), puis cliquez sur « Verify » pour confirmer que la connexion a réussi.

Adresse GitHub :https://github.com/droidrun/droidrun