DroidRun: Android-Geräte mit einfachen Befehlen in natürlicher Sprache steuern

DroidRun: Android-Geräte mit einfachen Befehlen in natürlicher Sprache steuern 114

Open-Source-Framework zur Automatisierung von Android-Geräten mittels KI-Agenten. Kombiniert visuelle Analyse mit UI-Strukturerkennung, unterstützt verschiedene Sprachmodelle und führt Aufgaben auch in komplexen und dynamischen Benutzeroberflächen automatisch aus.

#Ai工具箱 #Ai开源项目

DroidRun: Android-Geräte mit einfachen Befehlen in natürlicher Sprache steuernEinführung

Was ist DroidRun?

DroidRun ist ein Open-Source-Tool, das die Automatisierung von Android-Geräten durch KI-Agenten ermöglicht. Es kombiniert visuelle Analyse mit der Extraktion von UI-Strukturen und unterstützt verschiedene Sprachmodelle (wie OpenAI, Gemini usw.), um Aufgaben automatisch auszuführen, komplexe Oberflächen und dynamische UIs zu verarbeiten. DroidRun verfügt zudem über Funktionen zur intelligenten Fehlerbehandlung, Screenshot-Analyse und Elementverfolgung und eignet sich für Szenarien wie die Automatisierung alltäglicher Aufgaben, App-Tests und Datenextraktion. Es unterstützt Android 6.0 und höher.

DroidRun:可通过简单的自然语言命令来控制Android设备.webp

Kernfunktionen von DroidRun

  • Steuerung in natürlicher Sprache: Benutzer können KI-Agenten über Anweisungen in natürlicher Sprache verschiedene Aufgaben ausführen lassen, z. B. Apps öffnen, Nachrichten senden, im Web surfen usw.

  • Visuelle Analyse und Extraktion der UI-Struktur: Durch die Kombination von visuellem Verständnis und Extraktion der UI-Struktur können interaktive Elemente wie Schaltflächen und Eingabefelder auf dem Bildschirm genau erkannt werden, um die Automatisierung komplexer Oberflächen zu ermöglichen.

  • Intelligente Fehlerbehandlung: Verfügt über intelligente Fehlerbehandlung und automatische Wiederherstellung und kann bei unerwarteten Situationen wie Popup-Werbung oder Berechtigungsaufforderungen automatisch reagieren und die Aufgabenausführung fortsetzen.

  • Unterstützung mehrerer Sprachmodelle: Benutzer können ihr bevorzugtes Sprachmodell verbinden, ohne komplexe Einstellungen vornehmen zu müssen, und sofort mit der Automatisierung beginnen.

Anwendungsszenarien von DroidRun

  • Automatisierung alltäglicher Aufgaben: Benutzer können sich wiederholende Aufgaben (z. B. tägliches Lesen von Nachrichten, zeitgesteuertes Senden von Nachrichten) von KI-Agenten automatisch erledigen lassen.

  • Social-Media-Management: Kann Social-Media-Aufgaben in Stapeln verarbeiten, z. B. automatisches Anmelden, Hochladen von Bildern, Veröffentlichen von Beiträgen usw.

  • App-Test und Entwicklung: Entwickler können mit DroidRun Benutzeraktionen simulieren, die Oberfläche und Funktionen von Apps testen, Antwortzeiten erfassen und potenzielle Probleme erkennen.

  • Datenextraktion und -analyse: Die KI kann automatisch Daten aus Apps extrahieren, z. B. nach Restaurants in der Nähe suchen und Screenshots erstellen.

Schritte zur Verwendung von DroidRun

  1. Öffnen Sie den Browser und rufen Sie die offizielle Website von DroidRun auf.

  2. Klicken Sie auf der Startseite auf „Download Android Portal APK", um die Datei droidrun-portal.apk (ca. 10 MB) herunterzuladen.

  3. Gehen Sie auf dem Android-Gerät zu „Einstellungen > Sicherheit" und aktivieren Sie die Option „Unbekannte Quellen", um die Installation von inoffiziellen Apps zu erlauben.

  4. Suchen Sie die heruntergeladene APK-Datei mit dem Dateimanager und tippen Sie sie an, um sie zu installieren (die Installation dauert ca. 1 Minute).

  5. Nach Abschluss der Installation fordert die DroidRun Portal-App beim ersten Öffnen auf, die Berechtigungen für „Bedienungshilfen" und „Bildschirmaufnahme" zu aktivieren. Tippen Sie auf die Aufforderung, um zur Einstellungsseite zu gelangen, und aktivieren Sie die entsprechenden Berechtigungen.

  6. Geben Sie in der App den API-Schlüssel des Sprachmodells ein (unterstützt Gemini, ChatGPT, Grok usw.) und klicken Sie auf „Verify", um die erfolgreiche Verbindung zu bestätigen.

GitHub-Adresse:https://github.com/droidrun/droidrun

Ähnliche Tools zu DroidRun: Android-Geräte mit einfachen Befehlen in natürlicher Sprache steuern