DroidRun: Android-Geräte mit einfachen Befehlen in natürlicher Sprache steuern
DroidRun: Android-Geräte mit einfachen Befehlen in natürlicher Sprache steuernEinführung
Was ist DroidRun?
DroidRun ist ein Open-Source-Tool, das die Automatisierung von Android-Geräten durch KI-Agenten ermöglicht. Es kombiniert visuelle Analyse mit der Extraktion von UI-Strukturen und unterstützt verschiedene Sprachmodelle (wie OpenAI, Gemini usw.), um Aufgaben automatisch auszuführen, komplexe Oberflächen und dynamische UIs zu verarbeiten. DroidRun verfügt zudem über Funktionen zur intelligenten Fehlerbehandlung, Screenshot-Analyse und Elementverfolgung und eignet sich für Szenarien wie die Automatisierung alltäglicher Aufgaben, App-Tests und Datenextraktion. Es unterstützt Android 6.0 und höher.

Kernfunktionen von DroidRun
Steuerung in natürlicher Sprache: Benutzer können KI-Agenten über Anweisungen in natürlicher Sprache verschiedene Aufgaben ausführen lassen, z. B. Apps öffnen, Nachrichten senden, im Web surfen usw.
Visuelle Analyse und Extraktion der UI-Struktur: Durch die Kombination von visuellem Verständnis und Extraktion der UI-Struktur können interaktive Elemente wie Schaltflächen und Eingabefelder auf dem Bildschirm genau erkannt werden, um die Automatisierung komplexer Oberflächen zu ermöglichen.
Intelligente Fehlerbehandlung: Verfügt über intelligente Fehlerbehandlung und automatische Wiederherstellung und kann bei unerwarteten Situationen wie Popup-Werbung oder Berechtigungsaufforderungen automatisch reagieren und die Aufgabenausführung fortsetzen.
Unterstützung mehrerer Sprachmodelle: Benutzer können ihr bevorzugtes Sprachmodell verbinden, ohne komplexe Einstellungen vornehmen zu müssen, und sofort mit der Automatisierung beginnen.
Anwendungsszenarien von DroidRun
Automatisierung alltäglicher Aufgaben: Benutzer können sich wiederholende Aufgaben (z. B. tägliches Lesen von Nachrichten, zeitgesteuertes Senden von Nachrichten) von KI-Agenten automatisch erledigen lassen.
Social-Media-Management: Kann Social-Media-Aufgaben in Stapeln verarbeiten, z. B. automatisches Anmelden, Hochladen von Bildern, Veröffentlichen von Beiträgen usw.
App-Test und Entwicklung: Entwickler können mit DroidRun Benutzeraktionen simulieren, die Oberfläche und Funktionen von Apps testen, Antwortzeiten erfassen und potenzielle Probleme erkennen.
Datenextraktion und -analyse: Die KI kann automatisch Daten aus Apps extrahieren, z. B. nach Restaurants in der Nähe suchen und Screenshots erstellen.
Schritte zur Verwendung von DroidRun
Öffnen Sie den Browser und rufen Sie die offizielle Website von DroidRun auf.
Klicken Sie auf der Startseite auf „Download Android Portal APK", um die Datei droidrun-portal.apk (ca. 10 MB) herunterzuladen.
Gehen Sie auf dem Android-Gerät zu „Einstellungen > Sicherheit" und aktivieren Sie die Option „Unbekannte Quellen", um die Installation von inoffiziellen Apps zu erlauben.
Suchen Sie die heruntergeladene APK-Datei mit dem Dateimanager und tippen Sie sie an, um sie zu installieren (die Installation dauert ca. 1 Minute).
Nach Abschluss der Installation fordert die DroidRun Portal-App beim ersten Öffnen auf, die Berechtigungen für „Bedienungshilfen" und „Bildschirmaufnahme" zu aktivieren. Tippen Sie auf die Aufforderung, um zur Einstellungsseite zu gelangen, und aktivieren Sie die entsprechenden Berechtigungen.
Geben Sie in der App den API-Schlüssel des Sprachmodells ein (unterstützt Gemini, ChatGPT, Grok usw.) und klicken Sie auf „Verify", um die erfolgreiche Verbindung zu bestätigen.
GitHub-Adresse:https://github.com/droidrun/droidrun
Drehbuch-Assistent▸
AI Apps
AI Nachrichten