DroidRun: управление Android-устройствами с помощью простых команд на естественном языке 117

Что такое DroidRun?

DroidRun — это开源-инструмент, позволяющий автоматизировать работу Android-устройств с помощью ai-агентов. Он сочетает визуальный анализ с извлечением структуры UI, поддерживает различные языковые модели (например, OpenAI, Gemini и др.) и может автоматически выполнять задачи, обрабатывать сложные интерфейсы и динамические UI. DroidRun также обладает возможностями интеллектуальной обработки ошибок, анализа скриншотов, отслеживания элементов и другими функциями. Инструмент подходит для автоматизации повседневных задач, тестирования приложений, извлечения данных и других сценариев, и поддерживает Android 6.0 и выше.

Основные функции DroidRun

• Управление на естественном языке: пользователи могут давать AI-агенту инструкции на естественном языке для выполнения различных задач, таких как открытие приложений, отправка сообщений, просмотр веб-страниц и т. д.

• Визуальный анализ и извлечение структуры UI: сочетание визуального понимания и технологии извлечения структуры UI позволяет точно распознавать интерактивные элементы на экране — кнопки, поля ввода и т. д., обеспечивая автоматизацию работы со сложными интерфейсами.

• Интеллектуальная обработка ошибок: обладает функциями интеллектуальной обработки ошибок и автоматического восстановления, способен автоматически справляться с неожиданными ситуациями, такими как всплывающая реклама или запросы разрешений, и продолжать выполнение задачи.

• Поддержка различных языковых моделей: поддерживает подключение предпочитаемой пользователем языковой модели без сложных настроек, позволяя сразу приступить к автоматизации.

Сценарии использования DroidRun

• Автоматизация повседневных задач: пользователи могут поручать AI-агенту выполнение повторяющихся задач (например, ежедневный просмотр новостей, отправка сообщений по расписанию и т. д.).

• Управление социальными сетями: позволяет批量 обрабатывать задачи в социальных сетях, такие как автоматический вход, загрузка изображений, публикация постов и т. д.

• Тестирование и разработка приложений: разработчики могут использовать DroidRun для имитации действий пользователя, тестирования интерфейса и функциональности приложений, записи времени отклика и выявления потенциальных проблем.

• Извлечение и анализ данных: AI может автоматически извлекать данные из приложений, например, выполнять поиск ближайших ресторанов и делать скриншоты.

Шаги по использованию DroidRun

1. Откройте браузер и перейдите на официальный сайт DroidRun.

2. На главной странице нажмите «Download Android Portal APK», чтобы скачать файл droidrun-portal.apk (около 10 МБ).

3. На Android-устройстве перейдите в «Настройки > Безопасность» и включите опцию «Неизвестные источники», чтобы разрешить установку приложений не из официальных магазинов.

4. С помощью файлового менеджера найдите скачанный APK-файл и нажмите для установки (установка занимает около 1 минуты).

5. После завершения установки при первом открытии приложения DroidRun Portal появится запрос на включение «Специальных возможностей» и разрешения на «создание скриншотов». Нажмите на подсказку, чтобы перейти на страницу настроек и активировать соответствующие разрешения.

6. Введите в приложении API-ключ языковой модели (поддерживаются Gemini, ChatGPT, Grok и др.) и нажмите «Verify», чтобы подтвердить успешное подключение.

Адрес на GitHub：https://github.com/droidrun/droidrun