DroidRun: 간단한 자연어 명령으로 Android 기기를 제어

DroidRun: 간단한 자연어 명령으로 Android 기기를 제어 115

AI 에이전트를 통해 Android 기기 자동화를 구현하는 오픈소스 프레임워크입니다. 시각 파싱과 UI 구조 추출 기술을 결합하고 다양한 언어 모델을 지원하여, 복잡한 화면과 동적 UI에서도 작업을 자동 실행할 수 있습니다.

#Ai工具箱 #Ai开源项目

DroidRun: 간단한 자연어 명령으로 Android 기기를 제어소개

DroidRun이란 무엇인가요?

DroidRun은 AI 에이전트를 통해 Android 기기의 자동화 작업을 구현할 수 있는 오픈소스 도구입니다. 시각 분석과 UI 구조 추출 기술을 결합하여 OpenAI, Gemini 등 다양한 언어 모델을 지원하며, 작업 자동 실행, 복잡한 인터페이스 및 동적 UI 처리가 가능합니다. DroidRun은 또한 지능형 오류 처리, 스크린샷 분석, 요소 추적 등의 기능을 갖추고 있어, 일상적인 작업 자동화, 앱 테스트, 데이터 추출 등의 시나리오에 적합하며 Android 6.0 이상 시스템에서 지원됩니다.

DroidRun:간단한 자연어 명령으로 Android 기기를 제어할 수 있습니다.webp

DroidRun 핵심 기능

  • 자연어 제어: 사용자는 자연어 명령을 통해 AI 에이전트에게 앱 열기, 메시지 전송, 웹 페이지 탐색 등 다양한 작업을 수행하도록 지시할 수 있습니다.

  • 시각 및 UI 구조 추출: 시각 이해와 UI 구조 추출 기술을 결합하여 화면上の 버튼, 입력 상자 등 상호작용 요소를 정확하게 인식함으로써 복잡한 인터페이스의 자동화 작업을 구현합니다.

  • 지능형 오류 처리: 지능형 오류 처리 및 자동 복구 기능을 갖추어, 팝업 광고, 권한 프롬프트 등 예기치 못한 상황에서도 자동으로 처리하고 작업을 계속 진행합니다.

  • 다중 언어 모델 지원: 사용자가 선호하는 언어 모델을 복잡한 설정 없이 즉시 연결하여 자동화 작업을 시작할 수 있습니다.

DroidRun 사용 시나리오

  • 일상 작업 자동화: 사용자는 매일 뉴스 확인, 정기 메시지 전송 등 반복적인 작업을 AI 에이전트에 맡겨 자동 완료할 수 있습니다.

  • 소셜 미디어 관리: 자동 로그인, 이미지 업로드, 게시물 게시 등 소셜 미디어 작업을 일괄 처리할 수 있습니다.

  • 앱 테스트 개발: 개발자는 DroidRun을 활용하여 사용자 작업을 시뮬레이션하고, 앱의 인터페이스와 기능을 테스트하며, 응답 시간을 기록하고 잠재적인 문제를 발견할 수 있습니다.

  • 데이터 추출 및 분석: AI가 앱에서 자동으로 데이터를 추출할 수 있으며, 예를 들어 주변 레스토랑을 검색하고 스크린샷을 찍는 등의 작업이 가능합니다.

DroidRun 사용 단계

  1. 브라우저를 열고 DroidRun 공식 웹사이트에 접속합니다.

  2. 홈페이지에서 "Download Android Portal APK"를 클릭하여 droidrun-portal.apk 파일(약 10MB)을 다운로드합니다.

  3. Android 기기에서 "설정 > 보안"으로 이동하여 "알 수 없는 출처" 옵션을 활성화하여 비공식 앱 설치를 허용합니다.

  4. 파일 관리자를 사용하여 다운로드한 APK 파일을 찾아 클릭하여 설치합니다(설치에는 약 1분이 소요됩니다).

  5. 설치 완료 후 DroidRun Portal 앱을 처음 열면 앱에서 "접근성 서비스" 및 "스크린샷" 권한을 활성화하라는 메시지가 표시됩니다. 메시지를 클릭하여 설정 페이지로 이동하여 관련 권한을 활성화합니다.

  6. 앱 내에서 언어 모델의 API 키를 입력하고(Gemini, ChatGPT, Grok 등 지원), "Verify"를 클릭하여 연결 성공을 확인합니다.

github 주소:https://github.com/droidrun/droidrun

DroidRun: 간단한 자연어 명령으로 Android 기기를 제어 와 관련된 도구