Cradle: 키보드와 마우스를 직접 제어하는 멀티모달 AI Agent 프레임워크 152

Cradle이란 무엇인가?

Cradle은 쿤룬완웨이(昆仑万維)、베이징 즈위안(北京智源) 인공지능 연구원 등 기관이 공동으로 출시한 범용 컴퓨터 제어(General Computer Control, GCC) 다중 모달 AI 프레임워크입니다. 화면 캡처를 입력으로, 키보드와 마우스 조작을 출력으로 사용하여 AI 에이전트가 인간처럼 직접 컴퓨터를 제어하여 다양한 작업을 수행할 수 있도록 합니다. Cradle은 정보 수집, 자기 성찰, 작업 추론, 스킬 기획, 행동 계획, 기억 관리 등 핵심 기능을 갖추고 있으며, 게임, 일상 소프트웨어 조작, 전문 소프트웨어 조작 등 다양한场景에 광범위하게 활용될 수 있습니다.

Cradle의 핵심 기능

• 정보 수집: 의사 결정에 사용하기 위해 화면 이미지와 오디오에서 다중 모달 정보를 추출합니다.

• 자기 성찰: 이전 행동의 성공 여부를 평가하고 실패 원인을 분석하여 후속 행동을 안내합니다.

• 작업 추론: 현재 환경과 역사적 정보에 따라 최적의 다음 작업을 추론하고 선택합니다.

• 스킬 기획: 주어진 작업과 관련된 스킬을 생성 및 업데이트하여 다양한 컴퓨터 조작 요구 사항에 적응합니다.

• 행동 계획: 키보드와 마우스 제어를 위한 구체적인 조작을 생성하여 전략을 실행 가능한 명령으로 변환합니다.

• 기억 및 지식 관리: 장기 및 단기 기억 시스템을 갖추고 과거 경험과 스킬을 저장하며 필요할 때检索하여 적용합니다.

Cradle 적용 시나리오

• 게임 환경: <레드 데드 리뎀션 2>, <스타듀 밸리>, <시티즈: 스카이라인> 등.

• 일상 소프트웨어 조작: 브라우저, 메일 클라이언트, 사무용 소프트웨어 등.

• 전문 소프트웨어 조작: 그래픽 디자인 또는 비디오 편집 소프트웨어 등.

Cradle 기술 원리

• 다중 모달 입력 처리: 화면 이미지와 오디오의 다중 모달 입력을 수신 및 처리하여 인간의 인지 방식을 모방하여 컴퓨터 인터페이스와 환경을 이해합니다.

• 정보 추출 및 이해: 대규모 다중 모달 모델(예: GPT-4V)을 활용하여 이미지의 시각 요소, 텍스트 정보, 오디오의 지시 또는 피드백을识别합니다.

• 자기 성찰 메커니즘: 성찰 모듈을 통해 이전에 수행된 행동이 성공했는지 여부를 평가하고 실패 원인을 분석합니다.

• 작업 추론 및 계획: 현재 우선 순위 작업을确定하고 작업을 완료하기 위한 새로운行動を 마련합니다.

• 스킬 생성 및 업데이트: 현재 작업에 따라 새로운 스킬을 생성하거나 기존 스킬을 업데이트합니다.

Cradle 특징

• 범용성: 내부 API에 의존하지 않으며 임의의 개방형/폐쇄형 소프트웨어와 상호 작용할 수 있습니다.

• 강력한 추론 능력: 대규모 언어 모델을 기반으로 복잡한 작업을 계획하고 실행할 수 있습니다.

• 자기 개선: 자기 성찰 메커니즘을 통해 지속적으로 성능을 최적화합니다.

• 스킬 축적: 다양한 조작 스킬을 점진적으로 축적하고 재사용할 수 있습니다.

Cradle은 이미 <레드 데드 리뎀션 2>, <스타듀 밸리>, <시티즈: 스카이라인> 등 게임과 Chrome 브라우저, Outlook 메일 등 소프트웨어에 성공적으로 적용되었습니다.

Cradle 관련 링크

Cradle 프로젝트 홈페이지:https://baai-agents.github.io/Cradle/

Cradle 코드 저장소:https://github.com/BAAI-Agents/Cradle

Cradle 논문:https://arxiv.org/abs/2403.03186