대본 기획 도우미▸ 
AI 앱 
AI 뉴스 CUA Browser: Browserbase와 OpenAI CUA 기반의 오픈소스 브라우저 자동화 프로젝트
小编 ·
CUA Browser: Browserbase와 OpenAI CUA 기반의 오픈소스 브라우저 자동화 프로젝트
CUA Browser란 무엇인가요?
CUA Browser는 Browserbase와 Openai의 Computer-Using Agent (CUA) 기능을 테스트하고 탐색할 수 있는 무료 오픈소스 프로젝트를 제공합니다. 사용자는 자연어 명령을 통해 브라우저와 상호작용하고 브라우저의 응답을 관찰할 수 있습니다.
CUA Browser 기능 특징
멀티모달 상호작용: CUA는 화면의 원시 픽셀 데이터를 처리하여 인터페이스 내용을 이해하고, 가상 마우스와 키보드를 통해 작업을 수행합니다.
다단계 작업 실행: 복잡한 작업을 여러 단계로 분해할 수 있으며, 작업 순서를 동적으로 조정할 수 있습니다.
추론 및 자기 교정 능력: 작업을 실행할 때 CUA는 Chain-of-Thought를 통해 추론한 다음, 환경 피드백에 따라 작업을 동적으로 조정합니다.
사용자 확인 메커니즘: 로그인 정보 입력이나 CAPTCHA 처리와 같은 민감한 작업의 경우 CUA는 잠재적인 오류를 방지하기 위해 사용자에게 확인을 요청합니다.
전용 API 불필요: CUA는 특정 운영체제나 웹 API에 의존하지 않으며, 화면, 마우스, 키보드를 통해 다양한 디지털 환경과 직접 상호작용할 수 있습니다.
CUA Browser 프로젝트 특징
오픈소스 및 무료: CUA Browser는 오픈소스 프로젝트로 MIT 라이선스를 채택하고 있어 사용자가 무료로 사용할 수 있습니다.
기술 기반: 이 프로젝트는 Browserbase와 OpenAI의 CUA 기술을 기반으로 개발되었습니다. CUA는 그래픽 사용자 인터페이스(GUI)를 통해 컴퓨터 애플리케이션과 상호작용할 수 있는 인공지능 모델입니다.
사용 시나리오: 사용자가 자연어 명령을 입력하면 CUA Browser는 웹 브라우징, 양식 작성, 정보 추출 등의 작업을 수행할 수 있습니다.
CUA Browser 활용 시나리오
웹 자동화 작업: 양식 자동 작성, 정보 검색, 콘텐츠 필터링 등을 수행할 수 있습니다. 예를 들어 특정 상품 검색, 호텔 예약, 항공편 정보 조회 등이 있습니다.
복잡한 작업 실행: 프로젝트 생성, 쇼핑 목록 작성, 일정 관리 등 다단계 작업을 처리할 수 있습니다. 예를 들어 Todoist에서 쇼핑 목록을 만들거나 Spotify에서 플레이리스트를 만드는 것이 있습니다.
정보 검색 및 정리: 여러 웹사이트에서 정보를 추출하고 정리할 수 있습니다. 예를 들어 다양한 웹사이트에서 제품 정보를 검색하고 비교하는 것입니다.
의사 결정 보조: 환불 금액 계산이나 논리적 추론 문제 해결 등 복잡한 작업에서 의사 결정 지원을 제공합니다.
보안 및 규정 준수: 민감한 작업을 수행할 때 CUA는 사용자 확인을 요구하여 작업의 안전성을 보장합니다.
CUA Browser 사용 방법
1. 환경 준비
Node.js: Node.js 설치가 필요합니다 (14.x 이상 권장).
API 키: OpenAI 및 Browserbase에서 해당 API 키를 받아야 합니다.
2. 프로젝트 클론 및 설정:
git clone https://github.com/browserbase/cua-browser.git cd cua-browser cp .env.example .env.local
3. 의존성 설치:
npm install
4. 환경 변수 설정:
OPENAI_API_KEY=your_openai_api_key OPENAI_ORG=your_openai_org_id (optional) BROWSERBASE_API_KEY=your_browserbase_api_key BROWSERBASE_PROJECT_ID=your_browserbase_project_id
5. 개발 서버 시작:
npm run dev
OpenAI의 Operator와의 관계
CUA Browser는 OpenAI의 Operator 프로젝트에서 영감을 받았습니다. Operator는 브라우저를 통해 작업을 수행할 수 있는 AI 에이전트입니다. Operator는 GPT-4o의 시각 능력과 강화 학습의 추론 능력을 결합한 CUA 모델을 사용하며, 화면 스크린샷을 통해 웹페이지 내용을 "볼" 수 있고, 마우스와 키보드 동작을 시뮬레이션하여 웹페이지와 상호작용합니다.
GitHub 저장소:https://github.com/browserbase/cua-browser
프로젝트 공식 사이트:https://www.browserbase.com/computer-use
