Amazon Nova Act: 웹 브라우저를 제어하고 간단한 작업을 자율적으로 수행하는 아마존의 AI 에이전트 148

Nova Act란 무엇인가?

Nova Act는 아마존이 출시한 ai 에이전트로, 웹 브라우저를 제어하고 검색, 양식 작성, 결제 완료 등 간단한 작업을 자율적으로 수행할 수 있습니다. 또한 상세한 명령 인식과 복잡한 작업 분해 기능을 지원하여 사용자의 일상적인 작업을 간소화하는 데 도움을 줍니다.

Nova Act의 기능 및 특징

• 브라우저 제어 능력: Nova Act는 복잡한 작업을 원자 단위 명령(예: 검색, 결제, 양식 작성)으로 분해하고, 브라우저 API 또는 Playwright 도구를 호출하여 자동화 작업을 구현할 수 있습니다. 예를 들어 샐러드 온라인 주문, 레스토랑 예약, 자동 답장 메일 설정 등이 가능합니다. 내부 테스트 결과, 날짜 선택, 팝업 처리 등 UI 인터랙션 작업에서 성공률이 90%를 초과하는 것으로 나타났습니다.

• 복잡한 작업 분해: Nova Act SDK는 개발자가 복잡한 작업을 일련의 실행 가능한 간단한 명령으로 분해할 수 있도록 합니다. 예를 들어 "우리 집에서 이 세 곳까지 가장 편리한 경로를 찾고, 대략 오후 6시쯤 영화를 보자"와 같은 명령이 가능합니다.

• 상세 명령 인식: 쇼핑 시 보험 추가 가입 권유를 거부하는 등 보다 상세한 명령을 인식할 수 있습니다.

• 멀티모달 인터랙션 아키텍처: 자체 개발한 Nova 기반 모델(예: Nova Micro/Lite/Pro)을 기반으로 웹 페이지 콘텐츠를 분석하고, ScreenSpot Web Text에서 94%의 높은 점수 능력을 바탕으로 인간의 조작 로직을 시뮬레이션하여 시각 인식, 행동 시뮬레이션 및 프로세스 제어의闭环(closed-loop)를 구현합니다.

성능

아마존 내부 ScreenSpot Web Text 테스트에서 Nova Act는 94%의 점수를 기록하여 OpenAI의 CUA(88%) 및 Anthropic의 Claude 3.7 Sonnet(90%)보다 우수한 성적을 거뒀습니다. 다만 아마존은 보다 일반적인 에이전트 평가 벤치마크(예: WebVoyager)를 사용하여 테스트하지 않았기 때문에, 성능 비교에 대해서는 더 많은 외부 검증이 필요합니다.

Nova Act 활용 시나리오

• 쇼핑 어시스턴트: Nova Act는 사용자가 온라인 쇼핑을 완료하는 데 도움을 줄 수 있습니다. 예를 들어 Sweetgreen에서 샐러드 주문, 저녁 식사 예약 등이 있습니다.

• 여행 계획: 집에서 여러 곳까지의 최적 경로를 찾고, 영화 관람 등 후속 활동을安排的 것과 같은 여행 계획 수립을 지원할 수 있습니다.

• 양식 작성: Nova Act는 다양한 온라인 양식을 자동으로 작성할 수 있습니다.

• 일정 관리: 캘린더에서 날짜를 선택하여 사용자의 일정을 관리하는 데 도움을 줄 수도 있습니다.

• 정보 조회: Nova Act는 사용자 명령에 따라 화면에 표시된 콘텐츠와 관련된 질문을 검색하고 답변할 수 있습니다.

• Alexa+ 통합: Nova Act는 앞으로 출시될 아마존의 Alexa+ 업그레이드를 지원할 예정이며, 이는 아마존의 인기 있는 음성 비서에 생성형 AI 기능을 강화한 버전입니다.

Nova Act는 아마존이 새로 설립한 샌프란시스코 AGI(범용 인공지능) 연구소에서 개발되었으며, Amazon Nova Act는 해당 연구소의 첫 공개 제품입니다.

자세한 소개:https://labs.amazon.science/blog/nova-act

공식 웹사이트:https://nova.amazon.com/