Amazon Nova Act: ИИ-агент от Amazon, управляющий браузером и автономно выполняющий простые задачи 142

Что такое Nova Act?

Nova Act — это интеллектуальный агент на базе ИИ, выпущенный Amazon, способный управлять веб-браузером и автономно выполнять простые задачи, такие как поиск, заполнение форм и оформление заказов. Он также поддерживает распознавание детальных инструкций и декомпозицию сложных задач, помогая пользователям упростить повседневные операции.

Функциональные особенности Nova Act

• Возможности управления браузером: Nova Act может автоматизировать операции, разбивая сложные задачи на атомарные инструкции (такие как поиск, оформление заказа, заполнение форм) и вызывая API браузера или инструменты Playwright, например, для онлайн-заказа салата, бронирования ресторана или настройки автоматических ответов на электронные письма. Внутренние тесты показали, что в задачах взаимодействия с пользовательским интерфейсом, таких как выбор даты и обработка всплывающих окон, уровень успешных выполнений превышает 90%.

• Декомпозиция сложных задач: Nova Act SDK позволяет разработчикам разбивать сложные задачи на серию выполнимых простых команд, например: «Найди наиболее удобный маршрут от моего дома до этих трёх магазинов, а затем организуй просмотр фильма около 6 вечера».

• Распознавание детальных инструкций: Агент способен распознавать более подробные инструкции, например, отказ от предложений страховки при совершении покупок.

• Мультимодальная архитектура взаимодействия: Основанная на собственных базовых моделях Nova (таких как Nova Micro/Lite/Pro), которые анализируют содержимое веб-страниц, в сочетании с высоким показателем ScreenSpot Web Text 94% для имитации логики действий человека, архитектура обеспечивает замкнутый цикл визуального распознавания, моделирования поведения и управления процессами.

Показатели производительности

Во внутреннем тесте Amazon ScreenSpot Web Text Nova Act набрал 94%, что превосходит показатели OpenAI CUA (88%) и Anthropic Claude 3.7 Sonnet (90%). Однако Amazon не тестировал агента с использованием более распространённых бенчмарков для оценки (таких как WebVoyager), поэтому сравнение производительности всё ещё требует дополнительной внешней проверки.

Сценарии применения Nova Act

• Помощник по покупкам: Nova Act может помочь пользователям совершать онлайн-покупки, например, заказывать салат в Sweetgreen или бронировать ужин.

• Планирование маршрутов: Агент может помогать пользователям планировать маршруты, например, находить оптимальный путь из дома до нескольких мест и организовывать последующие мероприятия, такие как поход в кино.

• Заполнение форм: Nova Act способен автоматически заполнять различные онлайн-формы.

• Составление расписания: Агент также может выбирать даты в календаре, помогая пользователям планировать своё расписание.

• Поиск информации: Nova Act может выполнять поиск и отвечать на вопросы, связанные с содержимым, отображаемым на экране, в соответствии с инструкциями пользователя.

• Интеграция с Alexa+: Nova Act также обеспечит поддержку предстоящего обновления Alexa+ от Amazon — генеративного ИИ-расширения популярного голосового помощника Amazon.

Nova Act разработан новой лабораторией Amazon AGI (Artificial General Intelligence) в Сан-Франциско, а Amazon Nova Act является первым публичным продуктом этой лаборатории.

Подробное описание: https://labs.amazon.science/blog/nova-act

Официальный сайт: https://nova.amazon.com/