Browser Operator: встроенный ИИ-ассистент в браузере Opera 162

小编 ·

Browser Operator: встроенный ИИ-ассистент в браузере Opera

Browser Operator — это ассистент, встроенный прямо в браузер Opera, который позволяет пользователям выполнять различные задачи веб-сёрфинга с помощью команд на естественном языке.

Browser Operator: встроенный ИИ-ассистент в браузере Opera

Что такое Browser Operator

Browser Operator — это встроенный в браузер ассистент, представленный в браузере Opera, который позволяет пользователям с помощью команд на естественном языке выполнять различные задачи по просмотру веб-страниц.

Browser-Operator-Idle-screen.webp

Особенности Browser Operator

  • Конфиденциальность: не полагается на скриншоты или видео для понимания сеанса просмотра, не хранит пользовательские учётные данные в облаке, полностью работает на локальном устройстве и получает информацию через DOM-дерево и данные макета браузера.

  • Высокая скорость: не «смотрит» на экран попиксельно и не использует мышь для навигации, как человек; в большинстве случаев получает доступ ко всей странице за одно посещение без прокрутки, что экономит время на выполнение задач.

  • Локальная работа: функционирует непосредственно в браузере без необходимости в виртуальных машинах или облачных серверах; история просмотров, данные для входа и настройки cookie остаются на локальном устройстве, обеспечивая плавный и конфиденциальный опыт.

  • Интеллектуальное взаимодействие: может взаимодействовать с невидимыми элементами на веб-страницах, например автоматически обрабатывать всплывающие диалоговые окна (такие как окна принятия cookie и проверочные окна), что упрощает доступ к содержимому страниц.

Сценарии использования Browser Operator

  • Сбор информации: сбор данных с веб-сайтов и их последующее заполнение в электронных таблицах или документах.

  • Бронирование билетов: онлайн-бронирование различных билетов и мероприятий.

  • Управление задачами: пользователи могут в любой момент видеть процесс работы Browser Operator и при необходимости взять задачу под своё управление.

  • Онлайн-покупки: поддержка покупки товаров онлайн, бронирования авиабилетов, отелей, билетов на мероприятия и т. д. Пользователь описывает задачу на естественном языке, например «купить 10 пар белых теннисных носков Nike, размер 12», и ассистент автоматически выполняет процесс покупки.

Browser Operator在线购物.webp

Принцип работы Browser Operator

Browser Operator использует локальные ресурсы клиента браузера для понимания команд пользователя на естественном языке, а затем обрабатывает информацию с помощью движка AI Composer Engine от Opera для выполнения задач. Он получает контекст через DOM-дерево и данные макета браузера, не полагаясь на скриншоты или видеозахват, поэтому работает быстро и эффективно.

Как использовать Browser Operator

  1. Установите последнюю версию браузера Opera: перейдите на официальный сайт Opera и загрузите последнюю версию.

  2. Найдите Browser Operator: можно открыть через боковую панель Opera — после запуска браузера нажмите на значок Browser Operator на боковой панели; также можно ввести определённую команду или сочетание клавиш в адресной строке браузера.

  3. Введите команду: в поле ввода Browser Operator введите задачу, которую хотите выполнить, например «купить 10 пар белых теннисных носков Nike, размер 12», «забронировать авиабилет эконом-класса из Пекина в Санью на завтра», «купить 3 пачки бумаги A4 в Walmart».

  4. Выполнение и мониторинг задач: Browser Operator начнёт выполнение задачи, и пользователь может наблюдать за прогрессом в реальном времени. Если для выполнения задачи требуется ввод конфиденциальной информации (например, платёжных данных или данных для входа), ассистент приостановит работу и предложит пользователю ввести их вручную. Во время выполнения задачи пользователь может в любой момент взять управление на себя или отменить задачу.

  5. Действия после завершения задачи: после завершения задачи пользователь может просмотреть подробные шаги. При наличии дополнительных потребностей, например отмены ошибочного заказа, можно просто отправить Browser Operator новую команду.

Browser Operator сейчас доступен в виде предварительной версии即将推出功能的, и ожидается, что в скором времени он будет официально запущен в рамках программы обновлений AI-функций Opera AI.

Видение AI-браузера от Opera

Opera всегда была пионером в области инноваций в браузерах, представив такие функции, как вкладки, поиск из адресной строки, встроенный VPN и мессенджеры на боковой панели. В 2023 году Opera переработала свой флагманский браузер, сделав AI его центральным элементом. С марта 2024 года через программу обновлений AI-функций тестируются экспериментальные возможности AI, такие как локальные LLM, генерация изображений и команды AI на вкладках. Теперь Opera вновь преобразует роль браузера, становясь первым «агентским» браузером, способным выполнять задачи за пользователя.

Связанные материалы:

Browser-use: позволяет AI-агентам просматривать веб-страницы, выполнять действия и извлекать информацию как реальный пользователь