Midscene.js: пусть ИИ управляет вашим браузером 183

Midscene — это автоматизированный браузерный помощник, основанный на технологии AI, который позволяет управлять веб-страницами с помощью естественного языка. Вам нужно лишь просто описать желаемое действие, а Midscene автоматически обработает веб-страницу: публикация твитов, проверка содержимого, поиск информации и другие функции.

Основные возможности Midscene.js

• Взаимодействие на естественном языке: пользователи могут управлять браузером с помощью команд на естественном языке, например «нажать кнопку входа» или «найти ключевое слово», — Midscene способен понимать и выполнять эти команды.

• Извлечение данных: Midscene может автоматически извлекать информацию с веб-страниц и выводить её в структурированном формате (например, JSON), например извлекать результаты поиска или данные таблиц.

• Действия на веб-страницах: поддерживает выполнение различных действий на множестве сайтов, таких как публикация твитов, заполнение форм, переход по ссылкам и т. д., — пользователю не нужно писать сложный код.

• Визуальные отчёты: после каждого запуска создаётся подробный визуальный отчёт, включающий анимационное воспроизведение и описание шагов, что удобно для отладки и оптимизации процесса тестирования.

• Высокая интегрируемость: поддерживает бесшовную интеграцию с такими инструментами, как Puppeteer и Playwright, что подходит для различных сценариев автоматизированного тестирования.

• Высокая гибкость: позволяет пользователям выбирать различные крупные языковые модели (LLM), а также поддерживает модель с открытым исходным кодом UI-TARS.

• Автоматизированное тестирование UI: Midscene можно использовать как инструмент автоматизированного тестирования UI, помогающий разработчикам быстро создавать и поддерживать тестовые сценарии и повышать эффективность тестирования.

Примеры использования Midscene.js

• Управление социальными сетями: пользователи могут напрямую давать Midscene команды, например «опубликовать обновление статуса» или «ответить на определённый комментарий», — Midscene автоматически выполнит эти действия, экономя время и усилия.

• Сбор данных: при проведении маркетинговых исследований или анализа данных пользователи могут использовать Midscene для быстрого извлечения информации с определённых сайтов, например «извлечь все цены и описания товаров», — Midscene автоматически обработает запрос и предоставит нужные структурированные данные.

• Автоматизированное тестирование: для разработчиков команды Midscene на естественном языке делают написание UI-тестов намного проще. Разработчику достаточно описать тестируемое поведение, а Midscene автоматически выполнит шаги теста и сформирует отчёт.

Как пользоваться Midscene.js:

Пример кода (с использованием Puppeteer):

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 导航至目标网站
    await page.goto("http://example.com");

    // 执行 Midscene.js 动作
    await midscene.execute(page, '输入用户名 "testuser"');
    await midscene.execute(page, '点击登录按钮');

    // 数据提取
    let userData = await midscene.query(page, '提取用户信息为 JSON 格式');
    console.log(userData); 

    // 关闭浏览器
    await browser.close();
})();

Использовать Midscene.js очень просто — достаточно установить расширение Chrome, навыки программирования не требуются. Нужно лишь описать желаемую задачу, а Midscene поймёт ваше намерение и автоматически выполнит соответствующие действия в браузере. Разве это не удивительно?

GitHub:https://github.com/web-infra-dev/midscene