Midscene.js: convierte la IA en el operador de tu navegador 186

Midscene es un asistente de navegador automatizado basado en tecnología ai, capaz de operar páginas web mediante lenguaje natural. Solo tienes que describir de forma sencilla la acción que deseas realizar y Midscene se encargará automáticamente de la página web, como publicar tuits, verificar contenido, buscar información y otras funciones.

Funciones principales de Midscene.js

• Interacción en lenguaje natural: los usuarios pueden controlar el navegador con instrucciones en lenguaje natural, por ejemplo "haz clic en el botón de inicio de sesión" o "busca la palabra clave"; Midscene es capaz de entender y ejecutar estos comandos.

• Extracción de datos: Midscene puede extraer automáticamente la información de las páginas web y mostrarla en un formato estructurado (como JSON), por ejemplo, extrayendo resultados de búsqueda o datos de tablas.

• Operaciones web: admite la ejecución de diversas acciones en múltiples sitios web, como publicar tuits, rellenar formularios, hacer clic en enlaces, etc., sin que el usuario tenga que escribir código complejo.

• Informes visuales: cada vez que se ejecuta, se genera un informe visual detallado que incluye reproducción de animaciones y detalles de los pasos, lo que facilita la depuración y la optimización del proceso de pruebas.

• Alta capacidad de integración: admite la integración sin problemas con herramientas como Puppeteer y Playwright, siendo adecuado para diversos escenarios de pruebas automatizadas.

• Gran flexibilidad: permite a los usuarios elegir diferentes modelos de lenguaje a gran escala (LLM), e incluso admite el modelo de código abierto UI-TARS.

• Pruebas automatizadas de UI: Midscene se puede utilizar como herramienta de pruebas automatizadas de UI, ayudando a los desarrolladores a escribir y mantener scripts de prueba rápidamente, mejorando la eficiencia de las pruebas.

Casos de uso de Midscene.js

• Gestión de redes sociales: los usuarios pueden dar instrucciones directamente a Midscene, como "publicar una actualización de estado" o "responder a un comentario", y Midscene completará automáticamente estas acciones, ahorrando tiempo y esfuerzo.

• Recopilación de datos: al realizar investigaciones de mercado o análisis de datos, los usuarios pueden usar Midscene para extraer rápidamente información de sitios web específicos, por ejemplo "extraer todos los precios y descripciones de productos", y Midscene procesará automáticamente la solicitud y proporcionará los datos estructurados necesarios.

• Pruebas automatizadas: para los desarrolladores, las instrucciones en lenguaje natural de Midscene hacen que escribir pruebas de UI sea mucho más sencillo. Los desarrolladores solo tienen que describir el comportamiento que desean probar y Midscene ejecutará automáticamente los pasos de la prueba y generará un informe.

Cómo usar Midscene.js:

Código de ejemplo (usando Puppeteer):

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 导航至目标网站
    await page.goto("http://example.com");

    // 执行 Midscene.js 动作
    await midscene.execute(page, '输入用户名 "testuser"');
    await midscene.execute(page, '点击登录按钮');

    // 数据提取
    let userData = await midscene.query(page, '提取用户信息为 JSON 格式');
    console.log(userData); 

    // 关闭浏览器
    await browser.close();
})();

El método de uso de Midscene.js es muy sencillo: solo hay que instalar la extensión de Chrome para poder usarlo, sin necesidad de tener conocimientos de programación. Basta con describir la tarea que se desea realizar, y entenderá tu intención para luego ejecutar automáticamente las acciones correspondientes en el navegador. ¿No es genial?

GitHub:https://github.com/web-infra-dev/midscene