Midscene.js : faites de l'IA l'opérateur de votre navigateur 187

Midscene est un assistant de navigateur automatisé basé sur la technologie ia, capable d'interagir avec les pages web via le langage naturel. Il vous suffit de décrire simplement l'opération que vous souhaitez effectuer, et Midscene s'occupe automatiquement de la page web, comme publier des tweets, vérifier du contenu, rechercher des informations, etc.

Fonctionnalités principales de Midscene.js

• Interaction en langage naturel : les utilisateurs peuvent contrôler le navigateur à l'aide d'instructions en langage naturel, par exemple « cliquer sur le bouton de connexion » ou « rechercher un mot-clé ». Midscene est capable de comprendre et d'exécuter ces commandes.

• Extraction de données : Midscene peut extraire automatiquement les informations d'une page web et les restituer dans un format structuré (comme JSON), par exemple en extrayant des résultats de recherche ou des données de tableaux.

• Opérations sur pages web : il prend en charge l'exécution de diverses actions sur plusieurs sites, comme tweeter, remplir des formulaires, cliquer sur des liens, etc., sans que l'utilisateur ait à écrire de code complexe.

• Rapports visuels : chaque exécution génère un rapport visuel détaillé, comprenant une lecture animée et le détail des étapes, facilitant le débogage et l'optimisation du processus de test.

• Haute intégrabilité : prise en charge d'une intégration transparente avec des outils comme Puppeteer, Playwright, etc., adaptée à divers scénarios de tests automatisés.

• Grande flexibilité : permet aux utilisateurs de choisir différents grands modèles de langage (LLM), et prend même en charge le modèle open source UI-TARS.

• Tests UI automatisés : Midscene peut être utilisé comme outil de tests UI automatisés, aidant les développeurs à rédiger et maintenir rapidement des scripts de test, améliorant ainsi l'efficacité des tests.

Cas d'utilisation de Midscene.js

• Gestion des réseaux sociaux : les utilisateurs peuvent directement donner des instructions à Midscene, comme « publier une mise à jour de statut » ou « répondre à un commentaire ». Midscene effectuera automatiquement ces actions, ce qui permet d'économiser du temps et de l'énergie.

• Collecte de données : lors d'études de marché ou d'analyse de données, les utilisateurs peuvent utiliser Midscene pour extraire rapidement des informations de sites web spécifiques, par exemple « extraire tous les prix et descriptions de produits », et Midscene traitera automatiquement la demande et fournira les données structurées nécessaires.

• Tests automatisés : pour les développeurs, les instructions en langage naturel de Midscene simplifient considérablement la rédaction des tests UI. Il suffit de décrire le comportement à tester, et Midscene exécutera automatiquement les étapes de test et générera un rapport.

Comment utiliser Midscene.js :

Exemple de code (avec Puppeteer) :

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 导航至目标网站
    await page.goto("http://example.com");

    // 执行 Midscene.js 动作
    await midscene.execute(page, '输入用户名 "testuser"');
    await midscene.execute(page, '点击登录按钮');

    // 数据提取
    let userData = await midscene.query(page, '提取用户信息为 JSON 格式');
    console.log(userData); 

    // 关闭浏览器
    await browser.close();
})();

L'utilisation de Midscene.js est extrêmement simple : il suffit d'installer l'extension Chrome pour l'utiliser, sans avoir besoin de bases en programmation. Décrivez simplement la tâche que vous souhaitez exécuter, et il comprendra votre intention puis effectuera automatiquement les actions correspondantes dans le navigateur. N'est-ce pas magique ?

GitHub :https://github.com/web-infra-dev/midscene