Midscene.js: Machen Sie die KI zum Bediener Ihres Browsers 182

Midscene ist ein auf KI-Technologie basierender automatisierter Browser-Assistent, der Webseiten über natürliche Sprache steuern kann. Du musst nur einfach beschreiben, welche Aktion du ausführen möchtest, und Midscene übernimmt automatisch die Webseitenbearbeitung, wie das Posten von Tweets, Überprüfen von Inhalten, Suchen von Informationen und weitere.

Hauptfunktionen von Midscene.js

• Interaktion in natürlicher Sprache: Benutzer können den Browser mit Befehlen in natürlicher Sprache steuern, z. B. „Klicke auf den Login-Button" oder „Suche nach einem Stichwort". Midscene versteht diese Befehle und führt sie aus.

• Datenextraktion: Midscene kann automatisch Informationen von Webseiten extrahieren und in strukturierten Formaten (z. B. JSON) ausgeben, etwa Suchergebnisse oder Tabellendaten.

• Webseiten-Bedienung: Es unterstützt die Ausführung verschiedener Aktionen auf mehreren Webseiten, wie das Posten auf Twitter, Ausfüllen von Formularen, Klicken auf Links usw., ohne dass Benutzer komplexen Code schreiben müssen.

• Visuelle Berichte: Nach jedem Durchlauf werden detaillierte visuelle Berichte mit Animation-Wiedergabe und Schritt-für-Schritt-Details erstellt, die das Debugging und die Optimierung des Testprozesses erleichtern.

• Hohe Integrationsfähigkeit: Unterstützt die nahtlose Integration mit Tools wie Puppeteer und Playwright und eignet sich für verschiedene Szenarien der Automatisierungstests.

• Hohe Flexibilität: Ermöglicht Benutzern die Auswahl verschiedener großer Sprachmodelle (LLMs) und unterstützt sogar das Open-Source-Modell UI-TARS.

• UI-Automatisierungstests: Midscene kann als Werkzeug für UI-Automatisierungstests eingesetzt werden und hilft Entwicklern, Testskripte schnell zu erstellen und zu pflegen, wodurch die Testeffizienz gesteigert wird.

Anwendungsfälle von Midscene.js

• Social-Media-Management: Benutzer können Midscene direkt Anweisungen geben, wie „Veröffentliche ein Statusupdate" oder „Antworte auf einen Kommentar". Midscene führt sie automatisch aus und spart so Zeit und Aufwand.

• Datenerfassung: Bei der Marktforschung oder Datenanalyse können Benutzer Midscene verwenden, um schnell Informationen von bestimmten Webseiten abzugreifen, z. B. „Extrahiere alle Produktpreise und Beschreibungen". Midscene verarbeitet dies automatisch und liefert die gewünschten strukturierten Daten.

• Automatisierte Tests: Für Entwickler machen die Befehle in natürlicher Sprache von Midscene das Schreiben von UI-Tests deutlich einfacher. Entwickler müssen lediglich das zu testende Verhalten beschreiben, und Midscene führt die Testschritte automatisch aus und erstellt Berichte.

Verwendung von Midscene.js:

Beispielcode (mit Puppeteer):

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 导航至目标网站
    await page.goto("http://example.com");

    // 执行 Midscene.js 动作
    await midscene.execute(page, '输入用户名 "testuser"');
    await midscene.execute(page, '点击登录按钮');

    // 数据提取
    let userData = await midscene.query(page, '提取用户信息为 JSON 格式');
    console.log(userData); 

    // 关闭浏览器
    await browser.close();
})();

Die Verwendung von Midscene.js ist äußerst einfach. Es genügt, die Chrome-Erweiterung zu installieren, und es sind keine Programmierkenntnisse erforderlich. Beschreibe einfach die Aufgabe, die du ausführen möchtest, und Midscene versteht deine Absicht und führt die entsprechenden Browser-Aktionen automatisch aus – ist das nicht erstaunlich?

GitHub: https://github.com/web-infra-dev/midscene