Midscene.js：AIをあなたのブラウザオペレーターに 184

Midsceneは、ai技術ベースの自動化ブラウザアシスタントで、自然言語でウェブページを操作することができます。実行したい操作を簡単に記述するだけで、Midsceneは自動的にウェブページを処理し、ツイートの投稿、内容の検証、情報検索などの機能を実行します。

Midscene.jsの主な機能

• 自然言語インタラクション：ユーザーは「ログインボタンをクリックする」や「キーワードを検索する」のような自然言語コマンドでブラウザを制御でき、Midsceneはこれらのコマンドを理解して実行します。

• データ抽出：Midsceneはウェブページ上の情報を自動的に抽出し、JSONなどの構造化形式で出力します。例えば、検索結果やテーブルデータの抽出が可能です。

• ウェブページ操作：複数のウェブサイトで、ツイートの投稿、フォームへの入力、リンクのクリックなど、さまざまな操作の実行をサポートし、ユーザーが複雑なコードを書く必要がありません。

• ビジュアルレポート：実行ごとに、アニメーション再生とステップの詳細を含む詳細なビジュアルレポートが生成され、デバッグやテストプロセスの最適化が容易になります。

• 高い統合性：Puppeteer、Playwrightなどのツールとシームレスに統合でき、さまざまな自動テストシナリオに適しています。

• 高い柔軟性：ユーザーは異なる大規模言語モデル（LLM）を選択でき、オープンソースモデルのUI-TARSもサポートしています。

• UI自動化テスト：MidsceneはUI自動化テストツールとして使用でき、開発者がテストスクリプトを迅速に作成および保守することを支援し、テスト効率を向上させます。

Midscene.jsの使用例

• ソーシャルメディア管理：ユーザーはMidsceneに「ステータスの更新を投稿する」や「あるコメントに返信する」のような指示を直接出すことができ、Midsceneは自動的にこれらの操作を完了し、時間と労力を節約します。

• データ収集：市場調査やデータ分析を行う際、ユーザーはMidsceneを使用して特定のウェブサイトから情報を迅速に取得できます。例えば「すべての製品の価格と説明を抽出する」と指示すれば、Midsceneが自動的に処理し、必要な構造化データを提供します。

• 自動化テスト：開発者にとって、Midsceneの自然言語コマンドにより、UIテストの作成がより簡単になります。開発者はテストする動作を記述するだけで、Midsceneが自動的にテストステップを実行し、レポートを生成します。

Midscene.jsの使用方法：

サンプルコード（Puppeteerを使用）：

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 対象ウェブサイトへ移動
    await page.goto("http://example.com");

    // Midscene.js のアクションを実行
    await midscene.execute(page, '入力ユーザー名 "testuser"');
    await midscene.execute(page, 'ログインボタンをクリック');

    // データ抽出
    let userData = await midscene.query(page, 'ユーザー情報を JSON 形式で抽出');
    console.log(userData); 

    // ブラウザを閉じる
    await browser.close();
})();

Midscene.jsの使用方法は非常にシンプルで、Chromeプラグインをインストールするだけで使用でき、プログラミングの基礎は不要です。実行したいタスクを記述するだけで、あなたの意図を理解し、対応するブラウザ操作を自動的に実行します。すごいと思いませんか？

GitHub：https://github.com/web-infra-dev/midscene