Proxyless LLM Websearch：プロキシ不要のLLM向けウェブ検索エンジン 90

Proxyless LLM Websearchとは？

Proxyless LLM Websearchは、プロキシ不要のLLMウェブ検索エンジンです。複数エンジンによる検索、インテリジェントな解析、非同期処理をサポートし、URLコンテンツ解析とウェブクロールにも対応しています。LangGraphと組み合わせることで、モジュール型のエージェントチェーンを実現し、大規模言語モデルの外部知識呼び出しシナリオ向けに設計されています。

Proxyless LLM Websearchの主な特徴

• プロキシ不要：Playwrightで国内ブラウザを設定することで、プロキシなしでもウェブ検索が可能です。

• 複数検索エンジン対応：Bing、Quark、Baidu、Sogouなどの主要な検索エンジンに対応し、情報ソースの多様性を強化します。

• 意図認識：ユーザーの入力内容に応じて、ネットワーク検索を行うかURLを解析するかを自動的に判断します。

• クエリ分解：ユーザーの検索意図に基づき、クエリを複数のサブタスクに自動的に分解し、順次実行することで、検索の関連性と効率を向上させます。

• エージェントアーキテクチャ：LangGraphをベースに「web_search」と「link_parser」をパッケージ化。

• 非同期並行タスク処理：非同期並行タスク処理をサポートし、複数の検索タスクを効率的に処理できます。

• コンテンツ処理の最適化

• コンテンツ分割：ウェブページの長いコンテンツを段落ごとに分割します。

• コンテンツ並び替え：スマートに並び替え、情報の関連性を高めます。

• コンテンツフィルタリング：無関係または重複するコンテンツを自動的に除去します。

• マルチプラットフォーム対応

• FastAPIバックエンドインターフェース：任意のシステムに統合できます。

• Gradio Web UI：短時間で可視化アプリケーションとしてデプロイできます。

• ブラウザプラグイン対応：Edgeをサポートし、スマートなURL解析プラグインを提供。ブラウザから直接ウェブ解析とコンテンツ抽出リクエストを発行できます。

インストールと使用方法

リポジトリのクローン：

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

依存関係のインストール：

pip install -r requirements.txt
python -m playwright install

環境変数の設定：

OPENAI_API_KEY、OPENAI_BASE_URL、MODEL_NAME、EMBEDDING_MODEL_NAME、EMBEDDING_API_KEY、EMBEDDING_BASE_URL などの環境変数を設定する必要があります。

サンプルの実行：

デモの実行：

python demo.py

FastAPIバックエンドインターフェースの実行：

python api_serve.py

Gradio Web UIの実行：

python gradio_demo.py

テスト結果

AlibabaのWebWalkerQA高難易度Q&Aデータセットに基づき、Volcano ArkやBailianなどの有名なオンライン検索インターフェースと比較したところ、proxyless-llm-websearchは最も高い正解率と最も低いエラー率を達成しました。

Githubリポジトリ：https://github.com/itshyao/proxyless-llm-websearch