DeepSearcher：プライベートデータ上でインテリジェント検索と分析を行うツール 185

DeepSearcherとは？

DeepSearcherは、大規模言語モデルとベクトルデータベースを組み合わせたオープンソースの深層検索ツールで、プライベートデータ上での検索、評価、推論に使用されます。プライベートデータの効率的な処理、インテリジェントなコンテンツ生成、データ分析を必要とするシナリオに適しており、企業、研究機関、金融、医療、法律などの業界に特に適しています。

DeepSearcherの機能と特徴

• プライベートデータ検索：企業内のデータから安全に検索を行い、ローカルファイルやウェブページのクロールをサポート。

• ベクトルデータベースのサポート：MilvusとZilliz Cloudを統合し、効率的なデータ検索を実現。

• 複数のLLMサポート：Openai、DeepSeek、Claudeなど、さまざまな言語モデルに対応し、インテリジェントな質疑応答やコンテンツ生成に使用。

• 柔軟な埋め込みモデル：OpenAI、Milvus内蔵モデル、VoyageAIなどをサポートし、データのベクトル化に対応。

• ドキュメントローダー：ローカルなPDFやTXTなどのファイルのロード、およびウェブコンテンツのクロールをサポート。

• 効率的な推論：LLMとベクトルデータベースを組み合わせ、正確な回答と包括的なレポートを迅速に生成。

• 柔軟な設定：コードまたは設定ファイルによってモジュールを動的に調整でき、RESTful APIインターフェースをサポート。

• CLIモード：コマンドラインによるデータのロードとクエリをサポートし、簡単に始められる。

• サービスとしてのデプロイ：FastAPIを介してWebサービスとしてデプロイでき、統合が容易。

DeepSearcherの活用シーン

• 企業ナレッジマネジメント：社内ドキュメントやナレッジベースを迅速に検索。

• インテリジェントQ&Aシステム：企業内のインテリジェントなカスタマーサポートやQ&Aアシスタントを構築。

• レポート生成：市場、技術、業界レポートを自動生成。

• 情報検索：膨大なデータから重要な情報を迅速に特定。

• コンテンツ作成の支援：コピー、ニュースリリースなどのテキストコンテンツを生成。

• データ分析：ビジネスインテリジェンス分析と市場トレンドの洞察を提供。

• 教育と研究：学術研究や文献レビューの作成を支援。

• 医療・健康：医学文献の検索やカルテ分析を実施。

• 金融業界：投資レポートやリスク評価を生成。

• 法律業界：法律条文やケーススタディの検索・分析。

• 多言語コンテンツ処理：多国籍企業の多言語データ処理をサポート。

DeepSearcherのインストールと使用方法

インストール手順：

1. リポジトリのクローン：

git clone https://github.com/zilliztech/deep-searcher.git
cd deep-searcher

2. 仮想環境の作成：

python3 -m venv .venv
source .venv/bin/activate

3. 依存関係のインストール：

pip install -e .

4. 環境変数の設定：

使用するLLMに応じて、対応するAPIキー（OPENAI_API_KEYなど）を設定します。

使用方法：

1. LLMと埋め込みモデルの設定：

from deepsearcher.configuration import Configuration, init_config
config = Configuration()
config.set_provider_config("llm", "OpenAI", {"model": "o1-mini"})
config.set_provider_config("embedding", "OpenAIEmbedding", {"model": "text-embedding-ada-002"})
init_config(config=config)

2. データのロード：

from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory="your_local_path")

3. クエリの実行：

from deepsearcher.online_query import query
result = query("Write a report about xxx.")
print(result)

GitHubリポジトリ：https://github.com/zilliztech/deep-searcher