DeepSearcher: Tool für intelligente Suche und Analyse auf privaten Daten 187

Was ist DeepSearcher?

DeepSearcher ist ein Open-Source-Tool für Tiefensuche (Tool), das große Sprachmodelle mit Vektordatenbanken kombiniert, um in privaten Daten zu suchen, sie zu bewerten und Schlussfolgerungen zu ziehen. DeepSearcher eignet sich für Szenarien, die eine effiziente Verarbeitung privater Daten, die Erstellung intelligenter Inhalte und Datenanalyse erfordern, und ist besonders geeignet für Unternehmen, Forschungseinrichtungen sowie Branchen wie Finanzen, Gesundheitswesen und Recht.

Funktionsmerkmale von DeepSearcher

• Suche in privaten Daten: Sicheres Suchen in internen Unternehmensdaten, unterstützt lokale Dateien und Web-Crawling.

• Unterstützung für Vektordatenbanken: Integration von Milvus und Zilliz Cloud für effiziente Datenabfragen.

• Unterstützung mehrerer LLMs: Kompatibilität mit Sprachmodellen wie Openai, DeepSeek und Claude für intelligente Fragenbeantwortung und Inhaltserstellung.

• Flexible Einbettungsmodelle: Unterstützung für OpenAI, in Milvus integrierte Modelle, VoyageAI usw. zur Vektorisierung von Daten.

• Dokumentenlader: Unterstützung für das Laden lokaler Dateien wie PDF und TXT sowie das Crawlen von Webinhalten.

• Effiziente Inferenz: Kombination aus LLM und Vektordatenbank zur schnellen Erstellung genauer Antworten und umfassender Berichte.

• Flexible Konfiguration: Dynamische Anpassung der Module über Code oder Konfigurationsdateien, Unterstützung einer RESTful-API-Schnittstelle.

• CLI-Modus: Unterstützung für das Laden von Daten und Abfragen über die Kommandozeile für einen schnellen Einstieg.

• Bereitstellung als Dienst: Kann über FastAPI als Webdienst bereitgestellt werden und ist so leicht zu integrieren.

Anwendungsszenarien von DeepSearcher

• Unternehmens-Wissensmanagement: Schnelles Auffinden interner Dokumente und Wissensdatenbanken.

• Intelligente Frage-Antwort-Systeme: Aufbau eines internen intelligenten Kundenservice- oder Frage-Antwort-Assistenten.

• Berichterstellung: Automatisierte Erstellung von Markt-, Technologie- oder Branchenberichten.

• Informationsabruf: Schnelles Auffinden wichtiger Informationen in riesigen Datenbeständen.

• Unterstützung bei der Inhaltserstellung: Erstellung von Texten, Pressemitteilungen und ähnlichen Inhalten.

• Datenanalyse: Bereitstellung von Business-Intelligence-Analysen und Einblicken in Markttrends.

• Bildung und Forschung: Unterstützung bei akademischer Forschung und Literaturübersichten.

• Gesundheitswesen: Abfrage medizinischer Literatur und Analyse von Krankenakten.

• Finanzbranche: Erstellung von Investitionsberichten und Risikobewertungen.

• Rechtsbranche: Abfrage von Rechtsvorschriften und Analyse von Fällen.

• Mehrsprachige Inhaltsverarbeitung: Unterstützung der mehrsprachigen Datenverarbeitung für multinationale Unternehmen.

Installation und Verwendung von DeepSearcher

Installationsschritte:

1. Repository klonen:

git clone https://github.com/zilliztech/deep-searcher.git
cd deep-searcher

2. Virtuelle Umgebung erstellen:

python3 -m venv .venv
source .venv/bin/activate

3. Abhängigkeiten installieren:

pip install -e .

4. Umgebungsvariablen konfigurieren:

Je nach verwendetem LLM den entsprechenden API-Schlüssel festlegen (z. B. OPENAI_API_KEY).

Verwendung:

1. LLM und Einbettungsmodell konfigurieren:

from deepsearcher.configuration import Configuration, init_config
config = Configuration()
config.set_provider_config("llm", "OpenAI", {"model": "o1-mini"})
config.set_provider_config("embedding", "OpenAIEmbedding", {"model": "text-embedding-ada-002"})
init_config(config=config)

2. Daten laden:

from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory="your_local_path")

3. Abfrage ausführen:

from deepsearcher.online_query import query
result = query("Write a report about xxx.")
print(result)

GitHub-Repository:https://github.com/zilliztech/deep-searcher