DeepSearcher : outil de recherche et d'analyse intelligente sur données privées 186

Qu'est-ce que DeepSearcher ?

DeepSearcher est un outil open source de recherche approfondie qui combine des grands modèles de langage et des bases de données vectorielles pour rechercher, évaluer et raisonner sur des données privées. DeepSearcher convient aux scénarios nécessitant un traitement efficace des données privées, la génération de contenu intelligent et l'analyse de données, en particulier pour les entreprises, les institutions de recherche et les secteurs tels que la finance, la santé et le droit.

Fonctionnalités et caractéristiques de DeepSearcher

• Recherche sur données privées : recherche sécurisée au sein des données internes de l'entreprise, prise en charge des fichiers locaux et du crawling web.

• Prise en charge de bases de données vectorielles : intégration de Milvus et Zilliz Cloud pour une récupération efficace des données.

• Prise en charge de plusieurs LLM : compatibilité avec OpenAI, DeepSeek, Claude et divers autres modèles de langage pour répondre à des questions intelligentes et générer du contenu.

• Modèles d'embedding flexibles : prise en charge d'OpenAI, des modèles intégrés Milvus, de VoyageAI, etc., pour la vectorisation des données.

• Chargeurs de documents : prise en charge du chargement de fichiers locaux PDF, TXT, ainsi que du crawling de contenu web.

• Inférence efficace : combinaison de LLM et de bases de données vectorielles pour générer rapidement des réponses précises et des rapports complets.

• Configuration flexible : ajustement dynamique des modules via du code ou des fichiers de configuration, prise en charge de l'interface RESTful API.

• Mode CLI : prise en charge du chargement de données et des requêtes en ligne de commande pour une prise en main rapide.

• Déploiement en tant que service : peut être déployé en tant que service web via FastAPI pour faciliter l'intégration.

Cas d'utilisation de DeepSearcher

• Gestion des connaissances en entreprise : recherche rapide dans les documents internes et les bases de connaissances.

• Systèmes de questions-réponses intelligents : création d'un service client intelligent ou d'un assistant de questions-réponses interne à l'entreprise.

• Génération de rapports : génération automatique de rapports de marché, techniques ou sectoriels.

• Recherche d'informations : localisation rapide d'informations clés dans de vastes ensembles de données.

• Assistance à la création de contenu : génération de textes, communiqués de presse et autres contenus rédactionnels.

• Analyse de données : fourniture d'analyses de business intelligence et d'informations sur les tendances du marché.

• Éducation et recherche : assistance à la recherche académique et aux revues de littérature.

• Santé médicale : recherche dans la littérature médicale et analyse des dossiers patients.

• Secteur financier : génération de rapports d'investissement et d'évaluations de risques.

• Secteur juridique : recherche dans les textes de loi et analyse de jurisprudence.

• Traitement de contenu multilingue : prise en charge du traitement de données multilingues pour les entreprises multinationales.

Installation et utilisation de DeepSearcher

Étapes d'installation :

1. Cloner le dépôt :

git clone https://github.com/zilliztech/deep-searcher.git
cd deep-searcher

2. Créer un environnement virtuel :

python3 -m venv .venv
source .venv/bin/activate

3. Installer les dépendances :

pip install -e .

4. Configurer les variables d'environnement :

Configurez la clé API correspondante (par exemple OPENAI_API_KEY) en fonction du LLM utilisé.

Méthode d'utilisation :

1. Configurer le LLM et le modèle d'embedding :

from deepsearcher.configuration import Configuration, init_config
config = Configuration()
config.set_provider_config("llm", "OpenAI", {"model": "o1-mini"})
config.set_provider_config("embedding", "OpenAIEmbedding", {"model": "text-embedding-ada-002"})
init_config(config=config)

2. Charger les données :

from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory="your_local_path")

3. Exécuter une requête :

from deepsearcher.online_query import query
result = query("Write a report about xxx.")
print(result)

Dépôt GitHub :https://github.com/zilliztech/deep-searcher