DeepSearcher: herramienta de búsqueda y análisis inteligente sobre datos privados 184

¿Qué es DeepSearcher?

DeepSearcher es una herramienta de búsqueda profunda de código abierto que combina modelos de lenguaje grandes y bases de datos vectoriales para realizar búsquedas, evaluaciones y razonamiento sobre datos privados. DeepSearcher es adecuado para escenarios que requieren un procesamiento eficiente de datos privados, generación de contenido inteligente y análisis de datos, siendo especialmente indicado para empresas, instituciones de investigación y sectores como el financiero, sanitario y legal.

Características de DeepSearcher

• Búsqueda en datos privados: realiza búsquedas de forma segura en los datos internos de la empresa, con soporte para archivos locales y rastreo web.

• Soporte de bases de datos vectoriales: integración con Milvus y Zilliz Cloud para una recuperación de datos eficiente.

• Soporte de múltiples LLM: compatible con Openai, DeepSeek, Claude y otros modelos de lenguaje para respuestas inteligentes y generación de contenido.

• Modelos de embedding flexibles: soporte para OpenAI, modelos integrados de Milvus, VoyageAI, entre otros, para la vectorización de datos.

• Cargadores de documentos: admite la carga de archivos locales como PDF y TXT, así como el rastreo de contenido web.

• Razonamiento eficiente: combina LLM y bases de datos vectoriales para generar rápidamente respuestas precisas e informes completos.

• Configuración flexible: permite ajustar dinámicamente los módulos mediante código o archivos de configuración, con soporte para interfaces RESTful API.

• Modo CLI: soporta la carga de datos y consultas desde la línea de comandos, facilitando un inicio rápido.

• Despliegue como servicio: se puede desplegar como un servicio web mediante FastAPI, facilitando la integración.

Casos de uso de DeepSearcher

• Gestión del conocimiento empresarial: recuperación rápida de documentos internos y bases de conocimiento.

• Sistemas de preguntas y respuestas inteligentes: construcción de asistentes de preguntas y respuestas o atención al cliente inteligente internos.

• Generación de informes: generación automática de informes de mercado, técnicos o sectoriales.

• Recuperación de información: localización rápida de información clave entre grandes volúmenes de datos.

• Asistencia en la creación de contenido: generación de copys, comunicados de prensa y otros textos.

• Análisis de datos:提供商业智能分析和市场趋势洞察。

• Educación e investigación: apoyo en la investigación académica y revisiones bibliográficas.

• Salud: búsqueda de literatura médica y análisis de historiales clínicos.

• Sector financiero: generación de informes de inversión y evaluación de riesgos.

• Sector legal: búsqueda de normativa y análisis de casos.

• Procesamiento de contenido multilingüe: soporte para el procesamiento de datos en varios idiomas en empresas multinacionales.

Instalación y uso de DeepSearcher

Pasos de instalación:

1. Clonar el repositorio:

git clone https://github.com/zilliztech/deep-searcher.git
cd deep-searcher

2. Crear un entorno virtual:

python3 -m venv .venv
source .venv/bin/activate

3. Instalar las dependencias:

pip install -e .

4. Configurar las variables de entorno:

Configure la clave de API correspondiente según el LLM utilizado (por ejemplo, OPENAI_API_KEY).

Modo de uso:

1. Configurar el LLM y el modelo de embedding:

from deepsearcher.configuration import Configuration, init_config
config = Configuration()
config.set_provider_config("llm", "OpenAI", {"model": "o1-mini"})
config.set_provider_config("embedding", "OpenAIEmbedding", {"model": "text-embedding-ada-002"})
init_config(config=config)

2. Cargar datos:

from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory="your_local_path")

3. Ejecutar consultas:

from deepsearcher.online_query import query
result = query("Write a report about xxx.")
print(result)

Repositorio de GitHub:https://github.com/zilliztech/deep-searcher