DeepSearcher: инструмент интеллектуального поиска и анализа по частным данным 188

Что такое DeepSearcher?

DeepSearcher — это инструмент с открытым исходным кодом для глубокого поиска, который сочетает большие языковые модели и векторные базы данных для поиска, оценки и логического вывода на частных данных. DeepSearcher подходит для сценариев, где требуется эффективная обработка частных данных, генерация интеллектуального контента и предоставление анализа данных, особенно для предприятий, исследовательских учреждений, а также таких отраслей, как финансы, медицина и право.

Функциональные возможности DeepSearcher

• Поиск по частным данным: безопасный поиск внутрикорпоративных данных с поддержкой локальных файлов и веб-скрапинга.

• Поддержка векторных баз данных: интеграция с Milvus и Zilliz Cloud для эффективного извлечения данных.

• Поддержка множества LLM: совместимость с различными языковыми моделями, такими как Openai, DeepSeek, Claude, для интеллектуальных вопросов-ответов и генерации контента.

• Гибкие модели эмбеддингов: поддержка OpenAI, встроенных моделей Milvus, VoyageAI и других для векторизации данных.

• Загрузчики документов: поддержка загрузки локальных файлов PDF, TXT и скрапинга веб-страниц.

• Эффективное логическое мышление: сочетание LLM и векторных баз данных для быстрой генерации точных ответов и всесторонних отчётов.

• Гибкая конфигурация: динамическая настройка модулей через код или конфигурационные файлы с поддержкой интерфейса RESTful API.

• Режим CLI: поддержка загрузки данных и запросов через командную строку для быстрого старта.

• Развёртывание как сервиса: возможность развёртывания в виде веб-сервиса с помощью FastAPI для удобной интеграции.

Сценарии применения DeepSearcher

• Управление знаниями в компании: быстрый поиск по внутренним документам и базам знаний.

• Системы интеллектуальных вопросов-ответов: создание внутрикорпоративного интеллектуального помощника или чат-бота.

• Генерация отчётов: автоматическая генерация маркетинговых, технических или отраслевых отчётов.

• Информационный поиск: быстрое нахождение ключевой информации в больших объёмах данных.

• Помощь в создании контента: генерация текстов — рекламных материалов, пресс-релизов и т. д.

• Анализ данных: предоставление бизнес-аналитики и анализа рыночных тенденций.

• Образование и исследования: помощь в академических исследованиях и обзорах литературы.

• Медицина и здравоохранение: поиск медицинской литературы и анализ историй болезни.

• Финансовая отрасль: генерация инвестиционных отчётов и оценка рисков.

• Юридическая отрасль: поиск правовых норм и анализ судебных дел.

• Обработка многоязычного контента: поддержка обработки данных на нескольких языках для транснациональных компаний.

Установка и использование DeepSearcher

Шаги установки:

1. Клонирование репозитория:

git clone https://github.com/zilliztech/deep-searcher.git
cd deep-searcher

2. Создание виртуального окружения:

python3 -m venv .venv
source .venv/bin/activate

3. Установка зависимостей:

pip install -e .

4. Настройка переменных окружения:

В зависимости от используемой LLM установите соответствующий ключ API (например, OPENAI_API_KEY).

Инструкция по использованию:

1. Настройка LLM и модели эмбеддингов:

from deepsearcher.configuration import Configuration, init_config
config = Configuration()
config.set_provider_config("llm", "OpenAI", {"model": "o1-mini"})
config.set_provider_config("embedding", "OpenAIEmbedding", {"model": "text-embedding-ada-002"})
init_config(config=config)

2. Загрузка данных:

from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory="your_local_path")

3. Выполнение запроса:

from deepsearcher.online_query import query
result = query("Write a report about xxx.")
print(result)

Репозиторий на GitHub:https://github.com/zilliztech/deep-searcher