DeepSearcher: 프라이빗 데이터에서 지능형 검색 및 분석을 수행하는 도구 183

小编 ·

DeepSearcher: 프라이빗 데이터에서 지능형 검색 및 분석을 수행하는 도구

DeepSearcher는 대규모 언어 모델과 벡터 데이터베이스를 결합한 오픈소스 딥 서치 도구로, 프라이빗 데이터에 대한 검색, 평가, 추론을 수행합니다. 프라이빗 데이터의 효율적 처리, 지능형 콘텐츠 생성 및 데이터 분석이 필요한 시나리오에 적합하며, 기업, 연구 기관, 금융·의료·법률等行业에 특히 유용합니다.

DeepSearcher: 프라이빗 데이터에서 지능형 검색 및 분석을 수행하는 도구

DeepSearcher란 무엇인가요?

DeepSearcher는 오픈 소스 딥 서치 도구로, 대규모 언어 모델과 벡터 데이터베이스를 결합하여 개인 데이터에서 검색, 평가 및 추론을 수행합니다. DeepSearcher는 개인 데이터를 효율적으로 처리하고, 지능적인 콘텐츠를 생성하며, 데이터 분석을 제공해야 하는 시나리오에 적합하며, 특히 기업, 연구 기관, 금융, 의료, 법률等行业에 적합합니다.

DeepSearcher.jpg

DeepSearcher의 기능 특징

  • 개인 데이터 검색: 기업 내부 데이터에서 안전하게 검색하며, 로컬 파일 및 웹 페이지 크롤링을 지원합니다.

  • 벡터 데이터베이스 지원: Milvus 및 Zilliz Cloud를 통합하여 효율적인 데이터 검색을 구현합니다.

  • 다중 LLM 지원: Openai, DeepSeek, Claude 등 다양한 언어 모델과 호환되어 지능형 질의응답 및 콘텐츠 생성에 사용됩니다.

  • 유연한 임베딩 모델: 데이터 벡터화를 위해 OpenAI, Milvus 내장 모델, VoyageAI 등을 지원합니다.

  • 문서 로더: 로컬 PDF, TXT 등 파일 로딩 및 웹 페이지 콘텐츠 크롤링을 지원합니다.

  • 효율적인 추론: LLM과 벡터 데이터베이스를 결합하여 정확하고 포괄적인 답변 및 보고서를 빠르게 생성합니다.

  • 유연한 구성: 코드 또는 구성 파일을 통해 모듈을 동적으로 조정할 수 있으며, RESTful API 인터페이스를 지원합니다.

  • CLI 모드: 명령줄에서 데이터 로딩 및 쿼리를 지원하여 빠르게 시작할 수 있습니다.

  • 서비스로 배포: FastAPI를 통해 웹 서비스로 배포하여 손쉽게 통합할 수 있습니다.

DeepSearcher의 활용 시나리오

  • 기업 지식 관리: 내부 문서 및 지식 베이스를 빠르게 검색합니다.

  • 지능형 질의응답 시스템: 기업 내부 지능형 고객 서비스 또는 질의응답 도우미를 구축합니다.

  • 보고서 생성: 시장, 기술 또는 산업 보고서를 자동으로 생성합니다.

  • 정보 검색: 대량의 데이터에서 핵심 정보를 빠르게 찾아냅니다.

  • 콘텐츠 제작 지원: 카피, 보도자료 등 텍스트 콘텐츠를 생성합니다.

  • 데이터 분석: 비즈니스 인텔리전스 분석 및 시장 동향 통찰력을 제공합니다.

  • 교육 및 연구: 학술 연구 및 문헌 리뷰를 지원합니다.

  • 의료 및 헬스케어: 의학 문헌 검색 및 병력 분석을 수행합니다.

  • 금융 분야: 투자 보고서 및 리스크 평가를 생성합니다.

  • 법률 분야: 법률 조항 및 사례 분석을 검색합니다.

  • 다국어 콘텐츠 처리: 다국적 기업의 다국어 데이터 처리를 지원합니다.

DeepSearcher 설치 및 사용법

설치 단계:

1. 저장소 복제:

git clone https://github.com/zilliztech/deep-searcher.git
cd deep-searcher

2. 가상 환경 생성:

python3 -m venv .venv
source .venv/bin/activate

3. 의존성 설치:

pip install -e .

4. 환경 변수 구성:

사용하는 LLM에 따라 해당 API 키(예: OPENAI_API_KEY)를 설정합니다.

사용 방법:

1. LLM 및 임베딩 모델 구성:

from deepsearcher.configuration import Configuration, init_config
config = Configuration()
config.set_provider_config("llm", "OpenAI", {"model": "o1-mini"})
config.set_provider_config("embedding", "OpenAIEmbedding", {"model": "text-embedding-ada-002"})
init_config(config=config)

2. 데이터 로딩:

from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory="your_local_path")

3. 쿼리 실행:

from deepsearcher.online_query import query
result = query("Write a report about xxx.")
print(result)

GitHub 저장소:https://github.com/zilliztech/deep-searcher