Proxyless LLM Websearch: 프록시 없이 사용하는 LLM 웹 검색 엔진 91

Proxyless LLM Websearch란 무엇인가요?

Proxyless LLM Websearch는 프록시가 필요 없는 LLM 웹 검색 엔진으로, 다중 엔진 검색, 지능형 파싱 및 비동기 처리를 지원하며, URL 콘텐츠 파싱 및 웹 페이지 크롤링을 지원합니다. LangGraph와 결합하여 모듈형 에이전트 체인을 구현하며, 대규모 언어 모델의 외부 지식 호출 시나리오를 위해 설계되었습니다.

Proxyless LLM Websearch 특징

• 프록시 불필요: Playwright로 국내 브라우저를 설정하여 지원하므로, 프록시 없이도 웹 검색이 가능합니다.

• 다중 검색 엔진 지원: Bing, Quark, Baidu, Sogou 등 주요 검색 엔진을 지원하여 정보 출처의 다양성을 강화합니다.

• 의도 인식: 시스템은 사용자 입력 내용에 따라 자동으로 웹 검색인지 URL 파싱인지를 판단합니다.

• 쿼리 분해: 사용자의 검색 의도에 따라 쿼리를 자동으로 여러 하위 작업으로 분해하고 순차적으로 실행하여 검색의 관련성과 효율성을 향상시킵니다.

• 에이전트 아키텍처: LangGraph로 캡슐화된 "web_search" 및 "link_parser" 기반.

• 비동기 동시 작업 처리: 비동기 동시 작업 처리를 지원하여 여러 검색 작업을 효율적으로 처리할 수 있습니다.

• 콘텐츠 처리 최적화

• 콘텐츠 청킹: 긴 웹 페이지 콘텐츠를 단락별로 분할합니다.

• 콘텐츠 재정렬: 지능형 재정렬로 정보 관련성을 향상시킵니다.

• 콘텐츠 필터링: 관련 없거나 중복된 콘텐츠를 자동으로 제거합니다.

• 다중 플랫폼 지원

• FastAPI 백엔드 인터페이스: 모든 시스템에 통합 가능합니다.

• Gradio Web UI: 시각화 애플리케이션으로 빠르게 배포할 수 있습니다.

• 브라우저 확장 프로그램 지원: Edge를 지원하며, 지능형 URL 파싱 확장 프로그램을 제공하여 브라우저에서 직접 웹 페이지 파싱 및 콘텐츠 추출 요청을 시작할 수 있습니다.

설치 및 사용

저장소 복제:

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

의존성 설치:

pip install -r requirements.txt
python -m playwright install

환경 변수 설정:

OPENai_API_KEY, OPENAI_BASE_URL, MODEL_NAME, EMBEDDING_MODEL_NAME, EMBEDDING_API_KEY, EMBEDDING_BASE_URL 등의 환경 변수를 설정해야 합니다.

예제 실행:

demo 실행:

python demo.py

FastAPI 백엔드 인터페이스 실행:

python api_serve.py

Gradio Web UI 실행:

python gradio_demo.py

테스트 효과

Alibaba의 WebWalkerQA 고난도 질의응답 데이터셋을 기반으로 Volcengine Ark, Bailian 등 유명한 온라인 검색 인터페이스와 비교했을 때, proxyless-llm-websearch가 가장 높은 정확도와 가장 낮은 오류율을 달성했습니다.

Github 저장소:https://github.com/itshyao/proxyless-llm-websearch