ZeroSearch: Alibaba가 오픈소스로 공개한 혁신적인 LLM 검색 엔진 프레임워크 72

2025년 5월 8일, 알리바바는 ZeroSearch 대규모 모델 검색 엔진인 Tongyi Lab ZeroSearch 대규모 모델 검색 엔진 프레임워크를 오픈 소스로 공개했습니다. 본질적으로 이는 독특한 강화 학습 프레임워크로, 전통적인 의미의 실제 검색 엔진과의 상호작용 없이도 대규모 모델 자체에 잠재된 검색 능력을 충분히 촉발할 수 있습니다.

ZeroSearch 주요 기능

• 실제 검색 엔진 상호작용 불필요: 검색 엔진을 시뮬레이션하는 방식으로 대규모 모델의 검색 능력을 촉발하여, 구글과 같은 실제 검색 엔진과의 상호작용을 피함으로써 비용과 통제 불가능성을 줄입니다.

• 문서 품질의 동적 제어: 관련 문서 또는 노이즈 문서를 생성할 수 있으며, 프롬프트의 키워드를 조정하여 생성된 문서의 품질을 유연하게 제어하고, 훈련에 다양한 검색 시나리오를 제공합니다.

• 다양한 모델 및 알고리즘 지원: 3B, 7B, 14B 등 다양한 파라미터 규모의 대규모 모델과 호환되며, PPO, GRPO 등 다양한 강화 학습 알고리즘을 지원합니다.

ZeroSearch 핵심 기술

• 실제 검색 엔진 상호작용 불필요: ZeroSearch는 강화 학습 프레임워크를 통해 구글 등 실제 검색 엔진과의 상호작용 없이도 대규모 모델의 검색 능력을 활성화할 수 있습니다. 대규모 모델이 대규모 사전 훈련 과정에서 축적한 지식을 기반으로 이를 검색 모듈로 전환하여, 쿼리에 따라 관련 콘텐츠를 생성합니다.

• 문서 품질의 동적 제어: 이 프레임워크는 생성된 문서의 품질을 동적으로 제어하며, 관련 문서 또는 노이즈 문서 생성을 지원하여 훈련에 다양한 검색 시나리오를 제공합니다. 프롬프트 템플릿의 키워드를 조정하여 모델이 품질 등급별 검색을 학습하도록 유도합니다.

• 경량 지도 미세 조정: 먼저 대규모 모델을 검색 모듈로 전환하여 고품질 또는 저품질 문서를 생성하고, 다양한 훈련 요구 사항에 적응할 수 있도록 합니다.

• 커리큘럼 학습 메커니즘: 훈련 중에 문서 노이즈 수준을 점진적으로 높여 모델이 단순한 시나리오에서 시작하여 점차 더 도전적인 작업에 적응하도록 함으로써 추론 능력을 향상시킵니다.

• F1 점수 기반 보상 메커니즘: F1 점수를 보상 신호로 사용하여 답변 정확성에 집중합니다.

• 다중 턴 상호작용 템플릿: 명확한 추론, 검색 및 답변 단계를 설계하여 모델이 작업을 점차적으로 완료하도록 유도합니다.

성능 및 비용 이점

• 성능: 연구진이 NQ, TriviaQA 등 7개의 주요 질의응답 데이터셋에서 테스트한 결과, 70억 파라미터의 지도 미세 조정 모델의 검색 능력이 33.06에 달했고, 140억 파라미터 모델은 33.97에 달해 구글 검색의 32.47을 넘어섰습니다.

• 비용 효율성: 구글 검색을 사용하여 약 64,000회의 검색 쿼리 훈련을 수행하면 비용이 약 586.70달러인 반면, 140억 파라미터 대규모 모델을 4개의 A100 GPU에서 시뮬레이션 훈련하면 비용이 단 70.80달러에 불과하여 비용이 80% 이상 절감됩니다.

ZeroSearch 응용 시나리오

• 지능형 질의응답 시스템: 사용자 질문에 빠르고 정확하게 답변할 수 있으며, 지능형 고객 서비스 및 지능형 비서와 같은 시나리오에 적합합니다.

• 기업 내부 지식 관리: 기업은 ZeroSearch를 활용하여 효율적인 지식 검색 플랫폼을 구축할 수 있으며, 직원들이 필요한 정보를 빠르게 찾아 업무 효율성을 높일 수 있습니다.

프로젝트 주소

프로젝트 공식 웹사이트:https://alibaba-nlp.github.io/ZeroSearch/

GitHub 저장소:https://github.com/Alibaba-nlp/ZeroSearch

HuggingFace 모델 라이브러리:https://huggingface.co/collections/sunhaonlp/zerosearch

arXiv 기술 논문:https://arxiv.org/pdf/2505.04588