PaSa: ByteDance의 오픈소스 학술 논문 검색 AI 에이전트 95

PaSa-Agent.ai는 字节跳动가 출시한 강화 학습 기반 학술 논문 검색 AI 에이전트로, 자동으로 검색 엔진을 호출하고, 논문을 읽으며, 인용 네트워크를 추적하여 사용자에게 정확하고 정밀한 학술 문헌 검색 서비스를 제공합니다.

PaSa의 핵심 기능:

• 지능형 검색: PaSa-Agent는 마치 인간 연구자처럼 작동하며, 사용자가 입력한 학술 질문을 기반으로 다양하고 세분화된 검색 키워드를 생성하고 자동으로 검색 엔진을 호출하여 여러 차례 검색을 수행함으로써 보다 광범위한 학술 문헌을 포괄할 수 있습니다.

• 복잡한 질의 처리: 특정 알고리즘, 연구 방법론, 혹은 해당 분야의 미묘한 차이까지 포함한 상세한 연구 요구 사항을 이해할 수 있도록 설계되어, 복잡한 학술 질의 처리에 특화되어 있습니다.

• 인용 네트워크 탐색: 논문을 검색하는 데 그치지 않고 PaSa는 관련 논문의 인용 네트워크를 추적하여, 사용자가 관련 문헌과 연구 배경을 발견할 수 있도록 돕습니다.

• 다양한 분야 질의 지원: 현재는 주로 컴퓨터 과학 분야의 학술 질의를 지원하지만, 향후 점차 다른 학문 분야로 확장될 예정입니다.

• 논문 내용 읽기 및 분석: Crawler와 Selector라는 두 가지 핵심 구성 요소를 통해 PaSa는 관련 논문을 효율적으로 수집하고 선별하여 검색 결과의 정확성을 보장합니다.

• 관련 참고 문헌 선별: PaSa는 방대한 문헌 가운데 사용자 질의와 가장 관련성이 높은 참고 문헌을 선별하여, 포괄적이고 정확한 검색 결과를 제공합니다.

PaSa의 성능 하이라이트:

• 기존 검색 엔진 능가: RealScholarQuery 벤치마크에서 PaSa-7B 모델은 recall@20 및 recall@50 지표에서 Google Scholar를 각각 37.78% 및 39.90% 능가하여 학술 검색 분야에서의 뛰어난 성능을 입증했습니다.

• 대규모 언어 모델과의 결합: 합성 데이터로 학습되었음에도 불구하고, PaSa의 성능은 Google, Google Scholar 및 검색 기능을 갖춘 GPT-4o를 포함한 여러 베이스라인 시스템을 능가합니다.

PaSa의 기술 원리:

PaSa의 핵심에는 Crawler와 Selector라는 두 가지 주요 LLM 에이전트가 있습니다. Crawler는 검색 엔진을 통해 사용자 질의와 관련된 학술 논문을 수집하고, Selector는 각 논문을 정밀하게 읽어 사용자 요구 사항에 부합하는지 평가합니다. PaSa는 강화 학습(RL)과 근접 정책 최적화(PPO) 알고리즘을 통해 학습되며, 합성 데이터셋 AutoScholarQuery와 실제 질의 벤치마크인 RealScholarQuery를 활용하여 검색 효율성과 정확성을 높입니다.

PaSa의 활용 시나리오:

PaSa는 학술 연구, 교육 및 기업 R&D 등 다양한 분야에서 활용할 수 있습니다. 학술 연구에서는 PaSa가 해당 분야의里程碑 논문을 신속하게 찾는 데 도움을 주어 잘 알려지지 않은 연구의 누락을 방지합니다. 교육 분야에서는 학생들이 자연어로 자신의 요구 사항을 설명하면 PaSa가 자동으로 분급된 문헌을 추천합니다. 기업 R&D에서는 PaSa를 통해 최신 기술 동향을 실시간으로 추적할 수 있습니다.

• 학술 연구: 연구자는 PaSa를 활용하여 관련 문헌을 빠르게 찾아 시간 절약 및 연구 효율을 높일 수 있습니다.

• 문헌综述 작성: 문헌 리뷰를 작성할 때 PaSa는 연구자가 관련 문헌을 포괄적으로 수집하고 분석하도록 돕습니다.

• 교육 분야: 교사와 학생은 PaSa를 활용하여 과제 연구 및 문헌 검색을 수행하고, 학습 효과를 높일 수 있습니다.

• 학제 간 연구: PaSa의 다분야 지원 기능은 학제 간 연구 프로젝트에 적합하여, 연구자가 다양한 분야의 문헌을 확보하는 데 도움을 줍니다.

PaSa-Agent.ai를 사용하여 학술 질의 및 문헌 검색을 수행하는 방법은?

온라인 사용

• 웹사이트 접속: PaSa-Agent.ai 웹사이트에 접속합니다.

• 질의 입력: 검색 창에 학술 질문이나 연구 주제를 입력합니다.

• 결과 확인: 시스템이 자동으로 검색 엔진을 호출하여 관련 논문을 탐색하고 인용 네트워크를 추적한 뒤, 최종적으로 정확하고 포괄적인 학술 논문 검색 결과를 제공합니다.

로컬 배포

• 데이터 준비: AutoScholarQuery 및 RealScholarQuery를 포함한 데이터 세트를 다운로드하고 준비합니다.

• 모델 준비: PaSa-7b-Crawler 및 PaSa-7b-Selector의 모델 체크포인트를 다운로드합니다.

• PaSa 실행: 제공된 가이드에 따라 GitHub 저장소를 복제하고, 종속성을 설치한 후 PaSa를 실행합니다.

PaSa-Agent.ai는 강화 학습 최적화 기능도 갖추고 있으며, 35,000개의 세분화된 학술 질의와 해당 논문으로 구성된 합성 데이터 세트인 AutoScholarQuery로 학습됩니다. 또한 PaSa는 실제 학술 질의를 수집한 RealScholarQuery 벤치마크를 개발하여 보다 현실적인 시나리오에서의 성능을 평가합니다.