PaSa: открытый ИИ-агент ByteDance для поиска научных статей 92

PaSa-Agent.ai — это ByteDance推出的学术论文检索AI智能体，основанный на обучении с подкреплением, способный автоматически вызывать поисковые системы, читать научные работы и отслеживать сети цитирования, предоставляя пользователям точный сервис поиска академической литературы.

Основные функции PaSa:

• Интеллектуальный поиск: PaSa-Agent может работать как исследователь-человек — PaSa способен генерировать разнообразные поисковые запросы на основе введённого пользователем академического вопроса, автоматически вызывать поисковую систему и выполнять множественные поиски, формируя и применяя разнообразные ключевые слова для более полного охвата академической литературы.

• Обработка сложных запросов: специально разработан для обработки сложных академических запросов, способен понимать детальные исследовательские потребности, включая конкретные алгоритмы, методы исследования и тонкие различия в предметной области.

• Навигация по сети цитирования: PaSa не только ищет статьи, но и отслеживает сеть цитирования связанных работ, помогая пользователю обнаруживать релевантную литературу и исследовательский контекст.

• Поддержка междисциплинарных запросов: хотя в настоящее время в основном поддерживаются академические запросы в области компьютерных наук, в будущем планируется постепенное расширение на другие научные дисциплины.

• Чтение и анализ содержания статей: благодаря двум ключевым компонентам — Crawler и Selector — PaSa эффективно собирает и отбирает релевантные научные работы, обеспечивая точность результатов поиска.

• Отбор релевантных источников: PaSa умеет выделять из огромного массива литературы наиболее релевантные пользовательскому запросу источники, предоставляя полные и точные результаты поиска.

Преимущества производительности PaSa:

• Превосходство над традиционными поисковыми системами: на бенчмарке RealScholarQuery модель PaSa-7B превзошла Google Scholar по показателям recall@20 и recall@50 на 37,78% и 39,90% соответственно, демонстрируя выдающуюся эффективность в области академического поиска.

• Сочетание с большими языковыми моделями: несмотря на обучение на синтетических данных, PaSa превосходит несколько базовых систем, включая Google, Google Scholar и GPT-4o с поддержкой поиска.

Технические принципы PaSa:

В ядро PaSa входят два основных LLM-агента: Crawler и Selector. Crawler отвечает за сбор релевантных пользовательскому запросу академических работ через поисковые системы, а Selector — за внимательное чтение каждой статьи и оценку её соответствия запросу пользователя. PaSa обучается с помощью обучения с подкреплением (RL) и алгоритма оптимизации проксимальной политики (PPO), используя синтетический набор данных AutoScholarQuery и бенчмарк реальных запросов RealScholarQuery для повышения эффективности и точности поиска.

Сценарии применения PaSa:

PaSa подходит для академических исследований, образования и корпоративных R&D. В академических исследованиях PaSa помогает быстро находить основополагающие работы в области, избегая пропуска редких исследований. В образовании студенты могут описывать свои потребности на естественном языке, а PaSa автоматически рекомендует литературу разного уровня. В корпоративных R&D PaSa позволяет в реальном времени отслеживать новейшие технологические тенденции:

• Академические исследования: исследователи могут использовать PaSa для быстрого поиска релевантной литературы, экономя время и повышая эффективность работы.

• Литературные обзоры: при подготовке обзора литературы PaSa помогает комплексно собирать и анализировать релевантные источники.

• Образование: преподаватели и студенты могут применять PaSa для выполнения учебных проектов и поиска литературы, повышая качество обучения.

• Междисциплинарные исследования: поддержка нескольких областей делает PaSa применимой в междисциплинарных проектах, помогая получать литературу из разных дисциплин.

Как использовать PaSa-Agent.ai для академических запросов и поиска литературы?

Онлайн-использование

• Зайдите на сайт: откройте сайт PaSa-Agent.ai.

• Введите запрос: введите свой академический вопрос или тему исследования в поле поиска.

• Получите результаты: система автоматически вызовет поисковую систему, просмотрит релевантные работы и отследит сеть цитирования, после чего предоставит точные и полные результаты поиска академических статей.

Локальное развёртывание

• Подготовка данных: скачайте и подготовьте наборы данных, включая AutoScholarQuery и RealScholarQuery.

• Подготовка моделей: скачайте контрольные точки моделей PaSa-7b-Crawler и PaSa-7b-Selector.

• Запуск PaSa: следуйте предоставленной инструкции — клонируйте репозиторий GitHub, установите зависимости и запустите PaSa.

PaSa-Agent.ai также обладает возможностями оптимизации с помощью обучения с подкреплением и обучается на синтетическом наборе данных AutoScholarQuery, который содержит 35 000 детализированных академических запросов и соответствующих им статей. Кроме того, PaSa разработала бенчмарк RealScholarQuery, собирающий реальные академические запросы для оценки производительности в более реалистичных сценариях.