ZeroSearch: инновационный фреймворк поисковой системы для LLM с открытым исходным кодом от Alibaba 69

小编 · 2025-05-09

8 мая 2025 года Alibaba открыла исходный код ZeroSearch — поисковой системы для больших моделей. ZeroSearch — это инновационный фреймворк поисковой системы для LLM с открытым исходным кодом, разработанный лабораторией Tongyi от Alibaba. По сути, это уникальный фреймворк обучения с подкреплением, которому не требуется взаимодействие с реальными поисковыми системами в традиционном смысле и при этом он в полной мере раскрывает скрытые поисковые способности больших моделей.

ZeroSearch: инновационный фреймворк поисковой системы для LLM с открытым исходным кодом от Alibaba

8 мая 2025 года Alibaba открыла исходный код поисковой системы для больших моделей ZeroSearch. ZeroSearch — это инновационная поисковая платформа для больших моделей, разработанная исследовательской лабораторией Tongyi компании Alibaba. По сути, это уникальная среда обучения с подкреплением, которая позволяет в полной мере раскрыть собственный поисковый потенциал большой модели без необходимости взаимодействия с традиционными реальными поисковыми системами.

ZeroSearch：阿里巴巴开源的一种创新大模型搜索引擎框架.jpg

Основные функции ZeroSearch

Отсутствие необходимости взаимодействия с реальной поисковой системой: имитация работы поисковой системы позволяет раскрыть поисковые возможности большой модели, избегая взаимодействия с реальными поисковыми системами (такими как Google), что снижает затраты и повышает контролируемость.
Динамическое управление качеством документов: поддерживается генерация как релевантных, так и зашумлённых документов; качество генерируемых документов можно гибко контролировать, изменяя ключевые слова в промпте, что обеспечивает разнообразные сценарии поиска для обучения.
Поддержка различных моделей и алгоритмов: совместимость с большими моделями разного масштаба параметров (например, 3B, 7B, 14B), поддержка различных алгоритмов обучения с подкреплением (таких как PPO, GRPO).

Ключевые технологии ZeroSearch

Отсутствие необходимости взаимодействия с реальной поисковой системой: благодаря среде обучения с подкреплением ZeroSearch позволяет раскрыть поисковые способности большой модели без взаимодействия с реальными поисковыми системами, такими как Google. Платформа опирается на знания, накопленные большой моделью в ходе масштабного предварительного обучения, и преобразует их в поисковый модуль, который генерирует релевантный контент по запросу.
Динамическое управление качеством документов: платформа позволяет динамически контролировать качество генерируемых документов, поддерживая создание как релевантных, так и зашумлённых документов, что обеспечивает разнообразные сценарии поиска для обучения. Путём корректировки ключевых слов в шаблонах промптов модель направляется на обучение многоуровневому поиску в зависимости от качества.
Лёгкая дообучение с учителем: сначала большая модель преобразуется в поисковый модуль, способный генерировать высококачественные или низкокачественные документы для различных задач обучения.
Механизм курсового обучения: в процессе обучения уровень зашумлённости документов постепенно увеличивается, что позволяет модели начинать с простых сценариев и постепенно адаптироваться к более сложным задачам, повышая её способность к рассуждению.
Механизм вознаграждения на основе F1-score: в качестве сигнала вознаграждения используется F1-score, что обеспечивает фокус на точности ответа.
Шаблон многоэтапного взаимодействия: разработаны чётко определённые этапы рассуждения, поиска и ответа, направляющие модель к последовательному выполнению задачи.

Преимущества производительности и стоимости

Показатели производительности: исследователи провели тестирование на семи наборах данных вопросов-ответов, включая NQ и TriviaQA. Поисковая способность дообученной модели с 7 миллиардами параметров достигла 33,06, а модели с 14 миллиардами параметров — 33,97, превысив показатель Google Search, равный 32,47.
Экономическая эффективность: обучение с использованием Google Search для примерно 64 000 поисковых запросов обошлось примерно в 586,70 долларов США, тогда как имитационное обучение с большой моделью с 14 миллиардами параметров на четырёх GPU A100 стоило всего 70,80 долларов США — снижение затрат составило более 80%.

ZeroSearch：阿里巴巴开源的一种创新大模型搜索引擎框架.webp

Сценарии применения ZeroSearch

Интеллектуальные системы вопросов и ответов: возможность быстро и точно отвечать на вопросы пользователей, подходит для использования в интеллектуальной службе поддержки и интеллектуальных ассистентах.
Управление знаниями внутри предприятия: компании могут использовать ZeroSearch для создания эффективной платформы поиска знаний, позволяющей сотрудникам быстро находить нужную информацию и повышать эффективность работы.