ZeroSearch : un framework novateur de moteur de recherche pour LLM open-source publié par Alibaba 73

Le 8 mai 2025, Alibaba a open-sourcé ZeroSearch, un moteur de recherche innovant pour grands modèles de langage. ZeroSearch est un framework de moteur de recherche pour LLM open-source développé par le laboratoire Tongyi d'Alibaba. Il s'agit essentiellement d'un framework d'apprentissage par renforcement unique qui, sans nécessiter d'interaction avec un moteur de recherche réel au sens traditionnel, permet de stimuler pleinement les capacités de recherche latentes du grand modèle de langage lui-même.

Fonctionnalités principales de ZeroSearch

• Aucune interaction avec un moteur de recherche réel : simule le fonctionnement d'un moteur de recherche afin de stimuler les capacités de recherche du LLM, évitant ainsi l'interaction avec de vrais moteurs de recherche (comme Google), ce qui réduit les coûts et le caractère imprévisible.

• Contrôle dynamique de la qualité des documents : prend en charge la génération de documents pertinents ou bruités, en ajustant des mots-clés dans les prompts, permettant un contrôle flexible de la qualité des documents générés et offrant des scénarios de recherche diversifiés pour l'entraînement.

• Prise en charge de plusieurs modèles et algorithmes : compatible avec des LLM de différentes tailles de paramètres (tels que 3B, 7B, 14B) et supporte plusieurs algorithmes d'apprentissage par renforcement (comme PPO, GRPO).

Technologies clés de ZeroSearch

• Aucune interaction avec un moteur de recherche réel : grâce à son framework d'apprentissage par renforcement, ZeroSearch peut激发 les capacités de recherche du LLM sans interagir avec de vrais moteurs de recherche tels que Google. Il s'appuie sur les connaissances accumulées par le grand modèle lors de son pré-entraînement à grande échelle pour les transformer en un module de recherche capable de générer du contenu pertinent à partir de requêtes.

• Contrôle dynamique de la qualité des documents : le framework permet de contrôler dynamiquement la qualité des documents générés et prend en charge la génération de documents pertinents ou bruités, offrant ainsi des scénarios de recherche diversifiés pour l'entraînement. En ajustant des mots-clés dans le modèle de prompt, le modèle est guidé pour apprendre une recherche graduée selon la qualité.

• Fine-tuning supervisé léger : le grand modèle est d'abord transformé en module de recherche, lui permettant de générer des documents de haute ou de faible qualité, afin de s'adapter à différents besoins d'entraînement.

• Mécanisme d'apprentissage curriculaire : pendant l'entraînement, le niveau de bruit des documents est progressivement augmenté, permettant au modèle de commencer par des scénarios simples puis de s'adapter progressivement à des tâches plus complexes, améliorant ainsi ses capacités de raisonnement.

• Mécanisme de récompense basé sur le score F1 : utilise le score F1 comme signal de récompense, en se concentrant sur la précision des réponses.

• Template d'interaction multi-tours : conçoit des phases explicites de raisonnement, de recherche et de réponse, guidant le modèle étape par étape pour accomplir la tâche.

Avantages en termes de performances et de coûts

• Performances : les chercheurs ont testé sur sept grands ensembles de données de questions-réponses, notamment NQ et TriviaQA. Le modèle fine-tuné de manière supervisée avec 7 milliards de paramètres atteint une capacité de recherche de 33,06, et celui à 14 milliards de paramètres atteint 33,97, surpassant le score de 32,47 obtenu avec Google Search.

• Rentabilité : l'utilisation de Google Search pour environ 64 000 requêtes de recherche lors de l'entraînement coûte environ 586,70 dollars, alors que la simulation d'entraînement avec un LLM à 14 milliards de paramètres sur quatre GPU A100 ne coûte que 70,80 dollars, soit une réduction des coûts supérieure à 80 %.

Scénarios d'application de ZeroSearch

• Systèmes de questions-réponses intelligents : permet de répondre rapidement et précisément aux questions des utilisateurs, adapté aux scénarios de service client intelligent et d'assistant intelligent.

• Gestion des connaissances en entreprise : les entreprises peuvent utiliser ZeroSearch pour mettre en place une plateforme de recherche de connaissances efficace, permettant aux employés de localiser rapidement les informations dont ils ont besoin et d'améliorer leur productivité.

Adresse du projet

Site officiel du projet :https://alibaba-nlp.github.io/ZeroSearch/

Dépôt GitHub :https://github.com/Alibaba-nlp/ZeroSearch

Bibliothèque de modèles HuggingFace :https://huggingface.co/collections/sunhaonlp/zerosearch

Article technique arXiv :https://arxiv.org/pdf/2505.04588