Open R1 : un projet de reproduction entièrement open source de DeepSeek-R1 261

Open R1 est un projet de reproduction entièrement open source de DeepSeek-R1, initié par Hugging Face, dont l'objectif est de reproduire intégralement le processus d'entraînement du modèle DeepSeek R1. L'objectif du projet est de construire les parties manquantes du pipeline DeepSeek-R1 et de fournir à la recherche et à l'industrie un pipeline complet d'entraînement optimisé pour le raisonnement.

Objectifs du projet

• Reproduire le processus d'entraînement de DeepSeek-R1 : détailler de manière open source comment reproduire progressivement le processus d'entraînement de DeepSeek-R1, depuis la distillation des connaissances jusqu'à l'apprentissage par renforcement, puis l'entraînement en plusieurs étapes.

• Fournir une implémentation complète : le projet comprend un pipeline complet d'entraînement optimisé pour le raisonnement, garantissant que les utilisateurs peuvent facilement utiliser et modifier le modèle.

Composition du projet

• Données et scripts d'entraînement : fournir des jeux de données open source et des scripts d'entraînement, facilitant l'expérimentation et la validation par les utilisateurs.

• Documentation et exemples : documentation détaillée et exemples de code pour aider les utilisateurs à prendre en main et à comprendre rapidement l'utilisation du modèle.

Le projet Open R1 accorde également une attention particulière aux aspects suivants :

Collecte de données et code d'entraînement : bien que les poids du modèle DeepSeek-R1 soient ouverts, les jeux de données et le code utilisés pour son entraînement n'ont pas été publiés. Open R1 prévoit de reconstruire systématiquement les données et le pipeline d'entraînement de DeepSeek-R1 afin de vérifier les effets revendiqués et de repousser les limites des modèles de raisonnement ouverts.

Entraînement en plusieurs étapes : le plan du projet comprend un processus d'entraînement en plusieurs étapes, allant du modèle de base au réglage fin supervisé (SFT), puis à l'apprentissage par renforcement (RL), visant à montrer comment affiner des modèles existants ou nouveaux via des jeux de données synthétiques pour les transformer en modèles de raisonnement.

Applications transversales : au-delà des jeux de données mathématiques, Open R1 espère également explorer le potentiel dans d'autres domaines, tels que le code et les sciences comme la médecine, où les modèles de raisonnement pourraient avoir un impact significatif.

Comment fonctionne le projet Open R1 ?

Étape 1 : Distiller un corpus de haute qualité avec DeepSeek-R1 pour reproduire le modèle R1-Distill et vérifier si les résultats sont aussi bons que DeepSeek le prétend.

Étape 2 : Reproduire le pipeline d'apprentissage par renforcement (RL) pur utilisé par DeepSeek pour construire R1-Zero.

Étape 3 : Passer d'un modèle de base à une version RL grâce à un entraînement en plusieurs étapes.

Projet Open R1 :https://huggingface.co/blog/open-r1

Code Open R1 :https://github.com/huggingface/open-r1