Open R1: DeepSeek-R1의 완전 오픈소스 재현 프로젝트 268

Open R1는 Hugging Face가 시작한 DeepSeek-R1의 완전 오픈소스 재현 프로젝트로, DeepSeek R1 모델의 학습 과정을 완전히 재현하는 것을 목적으로 합니다. 이 프로젝트의 목표는 DeepSeek-R1 파이프라인에서 부족한 부분을 구축하여 연구계와 산업계에 완전한 추론 최적화 학습 파이프라인을 제공하는 것입니다.

프로젝트 목표

• DeepSeek-R1 학습 파이프라인 재현: 오픈소스 방식을 통해 지식 증류부터 강화 학습, 다단계 학습까지 DeepSeek-R1의 학습 과정을 어떻게 단계별로 재현하는지 상세히 보여줍니다.

• 완전한 구현 제공: 프로젝트에는 완전한 추론 최적화 학습 파이프라인이 포함되어 있어 사용자가 모델을 손쉽게 사용하고 수정할 수 있습니다.

프로젝트 구성

• 학습 데이터 및 스크립트: 학습에 사용할 오픈소스 데이터셋과 학습 스크립트를 제공하여 사용자가 실험과 검증을 손쉽게 수행할 수 있도록 합니다.

• 문서 및 예제: 상세한 문서와 예제 코드를 제공하여 사용자가 모델 사용법을 빠르게 익히고 이해하도록 돕습니다.

Open R1 프로젝트는 특히 다음과 같은 측면에 주목합니다:

데이터 수집 및 학습 코드: DeepSeek-R1의 모델 가중치는 공개되어 있지만, 학습에 사용된 데이터셋과 코드는 공개되어 있지 않습니다. Open R1은 DeepSeek-R1의 데이터와 학습 파이프라인을 체계적으로 재구축하여 주장한 효과를 검증하고, 오픈 추론 모델의 경계를 넓히고자 합니다.

다단계 학습: 프로젝트 계획에는 기반 모델부터 지도 미세조정(SFT)을 거쳐 강화 학습(RL)에 이르는 다단계 학습 과정이 포함되어 있으며, 합성 데이터셋을 통해 기존 또는 새로운 모델을 미세조정하여 추론 모델로 변환하는 방법을 보여주는 것을 목표로 합니다.

다양한 분야 적용: 수학 데이터셋 외에도 Open R1은 코드, 의학 등 기타 과학 분야에서의 잠재력을 탐구하고자 합니다. 이러한 분야에서 추론 모델이 상당한 영향을 미칠 수 있기 때문입니다.

Open R1 프로젝트는 어떻게 진행되나요?

1단계: DeepSeek-R1로 고품질 코퍼스를 증류하여 R1-Distill 모델을 복제하고, 그 효과가 DeepSeek이 말한 만큼인지 확인합니다.

2단계: DeepSeek이 R1-Zero를 구축하는 데 사용한 순수 강화 학습(RL) 파이프라인을 복제합니다.

3단계: 다단계 학습을 통해 기반 모델에서 RL 버전으로 전환합니다.

Open R1 프로젝트:https://huggingface.co/blog/open-r1

Open R1 코드:https://github.com/huggingface/open-r1