Open R1: проект полного воспроизведения DeepSeek-R1 с открытым исходным кодом 266

Open R1 — это проект полного открытого воспроизведения DeepSeek-R1, инициированный Hugging Face, целью которого является полное воспроизведение процесса обучения модели DeepSeek R1. Цель проекта — восполнить недостающие части процесса DeepSeek-R1 и предоставить исследовательскому и промышленному сообществам полный конвейер обучения с оптимизацией логического вывода.

Цели проекта

• Воспроизведение процесса обучения DeepSeek-R1: открытым способом подробно показать, как шаг за шагом воспроизвести процесс обучения DeepSeek-R1 — от дистилляции знаний до обучения с подкреплением и многоэтапного обучения.

• Предоставление полной реализации: проект включает полный конвейер обучения с оптимизацией логического вывода, обеспечивая пользователям возможность легко использовать и модифицировать модель.

Состав проекта

• Обучающие данные и скрипты: предоставляются открытые наборы данных и скрипты для обучения, что удобно для проведения экспериментов и проверки пользователями.

• Документация и примеры: подробная документация и примеры кода помогают пользователям быстро приступить к работе и понять использование модели.

Проект Open R1 также уделяет особое внимание следующим аспектам:

Сбор данных и код обучения: хотя веса модели DeepSeek-R1 являются открытыми, наборы данных и код, использованные для её обучения, не были опубликованы. Open R1 планирует систематически воссоздать данные и конвейер обучения DeepSeek-R1, чтобы проверить заявленные результаты и продвинуть границы открытых моделей логического вывода.

Многоэтапное обучение: план проекта включает многоэтапный процесс обучения — от базовой модели к контролируемому дообучению (SFT) и далее к обучению с подкреплением (RL), направленный на демонстрацию того, как с помощью синтетических наборов данных можно дообучать существующие или новые модели, чтобы превратить их в модели логического вывода.

Междисциплинарные применения: помимо математических наборов данных, Open R1 также стремится исследовать потенциал в других областях, таких как код и медицина и другие научные сферы, где модели логического вывода могут оказать значительное влияние.

Как работать с проектом Open R1?

Шаг 1: дистиллировать высококачественный корпус данных с помощью DeepSeek-R1, чтобы воспроизвести модель R1-Distill и посмотреть, действительно ли результаты настолько хороши, как утверждает DeepSeek.

Шаг 2: воспроизвести конвейер чистого обучения с подкреплением (RL), который DeepSeek использовал для построения R1-Zero.

Шаг 3: посредством многоэтапного обучения перейти от базовой модели к версии с RL.

Проект Open R1:https://huggingface.co/blog/open-r1

Код Open R1:https://github.com/huggingface/open-r1