Skywork R1V: первый в мире промышленный мультимодальный модель рассуждений с открытым исходным кодом от Kunlun 202

Что такое Skywork R1V?

Skywork R1V — это мультимодальная модель рассуждений с цепочкой мыслей, выпущенная в открытый доступ компанией Kunlun Wanwei и официально представленная 18 марта 2025 года.

Skywork R1V — первая в мире мультимодальная модель рассуждений промышленного уровня с открытым исходным кодом, ориентированная на решение сложных визуальных задач посредством многошаговых логических рассуждений. Она эффективно переносит возможности текстовых рассуждений на визуальные задачи, обеспечивая глубокое слияние визуальной и текстовой модальностей. Skywork R1V не только понимает изображения и текст, но и способна выполнять многошаговые логические рассуждения, особенно хорошо справляясь со сложными задачами, основанными на изображениях.

Функциональные особенности Skywork R1V

• Цепочечные визуальные рассуждения: способность выполнять многошаговые логические рассуждения для сложных визуальных задач, постепенно анализируя и приходя к выводам.

• Решение математических и научных задач: распознавание математических или научных задач на изображениях и предоставление пошаговых решений с использованием возможностей рассуждения.

• Кроссмодальное слияние: глубокая интеграция визуальной и текстовой информации для повышения способности к семантическому пониманию.

• Оптимизация эффективных рассуждений: благодаря дистилляции цепочки мыслей с адаптивной длиной динамически регулируется глубина рассуждений, что экономит вычислительные ресурсы и повышает эффективность.

• Мощные возможности рассуждения и визуального понимания: высокие результаты в ряде бенчмарков, логические рассуждения и визуальное понимание достигают высокого уровня.

Технические принципы Skywork R1V

• Мультимодальный перенос способностей к текстовым рассуждениям: с помощью визуального проектора (Visual Projector) возможности текстовых рассуждений переносятся на визуальные задачи без необходимости повторного обучения языковой модели и визуального кодировщика.

• Гибридное мультимодальное обучение (Iterative SFT + GRPO): сочетание итеративной дообучки с учителем (Iterative SFT) и обучения с подкреплением с помощью групповой относительной оптимизации политики (GRPO) для поэтапного выравнивания визуальных и текстовых представлений, что повышает эффективность модели в кроссмодальных задачах.

• Дистилляция цепочки мыслей с адаптивной длиной: введён механизм управления длиной цепочки рассуждений, адаптированный к сложности визуально-текстовой информации, который динамически оптимизирует процесс рассуждений модели, избегая «избыточного обдумывания» и повышая эффективность и качество рассуждений.

• Трёхэтапный метод обучения:

• Начальное выравнивание: лёгкий визуальный адаптер (MLP) используется для соединения визуального кодировщика и языковой модели, обучение проводится на стандартных мультимодальных данных для предварительного выравнивания визуальных и языковых представлений.

• Перенос способностей к рассуждениям: обученный адаптер соединяется с сильной языковой моделью рассуждений, формируя модель визуальных рассуждений и наделяя её начальными способностями к визуальным рассуждениям.

• Точное выравнивание: на основе гибридного оптимизационного фреймворка (Iterative SFT + GRPO) выполняется дальнейшее точное выравнивание визуальной и языковой модальностей для повышения возможностей мультимодальных рассуждений.

Производительность Skywork R1V

Способности к логическим рассуждениям:

• В бенчмарке MATH-500 Skywork R1V набрала 94,0 балла.

• В бенчмарке aiME 2024 процент прохождения составил 72,0%.

• В бенчмарке GPQA (General Physics Question Answering) процент прохождения составил 61,6%.

Способности к визуальному пониманию:

• В бенчмарке MathVista (визуальные математические рассуждения) набрано 67,5 балла.

• В бенчмарке MMMU (Multimodal Medical Understanding) набрано 69,0 баллов.

Сценарии применения Skywork R1V

• Образовательное консультирование: помощь учащимся в решении задач по математике, физике и другим предметам, предоставление шагов решения и анализа.

• Анализ медицинских изображений: помощь врачам в анализе медицинских снимков, логическом выводе характеристик патологий и предоставлении рекомендаций по диагностике.

• Помощь в научных исследованиях: анализ экспериментальных изображений и литературы, логический вывод научных явлений, помощь исследователям в проверке результатов.

• Создание и модерация контента: анализ произведений искусства, обнаружение нарушающего контента, помощь в оценке произведений искусства и модерации контента.

• Промышленный контроль качества и рыночный анализ: обнаружение дефектов продукции, анализ рекламных и рыночных данных, помощь в контроле качества и принятии бизнес-решений.

Соответствующие ссылки

Репозиторий на GitHub: https://github.com/SkyworkAI/Skywork-R1V

Библиотека моделей на Hugging Face: https://huggingface.co/Skywork/Skywork-R1V

Техническая статья: https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork_R1V.pdf