Skywork R1V: 쿤룬에서 오픈소스로 공개한 세계 최초 산업용 멀티모달 추론 모델 196

小编 · 2025-03-18

Skywork R1V는 쿤룬이 2025년 3월 18일에 정식 공개한 오픈소스 멀티모달 사고 사슬 추론 모델입니다.

Skywork R1V: 쿤룬에서 오픈소스로 공개한 세계 최초 산업용 멀티모달 추론 모델

Skywork R1V란 무엇인가요?

Skywork R1V는 Kunlun Wanwei(昆仑万维)가 오픈소스로 공개한 멀티모달 사고 체인 추론 모델로, 2025년 3월 18일에 공식 발표되었습니다.

Skywork R1V는 세계 최초의 산업용 오픈소스 멀티모달 추론 모델로, 다단계 논리 추론을 통해 복잡한 시각 작업을 해결하는 데 주력합니다. 텍스트 추론 능력을 시각 작업으로 효율적으로 전환하여 시각과 텍스트 모달리티의 심층 융합을 실현했습니다. Skywork R1V는 이미지와 텍스트를 이해할 뿐만 아니라 다단계 논리 추론도 수행할 수 있으며, 특히 이미지를 기반으로 한 복잡한 문제 처리에 뛰어납니다.

Skywork R1V：昆仑万维开源的全球首个工业级开源多模态推理模型.jpg

Skywork R1V 기능 특징

시각 체인 추론: 복잡한 시각 작업에 대해 다단계 논리 추론을 수행하고 점진적으로 분석하여 결론을 도출합니다.
수학 및 과학 문제 해결: 이미지 속 수학 또는 과학 문제를 인식하고 추론 능력과 결합하여 단계별 해답을 제시합니다.
크로스 모달 융합: 시각 정보와 텍스트 정보를 심층 융합하여 의미 이해 능력을 향상시킵니다.
효율적인 추론 최적화: 적응형 길이 사고 체인 증류를 통해 추론 깊이를 동적으로 조정하여 컴퓨팅 자원을 절약하고 효율성을 높입니다.
강력한 추론 및 시각 이해 능력: 여러 벤치마크 테스트에서 뛰어난 성능을 보이며, 논리 추론과 시각 이해 능력 모두 높은 수준에 도달했습니다.

Skywork R1V 기술 원리

텍스트 추론 능력의 멀티모달 전환:Visual Projector(시사적 프로젝터)를 통해 언어 모델과 시각 인코더를 재학습하지 않고도 텍스트 추론 능력을 시각 작업으로 전환합니다.
멀티모달 하이브리드 학습(Iterative SFT + GRPO):Iterative SFT(반복 지도 미세 조정)와 GRPO(Group Relative Policy Optimization) 강화 학습을 결합하여 시각과 텍스트 표현을 단계별로 정렬하고, 크로스 모달 작업에서의 모델 성능을 향상시킵니다.
적응형 길이 사고 체인 증류:시각-텍스트 복잡도에 기반한 적응형 추론 체인 길이 제어 메커니즘을 도입하여 모델 추론 과정을 동적으로 최적화하고, "과도한 사고"를 방지하여 추론 효율과 품질을 향상시킵니다.
3단계 학습 방법:

초기 정렬: 경량 시각 어댑터(MLP)를 사용하여 시각 인코더와 언어 모델을 연결하고, 일반적인 멀티모달 데이터로 학습하여 시각과 언어 표현을初步 정렬합니다.
추론 능력 전환: 학습된 어댑터를 강력한 추론 언어 모델과 연결하여 시각 추론 모델을 형성하고, 모델에 초기 시각 추론 능력을 부여합니다.
정밀 정렬: 하이브리드 최적화 프레임워크(Iterative SFT + GRPO)를 기반으로 시각과 언어 모달리티를 더욱 정밀하게 정렬하여 멀티모달 추론 능력을 향상시킵니다.