Skywork R1V: el primer modelo de razonamiento multimodal industrial de código abierto del mundo, por Kunlun 197

¿Qué es Skywork R1V?

Skywork R1V es un modelo de razonamiento de cadena de pensamiento multimodal de código abierto desarrollado por Kunlun Wanwei, lanzado oficialmente el 18 de marzo de 2025.

Skywork R1V es el primer modelo de razonamiento multimodal de código abierto de nivel industrial del mundo, especializado en resolver tareas visuales complejas mediante razonamiento lógico de varios pasos. Transfiere de forma eficiente la capacidad de razonamiento textual a tareas visuales, logrando una profunda fusión entre las modalidades visual y textual. Skywork R1V no solo es capaz de comprender imágenes y texto, sino que también realiza razonamiento lógico de varios pasos, siendo especialmente hábil en el manejo de problemas complejos basados en imágenes.

Características y funcionalidades de Skywork R1V

• Razonamiento en cadena visual: permite realizar razonamiento lógico de varios pasos en tareas visuales complejas, analizando de forma progresiva y llegando a conclusiones.

• Resolución de problemas matemáticos y científicos: identifica problemas matemáticos o científicos en imágenes y, combinando la capacidad de razonamiento, ofrece soluciones paso a paso.

• Fusión cross-modal: fusiona de forma profunda la información visual y textual, mejorando la capacidad de comprensión semántica.

• Optimización del razonamiento eficiente: mediante la destilación de cadenas de pensamiento con longitud adaptativa, ajusta dinámicamente la profundidad del razonamiento, ahorrando recursos computacionales y mejorando la eficiencia.

• Gran capacidad de razonamiento y comprensión visual: destaca en múltiples pruebas de referencia, alcanzando altos niveles tanto en razonamiento lógico como en comprensión visual.

Principios técnicos de Skywork R1V

• Transferencia multimodal de la capacidad de razonamiento textual: mediante el proyector visual (Visual Projector), transfiere la capacidad de razonamiento textual a tareas visuales sin necesidad de reentrenar el modelo de lenguaje ni el codificador visual.

• Entrenamiento multimodal híbrido (Iterative SFT + GRPO): combina el ajuste fino supervisado iterativo (Iterative SFT) con el aprendizaje por refuerzo mediante la Optimización de Política Relativa de Grupo (GRPO), alineando por etapas las representaciones visuales y textuales para mejorar el rendimiento del modelo en tareas cross-modales.

• Destilación de cadenas de pensamiento con longitud adaptativa: introduce un mecanismo de control de longitud de la cadena de razonamiento basado en la complejidad visual-textual, optimizando dinámicamente el proceso de razonamiento del modelo, evitando el "pensamiento excesivo" y mejorando la eficiencia y la calidad del razonamiento.

• Método de entrenamiento en tres fases:

• Alineación inicial: se utiliza un adaptador visual ligero (MLP) para conectar el codificador visual y el modelo de lenguaje, entrenando con datos multimodales convencionales para alinear inicialmente las representaciones visuales y lingüísticas.

• Transferencia de la capacidad de razonamiento: el adaptador entrenado se conecta con un modelo de lenguaje de razonamiento potente, formando un modelo de razonamiento visual que dota al modelo de una capacidad inicial de razonamiento visual.

• Alineación precisa: basándose en el marco de optimización híbrido (Iterative SFT + GRPO), se alinean con mayor precisión las modalidades visual y lingüística, mejorando la capacidad de razonamiento multimodal.

Rendimiento de Skywork R1V

Capacidad de razonamiento lógico:

• En la prueba de referencia MATH-500, Skywork R1V obtuvo una alta puntuación de 94.0.

<

• En la prueba de referencia AIME 2024, alcanzó una tasa de aprobación del 72.0%.

• En la prueba de referencia GPQA (General Physics Question Answering), alcanzó una tasa de aprobación del 61.6%.

Capacidad de comprensión visual:

• En la prueba de referencia MathVista (razonamiento matemático visual), obtuvo una puntuación de 67.5.

• En la prueba de referencia MMMU (Multimodal Medical Understanding), obtuvo una puntuación de 69.0.

Escenarios de aplicación de Skywork R1V

• Tutoría educativa: ayuda a los estudiantes a resolver problemas de asignaturas como matemáticas y física, proporcionando pasos de resolución y análisis.

• Análisis de imágenes médicas: asiste a los médicos en el análisis de imágenes médicas, infiriendo características de lesiones y ofreciendo sugerencias de diagnóstico.

• Apoyo a la investigación científica: analiza imágenes experimentales y literatura, infiere fenómenos científicos y ayuda a los investigadores a verificar resultados.

• Creación y revisión de contenidos: analiza obras de arte, detecta contenido inapropiado y asiste en la apreciación artística y la moderación de contenidos.

• Control de calidad industrial y análisis de mercado: detecta defectos en productos, analiza datos publicitarios y de mercado, apoyando el control de calidad y la toma de decisiones empresariales.

Enlaces relacionados

Repositorio de GitHub:https://github.com/SkyworkAI/Skywork-R1V

Biblioteca de modelos en Hugging Face:https://huggingface.co/Skywork/Skywork-R1V

Artículo técnico:https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork_R1V.pdf