Skywork R1V : le premier modèle de raisonnement multimodal open source de niveau industriel au monde, par Kunlun 199

Qu'est-ce que Skywork R1V ?

Skywork R1V est un modèle de raisonnement en chaîne de pensée multimodale open source développé par Kunlun Wanwei, officiellement publié le 18 mars 2025.

Skywork R1V est le premier modèle de raisonnement multimodal open source de niveau industriel au monde, conçu pour résoudre des tâches visuelles complexes grâce à un raisonnement logique en plusieurs étapes. Il transfère efficacement les capacités de raisonnement textuel vers les tâches visuelles, permettant une fusion approfondie des modalités visuelle et textuelle. Skywork R1V est non seulement capable de comprendre les images et le texte, mais peut également effectuer un raisonnement logique en plusieurs étapes, et excelle particulièrement dans le traitement de problèmes complexes basés sur des images.

Caractéristiques et fonctionnalités de Skywork R1V

• Raisonnement en chaîne visuelle : capable d'effectuer un raisonnement logique en plusieurs étapes sur des tâches visuelles complexes, en analysant progressivement et en parvenant à des conclusions.

• Résolution de problèmes mathématiques et scientifiques : peut identifier des problèmes mathématiques ou scientifiques dans les images et fournir des solutions étape par étape en combinant ses capacités de raisonnement.

• Fusion cross-modale : fusionne en profondeur les informations visuelles et textuelles pour améliorer la compréhension sémantique.

• Optimisation du raisonnement efficace : grâce à la distillation de chaîne de pensée à longueur adaptative, ajuste dynamiquement la profondeur du raisonnement, économisant les ressources de calcul et améliorant l'efficacité.

• Capacités puissantes de raisonnement et de compréhension visuelle : performances exceptionnelles dans plusieurs tests de référence, avec des capacités de raisonnement logique et de compréhension visuelle atteignant un niveau élevé.

Principes techniques de Skywork R1V

• Transfert multimodal des capacités de raisonnement textuel : grâce à un projecteur visuel (Visual Projector), les capacités de raisonnement textuel peuvent être transférées vers les tâches visuelles sans avoir à réentraîner le modèle de langage et l'encodeur visuel.

• Entraînement multimodal hybride (Iterative SFT + GRPO) : combine l'ajustement fin supervisé itératif (Iterative SFT) et l'apprentissage par renforcement par optimisation de politique relative de groupe (GRPO), alignant par phases les représentations visuelles et textuelles pour améliorer les performances du modèle dans les tâches cross-modales.

• Distillation de chaîne de pensée à longueur adaptative : introduit un mécanisme de contrôle de la longueur de la chaîne de raisonnement adaptatif basé sur la complexité visuelle-textuelle, optimisant dynamiquement le processus de raisonnement du modèle, évitant la « sur-réflexion » et améliorant l'efficacité et la qualité du raisonnement.

• Méthode d'entraînement en trois phases :

• Alignement initial : utilise un adaptateur visuel léger (MLP) pour connecter l'encodeur visuel et le modèle de langage, entraîné sur des données multimodales classiques pour un premier alignement des représentations visuelles et linguistiques.

• Transfert des capacités de raisonnement : connecte l'adaptateur entraîné à un modèle de langage à fortes capacités de raisonnement pour former un modèle de raisonnement visuel, conférant au modèle des capacités initiales de raisonnement visuel.

• Alignement précis : affine davantage l'alignement des modalités visuelle et linguistique sur la base du cadre d'optimisation hybride (Iterative SFT + GRPO) pour améliorer les capacités de raisonnement multimodal.

Performances de Skywork R1V

Capacités de raisonnement logique :

• Sur le test de référence MATH-500, Skywork R1V a obtenu un score élevé de 94,0.

• Sur le test de référence aiME 2024, le taux de réussite atteint 72,0 %.

• Sur le test de référence GPQA (General Physics Question Answering), le taux de réussite atteint 61,6 %.

Capacités de compréhension visuelle :

• Sur le test de référence MathVista (raisonnement mathématique visuel), le score est de 67,5.

• Sur le test de référence MMMU (Multimodal Medical Understanding), le score est de 69,0.

Scénarios d'application de Skywork R1V

• Soutien éducatif : aide les élèves à résoudre des problèmes de mathématiques, de physique et d'autres disciplines, en fournissant des étapes de résolution et des analyses.

• Analyse d'imagerie médicale : assiste les médecins dans l'analyse des images médicales, déduit les caractéristiques des lésions et fournit des suggestions de diagnostic.

• Assistance à la recherche scientifique : analyse les images expérimentales et la littérature, raisonne sur les phénomènes scientifiques et aide les chercheurs à valider les résultats.

• Création et modération de contenu : analyse les œuvres d'art, détecte les contenus non conformes, assiste dans l'appréciation artistique et la modération de contenu.

• Contrôle qualité industriel et analyse de marché : détecte les défauts des produits, analyse les publicités et les données de marché, assiste dans le contrôle qualité et la prise de décision commerciale.

Liens connexes

Dépôt GitHub :https://github.com/SkyworkAI/Skywork-R1V

Bibliothèque de modèles Hugging Face :https://huggingface.co/Skywork/Skywork-R1V

Article technique :https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork_R1V.pdf