Skywork R1V: Das weltweit erste industrielle Open-Source-Multimodal-Reasoning-Modell von Kunlun 201

Was ist Skywork R1V?

Skywork R1V ist ein multimodales Chain-of-Thought-Reasoning-Modell, das von Kunlun Wanwei als Open Source veröffentlicht wurde und am 18. März 2025 offiziell vorgestellt wurde.

Skywork R1V ist das weltweit erste industrielle Open-Source-Multimodal-Reasoning-Modell und konzentriert sich darauf, komplexe visuelle Aufgaben durch mehrstufiges logisches Reasoning zu lösen. Es überträgt die Fähigkeit zum textbasierten Reasoning effizient auf visuelle Aufgaben und erreicht eine tiefgreifende Verschmelzung von visuellen und textuellen Modalitäten. Skywork R1V kann nicht nur Bilder und Texte verstehen, sondern auch mehrstufiges logisches Reasoning durchführen und ist besonders geschickt im Umgang mit komplexen bildbasierten Problemen.

Funktionsmerkmale von Skywork R1V

• Visuelles Chain-of-Thought-Reasoning: Kann mehrstufiges logisches Reasoning für komplexe visuelle Aufgaben durchführen und schrittweise analysieren sowie zu Schlussfolgerungen gelangen.

• Lösung mathematischer und wissenschaftlicher Probleme: Kann mathematische oder wissenschaftliche Probleme in Bildern erkennen und durch Reasoning schrittweise Lösungen liefern.

• Cross-modale Verschmelzung: Verschmilzt visuelle und textuelle Informationen tiefgreifend und verbessert die Fähigkeit zum semantischen Verständnis.

• Hocheffiziente Reasoning-Optimierung: Durch die Destillation adaptiver Chain-of-Thought-Längen wird die Reasoning-Tiefe dynamisch angepasst, wodurch Rechenressourcen gespart und die Effizienz gesteigert werden.

• Starke Reasoning- und visuelle Verständnisfähigkeiten: Schneidet in zahlreichen Benchmark-Tests hervorragend ab und erreicht sowohl beim logischen Reasoning als auch beim visuellen Verständnis ein hohes Niveau.

Technische Prinzipien von Skywork R1V

• Übertragung der textbasierten Reasoning-Fähigkeit auf multimodale Bereiche: Durch einen Visual Projector können die textbasierten Reasoning-Fähigkeiten auf visuelle Aufgaben übertragen werden, ohne dass das Sprachmodell und der visuelle Encoder neu trainiert werden müssen.

• Multimodales hybrides Training (Iterative SFT + GRPO): Kombiniert iteratives überwachtes Feintuning (Iterative SFT) und verstärkendes Lernen mit Group Relative Policy Optimization (GRPO), um visuelle und textuelle Repräsentationen phasenweise aufeinander abzustimmen und die Leistung des Modells bei cross-modalen Aufgaben zu verbessern.

• Destillation adaptiver Chain-of-Thought-Längen: Führt einen adaptiven Steuerungsmechanismus für die Länge der Reasoning-Kette ein, der auf der Komplexität von visuellen und textuellen Inhalten basiert, den Reasoning-Prozess des Modells dynamisch optimiert, „übermäßiges Nachdenken" vermeidet und die Reasoning-Effizienz sowie -Qualität steigert.

• Dreiphasiges Trainingsverfahren:

• Initiale Ausrichtung: Ein leichtgewichtiger visueller Adapter (MLP) wird verwendet, um den visuellen Encoder und das Sprachmodell zu verbinden. Das Training erfolgt auf herkömmlichen multimodalen Daten, um visuelle und sprachliche Repräsentationen vorläufig aufeinander abzustimmen.

• Übertragung der Reasoning-Fähigkeiten: Der trainierte Adapter wird mit einem starken Reasoning-Sprachmodell verbunden, um ein visuelles Reasoning-Modell zu bilden und dem Modell anfängliche visuelle Reasoning-Fähigkeiten zu verleihen.

• Präzise Ausrichtung: Basierend auf dem hybriden Optimierungsrahmen (Iterative SFT + GRPO) werden visuelle und sprachliche Modalitäten weiter präzise aufeinander abgestimmt, um die Fähigkeiten zum multimodalen Reasoning zu verbessern.

Leistung von Skywork R1V

Logische Reasoning-Fähigkeit:

• Im MATH-500-Benchmark-Test erreichte Skywork R1V eine hohe Punktzahl von 94,0.

• Im aiME-2024-Benchmark-Test betrug die Bestehensquote 72,0 %.

• Im GPQA-Benchmark-Test (General Physics Question Answering) betrug die Bestehensquote 61,6 %.

Fähigkeit zum visuellen Verständnis:

• Im MathVista-Benchmark-Test (visuelles mathematisches Reasoning) erzielte es eine Punktzahl von 67,5.

• Im MMMU-Benchmark-Test (Multimodal Medical Understanding) erzielte es eine Punktzahl von 69,0.

Anwendungsszenarien von Skywork R1V

• Bildungsunterstützung: Hilft Schülern beim Lösen von Problemen in Mathematik, Physik und anderen Fächern und bietet Lösungswege sowie Analysen.

• Analyse medizinischer Bilder: Unterstützt Ärzte bei der Analyse medizinischer Bilder, dem Reasoning zu Krankheitsmerkmalen und der Bereitstellung von Diagnosevorschlägen.

• Unterstützung wissenschaftlicher Forschung: Analysiert experimentelle Bilder und Literatur, leitet wissenschaftliche Phänomene ab und hilft Forschern, Ergebnisse zu verifizieren.

• Inhaltserstellung und -überprüfung: Analysiert Kunstwerke, erkennt regelwidrige Inhalte und unterstützt die künstlerische Wertschätzung sowie die Inhaltsüberprüfung.

• Industrielle Qualitätskontrolle und Marktanalyse: Erkennt Produktmängel, analysiert Werbe- und Marktdaten und unterstützt Qualitätskontrolle sowie geschäftliche Entscheidungen.

Verwandte Links

GitHub-Repository:https://github.com/SkyworkAI/Skywork-R1V

Hugging-Face-Modellbibliothek:https://huggingface.co/Skywork/Skywork-R1V

Technisches Paper:https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork_R1V.pdf