DeepSeek veröffentlicht über Nacht neue multimodale KI-Modelle: Janus-Pro und JanusFlow 241

DeepSeek veröffentlichte Janus-Pro und JanusFlow, die einen bedeutenden Durchbruch im Bereich der multimodalen KI darstellen. Diese beiden Modelle wurden entwickelt, um die Fähigkeiten zum Bildverständnis und zur Bilderzeugung zu verbessern, und zeichnen sich insbesondere bei Aufgaben der Text-zu-Bild-Generierung aus.

Das Janus-Pro-Modell

Janus-Pro ist ein einheitliches Framework für multimodales Verständnis und Generierung. Seine Architektur verbessert durch die Entkopplung der visuellen Kodierung deutlich die Anpassungsfähigkeit und Leistung des Modells bei verschiedenen Aufgaben. Laut dem Bericht von DeepSeek schneidet Janus-Pro in mehreren Benchmark-Tests hervorragend ab, insbesondere bei der Text-zu-Bild-Generierung, wo es Genauigkeiten von 80 % und 84,2 % erreicht und damit Konkurrenten wie OpenAIs DALL-E 3 übertrifft.

Darüber hinaus legt das Design von Janus-Pro Wert auf Flexibilität und Effizienz und kann an verschiedene multimodale Szenarien wie visuelle Frage-Antwort-Systeme und Bildannotationen angepasst werden. Dies verleiht ihm ein breites Anwendungspotenzial, insbesondere in Bereichen, die hochwertige Bildgenerierung erfordern, wie Werbung, Spiele und künstlerische Gestaltung.

Das JanusFlow-Modell

Als Ergänzung zu Janus-Pro ist JanusFlow ein Framework, das Generative Flows mit autoregressiven Sprachmodellen vereint. Seine Designphilosophie zielt auf eine Vereinheitlichung von visuellem Verständnis und Generierung ab, ermöglicht eine starke Leistung bei Verständnisaufgaben und erzeugt gleichzeitig hochwertige Bilder. Die minimalistische Architektur von JanusFlow macht es sowohl im Training als auch bei der Inferenz effizienter und eignet sich damit für groß angelegte Anwendungen.

Technische Highlights und Innovationen

Janus-Pro:

• Entkopplung der visuellen Kodierung: Durch die Aufteilung des visuellen Kodierungsprozesses in unabhängige Pfade, die multimodales Verständnis und Generierungsaufgaben separat verarbeiten, wird der funktionale Konflikt gelöst, den herkömmliche visuelle Kodierer bei beiden Aufgabenarten haben. Dies verbessert deutlich die Anpassungsfähigkeit und Leistung des Modells.

• Einheitliche Transformer-Architektur: Es kommt eine einzige Transformer-Architektur zur Verarbeitung multimodaler Aufgaben zum Einsatz, was das Modelldesign vereinfacht und die Skalierbarkeit verbessert.

• Hohe Leistung: In den Benchmarks GenEval und DPG-Bench erreicht Janus-Pro-7B Genauigkeiten von 80 % bzw. 84,2 % und übertrifft damit OpenAIs DALL-E 3 und Stable Diffusion.

JanusFlow:

• Fusion von Generativem Flow und Sprachmodell: Durch die Kombination von Rectified Flow mit einem autoregressiven Sprachmodell realisiert JanusFlow ein minimalistisches, aber leistungsstarkes multimodales Framework, das ohne komplexe Modifikationen hochwertige Bilder erzeugen kann.

• Hohe Flexibilität und Skalierbarkeit: Unterstützt die Erweiterung um mehrere Aufgaben und ist damit eine ausgezeichnete Wahl als einheitliches multimodales Framework.

Leistungsmerkmale

Bildgenerierungsfähigkeit: Sowohl Janus-Pro als auch JanusFlow unterstützen die Bilderzeugung mit einer Auflösung von 384x384, bieten eine hohe Generierungsqualität und sind für verschiedene Anwendungsszenarien geeignet.

Multimodale Verständnisfähigkeit: Bei Aufgaben wie visueller Fragebeantwortung und Bildannotation übertreffen beide Modelle aufgaben­spezifische Modelle und zeigen eine starke Generalisierungsfähigkeit.

Benchmark-Ergebnisse: In den Tests GenEval und DPG-Bench schneidet Janus-Pro-7B deutlich besser ab als DALL-E 3 und Stable Diffusion und ist damit aktuell führend im multimodalen Bereich.

Die Veröffentlichung der Modelle Janus-Pro und JanusFlow ist nicht nur technisch innovativ, sondern zeigt auch deutliche Leistungsvorteile.