Matrix-Zero: Kunlun Wanwei bringt Chinas erstes 3D-Weltmodell auf den Markt 198

Kunlun Wanwei stellte am 14. Februar 2025 das Matrix-Zero Weltmodell vor und wurde damit zum ersten Unternehmen in China, das gleichzeitig Modelle zur 3D-Szenengenerierung und zur Generierung interaktiver Videos auf den Markt brachte.

Dieses Weltmodell umfasst zwei Submodelle: ein 3D-Szenengenerierungsmodell, das vom Benutzer eingegebene Bilder in frei erkundbare, realistische 3D-Szenen umwandeln kann, globale Konsistenz aufweist, Bildeingaben in verschiedenen Stilen sowie Stilübertragungen unterstützt und dynamische physikalische Effekte erzeugen kann. Das andere ist ein interaktives Videogenerierungs-Großmodell, das die Echtzeiteingabe von Benutzern zur Erzeugung interaktiver Videoeffekte unterstützt und eine präzise Blickwinkelsteuerung bietet.

Funktionsmerkmale von Matrix-Zero

3D-Szenengenerierungs-Großmodell:

• Eingabeumwandlung: Wandelt vom Benutzer eingegebene Bilder in frei erkundbare, realistische und plausible 3D-Szenen um.

• Globale Konsistenz: Die generierte 3D-Szene bleibt bei einer 360-Grad-Rundumsicht konsistent, ohne Inkonsistenzen zwischen verschiedenen Perspektiven.

• Freie Erkundung: Unterstützt die Erkundung in beliebige Richtungen über lange Distanzen und große Bereiche innerhalb der Szene.

• Stilübertragung: Unterstützt Bildeingaben in verschiedenen Stilen und kann 3D-Szenen in unterschiedlichen Stilen erzeugen.

• Generierung dynamischer Szenen: Unterstützt die Erzeugung physikalischer Effekte wie Lichteffekte, dynamisches Spritzwasser sowie dynamische Wolken und Nebel.

Interaktives Videogenerierungs-Großmodell:

• Benutzereingabe als Antrieb: Erzeugt interaktive räumlich intelligente Videos, gesteuert durch Benutzereingaben.

• Präzise Steuerung: Verfügt über ein action model mit genauerer Steuerung, das Benutzern die Kontrolle von Blickwinkel und Aktionen über Tastatur und Maus ermöglicht.

• Flüssiges Erlebnis: Optimiert das Steuerungserlebnis durch einen Sliding-Window-Mechanismus, reduziert die Eingabeverzögerung und verbessert die Interaktionsflüssigkeit.

• Verarbeitung mehrerer Eingabetypen: Umfasst ein Modul zur diskreten Bewegungssteuerung, ein Modul zur kontinuierlichen Blickwinkelsteuerung sowie ein Modul zur 3D-Szenenpositionsverfolgung, um verschiedene Arten von Benutzereingaben zu verarbeiten.

Anwendungsszenarien von Matrix-Zero

• 3D-Spieleentwicklung: Bietet kontrollierbare und schnelle 3D-Szenenmodellierung und steigert die Effizienz der Spieleentwicklung.

• Film- und Videoproduktion: Unterstützt die Generierung von Szenen und Kameraeinstellungen für Filme/Kurzfilme und eröffnet mehr kreative Möglichkeiten.

• Embodied Intelligence: Ermöglicht den schnellen Aufbau von Simulationsszenen und steigert die Effizienz von Training und Anwendung in der Embodied Intelligence.

• Virtuelle Umgebungen und interaktive Anwendungen: Bietet immersive Erlebnisse und erweitert die Anwendungsszenarien in virtuellen Umgebungen und interaktiven Anwendungen.

• KI-Multimatrix-Produkte: Stärkt die Geschäftsbereiche des Unternehmens in der KI-Spielproduktion, der Produktion und Bearbeitung von KI-Kurzfilmen und mehr, um die Produktivität zu steigern.

Raumintelligenz ist der nächste Meilenstein der KI. Doch was ist Raumintelligenz? Laut der KI-Pionierin Fei-Fei Li geht Raumintelligenz über das bloße Sehen der Welt durch KI hinaus – sie umfasst das Verständnis der dreidimensionalen Welt durch KI sowie die Fähigkeit, mit ihr zu interagieren, um letztlich eine tiefe Interaktion mit der realen Welt zu ermöglichen.

Matrix-Zero wird voraussichtlich im April 2025 eingeführt und zunächst in den Geschäftsbereichen von Kunlun Wanwei für die KI-Spielproduktion und die Produktion von KI-Kurzfilmen eingesetzt.