Matrix-Game: Kunlun Wanwei open-sourcet interaktives Welt-Foundation-Modell mit 17B+ 81

小编 · 2025-05-14

Matrix-Game ist ein interaktives Welt-Foundation-Modell mit 17B+ Parametern, das Kunlun Wanwei am 13. Mai 2025 offiziell als Open Source veröffentlicht hat. Es ist zudem das erste Open-Source-Großmodell für räumliche Intelligenz mit 10B+ Parametern in der Branche.

Matrix-Game: Kunlun Wanwei open-sourcet interaktives Welt-Foundation-Modell mit 17B+

Was ist Matrix-Game?

Matrix-Game ist ein von Kunlun Wanwei am 13. Mai 2025 offiziell als Open-Source veröffentlichtes interaktives Weltfundamentmodell mit 17B+ Parametern und zugleich das erste in der Industrie als Open-Source verfügbare Rauminintelligenz-Großmodell mit 10B+ Parametern.

screenshot (8).webp

Kernmerkmale von Matrix-Game

Interaktive Weltgenerierung: Matrix-Game ist ein interaktives Weltfundamentmodell für die Modellierung von Spielwelten. Benutzer können über einfache Tastatureingaben, Mausbewegungen und weitere Aktionen virtuelle Welten, die reich an Details sind und physikalischen Regeln folgen, frei erkunden, steuern und sogar erschaffen.
Hochpräzise Steuerung: In Bezug auf die Steuerungsleistung erreicht Matrix-Game bei Aktionen wie „Bewegung" und „Angriff" eine Genauigkeit von über 90 % und behält auch bei feinkörniger Blickwinkelsteuerung eine hochpräzise Reaktion bei.
Multi-Szenario-Generalisierungsfähigkeit: Matrix-Game übertrifft in 8 typischen Minecraft-Szenarien durchweg alle Vergleichsmodelle und zeigt eine hervorragende Umweltanpassung sowie Generalisierungsfähigkeit, mit Potenzial zur Übertragung auf Nicht-Minecraft-Spielumgebungen.
Autoregressive lange Videogenerierung: Unterstützt eine autoregressive Generierung langer Videos, die eine nahtlose Verknüpfung zwischen Aktionen und Blickwinkeln ermöglicht und zeitliche Konsistenz sowie Umweltanpassungsfähigkeit sicherstellt.
Systematische Evaluierung: Es wird ein einheitlicher GameWorldScore-Standard vorgeschlagen, der die Modellleistung umfassend aus vier Dimensionen quantifiziert: visuelle Qualität, zeitliche Qualität, Aktionssteuerbarkeit und Verständnis physikalischer Regeln.

Kernkomponenten

Matrix-Game-MC-Datensatz: Ein selbst aufgebauter umfangreicher interaktiver Weltdatensatz, der großvolumige unbeschriftete Minecraft-Spielvideos sowie Minecraft- und Unreal-kontrollierbare Videodaten mit Tastatur- und Maussteuersignalen und feingranularen Aktionsannotationen enthält.
Matrix-Game-Hauptmodell: Basierend auf modernster Diffusionsmodell-Technologie wird ein generatives Framework „vom Bild zur Welt" aufgebaut, das in der Lage ist, auf Basis der Benutzereingaben kohärente und steuerbare interaktive Videos zu erzeugen.
GameWorldScore-Evaluierungssystem: Quantifiziert die Modellleistung umfassend aus vier Dimensionen – visuelle Qualität, zeitliche Qualität, Aktionssteuerbarkeit und Verständnis physikalischer Regeln – und schließt damit die Lücke eines fehlenden systematischen Evaluierungs-Benchmarks in diesem Bereich.

Technische Prinzipien von Matrix-Game

Zweistufige Trainingsstrategie: In der ersten Stufe werden großvolumige unbeschriftete Minecraft-Spielvideos zum Vortraining verwendet, damit das Modell die grundlegenden Merkmale und Dynamiken der Umgebung erlernt. In der zweiten Stufe erfolgt ein feinkörniges steuerbares Training mit Minecraft- und Unreal-Videodaten, die Tastatur- und Maussteuersignale enthalten, sodass das Modell entsprechend den Benutzereingaben passende interaktive Videos erzeugen kann.
Bild-zu-Welt-Modellierung: Ein einzelnes Referenzbild dient als Ausgangspunkt für die Generierung interaktiver Videos – ohne Abhängigkeit von sprachlichen Prompts, sondern basierend auf visuellen Signalen zur Modellierung räumlicher Geometrie, Objektbewegung und physikalischer Interaktionen.
Autoregressive Videogenerierung: Unterstützt die autoregressive Erweiterung der Generierungslänge. Dabei werden jeweils die letzten Frames des vorherigen Videoclips als Bewegungskontext verwendet, um segmentweise fortschreitend zu generieren und so zeitliche Kohärenz sicherzustellen. Während des Trainings werden Strategien wie zufällige Störungen, zufälliges Löschen und Classifier-free-Guidance eingeführt, um zeitliche Drift und Fehlerakkumulation zu mildern.
Steuerbares Interaktionsdesign: Tastaturaktionen werden durch diskrete Tokens ausgedrückt, Blickwinkelbewegungen durch kontinuierliche Tokens. Basierend auf dem GameFactory-Steuerungsmodul und einer multimodalen Diffusion-Transformer-Architektur wird die Classifier-free-Guidance-Strategie eingesetzt, um die robuste Reaktion auf Steuersignale zu verbessern.

Matrix-Game技术原理.jpg

Anwendungsszenarien von Matrix-Game

Schneller Aufbau virtueller Spielwelten: Durch die steuerbare Generierungsfähigkeit des Modells lassen sich vielfältige, strukturell sinnvolle Spielkarten und interaktive Umgebungen kostengünstig und effizient erstellen, wodurch die Freiheit beim Level-Design und bei der Aufgabenkonstruktion erhöht wird.
Produktion von Inhalten für Film/TV und Metaverse: Unterstützt die Synthese hochwertiger, physikalisch konsistenter dynamischer Szenen und bietet eine allgemeine Weltmodellierungsgrundlage für die Entwicklung immersiver Erlebnisse und die Generierung kreativer Inhalte.
Training und Datengenerierung für verkörperte Intelligenz: Obwohl das aktuelle Modell nicht direkt für verkörperte Intelligenz eingesetzt wird, verfügt Matrix-Game über die Fähigkeit, großvolumige interaktive Videos zu erzeugen, und besitzt das Potenzial, auf das Training und die Bewertung verkörperter Intelligenzagenten erweitert zu werden. So können für Agenten vielfältige, komplexe virtuelle Umgebungen geschaffen werden, die zur Verbesserung ihrer Aufgabenausführung und Schlussfolgerungsfähigkeit beitragen.

Modellvorteile von Matrix-Game

Feinkörnige Benutzerinteraktionssteuerung: Unterstützt eine Vielzahl detaillierter Aktionen und reagiert präzise und natürlich auf Benutzereingaben.
Hohe visuelle und physikalische Konsistenz: Die generierten Ergebnisse sind visuell kohärent und folgen physikalischen Gesetzmäßigkeiten.
Multi-Szenario-Generalisierungsfähigkeit: Generalisiert über verschiedene Minecraft-Szenarien hinweg und besitzt das Potenzial zur Übertragung auf Nicht-Minecraft-Spielumgebungen.
Systematisches Bewertungssystem: Der GameWorld Score-Standard bietet eine solide Grundlage für die objektive Evaluierung und kontinuierliche Optimierung des Modells.