Matrix-Game : Kunlun Wanwei open-source un modèle de fondation interactif 17B+ 86

小编 · 2025-05-14

Matrix-Game est un modèle de fondation interactif du monde à 17B+, officiellement passé en open source par Kunlun Wanwei le 13 mai 2025. C'est aussi le premier grand modèle d'intelligence spatiale open source à 10B+ dans l'industrie.

Matrix-Game : Kunlun Wanwei open-source un modèle de fondation interactif 17B+

Qu'est-ce que Matrix-Game ?

Matrix-Game est un modèle de base de monde interactif 17B+ officiellement open source par Kunlun Wanwei le 13 mai 2025, ainsi que le premier modèle de grande taille d'intelligence spatiale 10B+ open source dans l'industrie.

screenshot (8).webp

Caractéristiques principales de Matrix-Game

Génération de monde interactif : Matrix-Game est un modèle de base de monde interactif dédié à la modélisation de mondes de jeu. Les utilisateurs peuvent explorer, manipuler et même créer des mondes virtuels riches en détails et respectant des règles physiques cohérentes, simplement via des commandes clavier et des mouvements de souris.
Contrôle haute précision : en termes de contrôle, Matrix-Game atteint un taux de précision supérieur à 90 % pour des actions telles que « mouvement » et « attaque », et maintient une réponse haute précision même sous un contrôle de point de vue à granularité fine.
Capacité de généralisation multi-scènes : Matrix-Game surpasse tous les autres modèles dans 8 scènes Minecraft typiques, démontrant une excellente adaptabilité environnementale et une capacité de généralisation, avec un potentiel d'extension à des environnements de jeu non Minecraft.
Génération de vidéos longues autorégressives : prend en charge la génération de vidéos longues de manière autorégressive, permettant une transition fluide entre les actions et les points de vue, tout en garantissant la cohérence temporelle et l'adaptabilité environnementale.
Évaluation systématique : propose une norme unifiée GameWorldScore qui quantifie de manière exhaustive les performances du modèle selon quatre dimensions : qualité visuelle, qualité temporelle, contrôlabilité des actions et compréhension des règles physiques.

Composants principaux

Jeu de données Matrix-Game-MC : un jeu de données de monde interactif à grande échelle construit de manière autonome, contenant un grand volume de vidéos de jeu Minecraft non étiquetées ainsi que des données vidéo contrôlables de Minecraft et Unreal accompagnées de signaux de contrôle au clavier et à la souris, avec des annotations d'actions fines.
Modèle principal Matrix-Game : basé sur une technologie avancée de modèle de diffusion, construit un cadre génératif allant de l'image au monde, capable de générer des vidéos interactives cohérentes et contrôlables en fonction des entrées utilisateur.
Système d'évaluation GameWorldScore : quantifie de manière exhaustive les performances du modèle selon quatre dimensions (qualité visuelle, qualité temporelle, contrôlabilité des actions et compréhension des règles physiques), comblant le manque de référence d'évaluation systématique dans ce domaine.

Principe technique de Matrix-Game

Stratégie d'entraînement en deux phases : la première phase utilise un grand volume de vidéos de jeu Minecraft non étiquetées pour le pré-entraînement, permettant au modèle d'apprendre les caractéristiques fondamentales et la dynamique de l'environnement ; la seconde phase utilise des données vidéo contrôlables de Minecraft et Unreal accompagnées de signaux de contrôle au clavier et à la souris pour un entraînement contrôlable à granularité fine, permettant au modèle de générer des vidéos interactives correspondantes selon les entrées utilisateur.
Modélisation image-vers-monde : prend une image de référence unique comme point de départ pour générer la vidéo interactive, sans dépendre d'invites linguistiques, et modélise la géométrie spatiale, le mouvement des objets et leurs interactions physiques à partir de signaux visuels.
Génération vidéo autorégressive : prend en charge l'extension autorégressive de la durée de génération, en utilisant à chaque fois les dernières images du segment vidéo précédent comme contexte de mouvement, avec une génération progressive segment par segment assurant la cohérence temporelle. Des perturbations aléatoires, suppressions aléatoires ainsi qu'une stratégie Classifier-free guidance sont introduites pendant l'entraînement pour atténuer la dérive temporelle et l'accumulation d'erreurs.
Conception d'interaction contrôlable : les actions au clavier sont représentées par des tokens discrets, les mouvements de point de vue par des tokens continus, basés sur le module de contrôle GameFactory, intégrés dans une architecture multimodale Diffusion Transformer, avec une stratégie Classifier-free guidance pour renforcer la réponse robuste aux signaux de contrôle.

Matrix-Game技术原理.jpg

Scénarios d'application de Matrix-Game

Construction rapide de mondes de jeu virtuels : grâce à la capacité de génération contrôlée du modèle, il est possible de créer à faible coût et avec une grande efficacité des cartes de jeu diversifiées et structurellement raisonnables, ainsi que des environnements interactifs, améliorant la liberté de conception de niveaux et de construction de missions.
Production de contenu cinématographique et métavers : prend en charge la synthèse de scènes dynamiques haute fidélité et physiquement cohérentes, fournissant une base de modélisation universelle du monde pour le développement d'expériences immersives et la génération de contenu créatif.
Entraînement d'agents incarnés et génération de données : bien que le modèle actuel ne soit pas directement utilisé pour l'intelligence incarnée, Matrix-Game possède la capacité de générer des vidéos interactives à grande échelle et présente un potentiel d'extension à l'entraînement et à l'évaluation d'agents incarnés. Il peut créer des environnements virtuels diversifiés et complexes pour les agents, contribuant ainsi à améliorer leur exécution de tâches et leurs capacités de raisonnement.

Avantages du modèle Matrix-Game

Contrôle d'interaction utilisateur à granularité fine : prend en charge diverses opérations détaillées et répond avec précision et naturel aux entrées utilisateur.
Cohérence visuelle et physique haute fidélité : les résultats générés sont visuellement cohérents et respectent les lois physiques.
Capacité de généralisation multi-scènes : capacité de généralisation sur plusieurs scènes de jeu Minecraft, avec un potentiel d'extension à des environnements de jeu non Minecraft.
Système d'évaluation systématique : la norme GameWorld Score apporte un soutien solide à l'évaluation objective et à l'optimisation continue du modèle.