Matrix-Game: Kunlun Wanwei libera como open source un modelo fundacional interactivo de mundo 17B+ 85

小编 · 2025-05-14

Matrix-Game es un modelo fundacional interactivo de mundo con 17B+ parámetros, liberado oficialmente como open source por Kunlun Wanwei el 13 de mayo de 2025, y el primer modelo grande open source de inteligencia espacial con 10B+ de la industria.

Matrix-Game: Kunlun Wanwei libera como open source un modelo fundacional interactivo de mundo 17B+

¿Qué es Matrix-Game?

Matrix-Game es un modelo fundacional de mundo interactivo de 17B+ lanzado como código abierto por Kunlun Wanwei el 13 de mayo de 2025, y también es el primer modelo grande de inteligencia espacial de 10B+ de código abierto en la industria.

screenshot (8).webp

Características principales de Matrix-Game

Generación interactiva de mundos: Matrix-Game es un modelo fundacional de mundo interactivo orientado al modelado de mundos de juegos. Los usuarios pueden explorar, manipular e incluso crear mundos virtuales con detalles ricos y reglas físicas razonables mediante simples comandos de teclado, movimientos del ratón y otras operaciones.
Control de alta precisión: en cuanto al rendimiento de control, Matrix-Game puede lograr una precisión superior al 90%+ en acciones como "movimiento" y "ataque", manteniendo una respuesta de alta precisión incluso bajo un control de perspectiva de grano fino.
Capacidad de generalización multi-escenario: Matrix-Game lidera de forma integral en 8 escenarios típicos de Minecraft, demostrando una excelente adaptabilidad al entorno y capacidad de generalización, con potencial para generalizarse a entornos de juegos no basados en Minecraft.
Generación autorregresiva de vídeos largos: admite la generación autorregresiva de vídeos largos, logrando una conexión fluida entre acciones y perspectivas, garantizando la coherencia temporal y la adaptabilidad al entorno.
Evaluación sistemática: propone un estándar unificado llamado GameWorldScore, que cuantifica de forma integral el rendimiento del modelo desde cuatro dimensiones: calidad visual del vídeo, calidad temporal, controlabilidad de las acciones y comprensión de las reglas físicas.

Componentes principales

Conjunto de datos Matrix-Game-MC: un conjunto de datos de mundo interactivo a gran escala construido de forma independiente, que incluye vídeos de juegos Minecraft sin etiquetar a gran escala y datos de vídeos controlables de Minecraft y Unreal con señales de control de teclado y ratón, con anotaciones de acciones finas.
Modelo principal Matrix-Game: basado en tecnología avanzada de modelos de difusión, construye un marco de generación desde la imagen hasta el mundo, capaz de generar vídeos interactivos coherentes y controlables según la entrada del usuario.
Sistema de evaluación GameWorldScore: cuantifica de forma integral el rendimiento del modelo desde cuatro dimensiones (calidad visual del vídeo, calidad temporal, controlabilidad de las acciones y comprensión de las reglas físicas), llenando el vacío existente en la falta de un基准 de evaluación sistemática en este campo.

Principios técnicos de Matrix-Game

Estrategia de entrenamiento en dos fases: la primera fase utiliza datos de vídeo de juegos Minecraft sin etiquetar a gran escala para el preentrenamiento, permitiendo que el modelo aprenda las características básicas y las leyes dinámicas del entorno; la segunda fase utiliza datos de vídeos controlables de Minecraft y Unreal con señales de control de teclado y ratón para un entrenamiento controlable de grano fino, permitiendo que el modelo genere vídeos interactivos correspondientes según la entrada del usuario.
Modelado desde la imagen hasta el mundo: toma una única imagen de referencia como punto de partida para generar vídeos interactivos, sin depender de indicaciones de lenguaje, modelando la geometría espacial, el movimiento de objetos y sus interacciones físicas basándose en señales visuales.
Generación autorregresiva de vídeos: admite la extensión autorregresiva de la longitud de generación, utilizando los últimos fotogramas de cada fragmento de vídeo anterior como contexto de movimiento, generando segmento a segmento de forma progresiva para garantizar la coherencia temporal. Durante el entrenamiento se introducen perturbaciones aleatorias, eliminaciones aleatorias y la estrategia Classifier-free guidance para mitigar la deriva temporal y la acumulación de errores.
Diseño de interacción controlable: las acciones de teclado se representan mediante tokens discretos, los movimientos de perspectiva mediante tokens continuos, basados en el módulo de control GameFactory, integrado en la arquitectura multimodal Diffusion Transformer, utilizando la estrategia Classifier-free guidance para mejorar la capacidad de respuesta robusta a las señales de control.

Matrix-Game技术原理.jpg

Escenarios de aplicación de Matrix-Game

Construcción rápida de mundos de juegos virtuales: mediante la capacidad de generación controlable del modelo, se pueden crear mapas de juegos diversificados y estructurados de forma razonable, con bajo coste y alta eficiencia, mejorando la libertad en el diseño de niveles y la construcción de tareas.
Producción de contenidos para cine, televisión y metaverso: admite la síntesis de escenas dinámicas de alta fidelidad y coherentes con la física, proporcionando una base de modelado de mundo universal para el desarrollo de experiencias inmersivas y la generación de contenidos creativos.
Entrenamiento y generación de datos para agentes inteligentes embodied: aunque el modelo actual no se utiliza directamente para inteligencia embodied, Matrix-Game posee la capacidad de generar vídeos interactivos a gran escala, con potencial para extenderse al entrenamiento y evaluación de agentes inteligentes embodied, pudiendo crear entornos virtuales diversos y complejos para los agentes, ayudando a mejorar su capacidad de ejecución de tareas y razonamiento.

Ventajas del modelo Matrix-Game

Control de interacción del usuario de grano fino: admite múltiples operaciones detalladas, capaz de responder de forma precisa y natural según la entrada del usuario.
Alta fidelidad visual y coherencia física: los resultados generados son visualmente coherentes y siguen las leyes de la física.
Capacidad de generalización multi-escenario: tiene capacidad de generalización sobre múltiples escenarios de juegos Minecraft, y potencial para generalizarse a entornos de juegos no basados en Minecraft.
Sistema de evaluación sistemático: el estándar GameWorld Score proporciona un sólido soporte para la evaluación objetiva y la optimización continua del modelo.