Matrix-Zero: Kunlun Wanwei lanza el primer modelo 3D del mundo en China 193

Kunlun Wanwei lanzó el modelo de mundo Matrix-Zero el 14 de febrero de 2025, convirtiéndose en la primera empresa nacional en presentar simultáneamente un modelo de generación de escenas 3D y un modelo de generación de vídeo interactivo.

Este modelo de mundo incluye dos submodelos: uno es un modelo de generación de escenas 3D, el cual puede transformar las imágenes introducidas por el usuario en escenas 3D reales que se pueden explorar libremente, con coherencia global, soporte para entradas de imágenes en diferentes estilos y transferencia de estilos, y es capaz de generar efectos físicos dinámicos. El otro es un modelo de generación de vídeo interactivo, que admite entradas en tiempo real del usuario para generar efectos de vídeo interactivos y ofrece un control preciso del ángulo de visión.

Características de Matrix-Zero

Modelo de generación de escenas 3D:

• Conversión de entrada: transforma las imágenes introducidas por el usuario en escenas 3D reales y razonables que se pueden explorar libremente.

• Coherencia global: la escena 3D generada se mantiene consistente al visualizarla en 360 grados, sin incoherencias entre el primer plano y el fondo.

• Exploración libre: admite exploración de larga distancia y en gran escala en cualquier dirección dentro de la escena.

• Transferencia de estilos: admite entradas de imágenes en diferentes estilos y puede generar escenas 3D en distintos estilos.

• Generación de escenas dinámicas: admite la generación de efectos físicos como efectos de iluminación, salpicaduras de agua dinámicas, nubes y niebla dinámicas, etc.

Modelo de generación de vídeo interactivo:

• Impulsado por la entrada del usuario: toma como núcleo la entrada del usuario para generar vídeos de inteligencia espacial interactivos.

• Control preciso: cuenta con un action model con un control más preciso, que admite el control del ángulo de visión y de las acciones mediante el teclado y el ratón.

• Experiencia fluida: optimiza la experiencia de control mediante un mecanismo de ventana deslizante, reduce la latencia de entrada y mejora la fluidez de la interacción.

• Procesamiento de entradas múltiples: incluye un módulo de control de movimiento discreto, un módulo de control de ángulo de visión continuo y un módulo de seguimiento de posición de escenas 3D, gestionando diferentes tipos de entradas del usuario.

Escenarios de aplicación de Matrix-Zero

• Desarrollo de juegos 3D: ofrece modelado de escenas 3D rápido y controlable, mejorando la eficiencia del desarrollo de juegos.

• Producción audiovisual: admite la generación de planos de escenas para películas/cortometrajes, ofreciendo más posibilidades creativas.

• Inteligencia encarnada: permite construir rápidamente escenas de simulación, mejorando la eficiencia del entrenamiento y la aplicación de la inteligencia encarnada.

• Entornos virtuales y aplicaciones interactivas: ofrece experiencias inmersivas, ampliando los escenarios de aplicación en entornos virtuales y aplicaciones interactivas.

• Productos de la IA multi-matriz: impulsa las líneas de negocio de la empresa en la producción de juegos con IA, la producción y edición de cortometrajes con IA, entre otras, mejorando la productividad.

La inteligencia espacial es el próximo hito de la IA. ¿Qué es la inteligencia espacial? Según la "madrina de la IA", Fei-Fei Li, la inteligencia espacial no consiste únicamente en que la IA vea el mundo, sino también en que lo comprenda en tres dimensiones y sea capaz de interactuar con él, logrando finalmente una interacción profunda con el mundo real.

Se espera que Matrix-Zero se lance en abril de 2025 y se aplique inicialmente a líneas de negocio de Kunlun Wanwei como la producción de juegos con IA y la producción de cortometrajes con IA.