CineMaster: framework de generación de texto a vídeo con conciencia 3D y control de Kuaishou 175

CineMaster es un nuevo marco de generación de texto a vídeo publicado recientemente por Kuaishou, desarrollado conjuntamente por la Universidad Tecnológica de Dalian, la Universidad China de Hong Kong y Kuaishou Technology. Es un nuevo marco de generación de texto a vídeo 3D con percepción y control tridimensional. CineMaster permite a los usuarios contar con una capacidad creativa comparable a la de un director de cine profesional, ya que posibilita colocar con precisión los objetos en la escena, manipular libremente tanto los objetos como la cámara en el espacio 3D y diseñar de forma intuitiva la composición de cada fotograma, por lo que se le conoce como la versión en vídeo de ControlNet.

CineMaster permite a los usuarios controlar con precisión la posición de los objetos y el movimiento de la cámara mediante diversas señales de control, optimizando la flexibilidad y precisión de la generación de vídeo.

En otras palabras, CineMaster permite a los usuarios introducir señales de control como mapas de profundidad, trayectorias de cámara y etiquetas de objetos, logrando plasmar mejor sus ideas creativas al generar vídeos. Es aplicable en campos como la producción de animación, el desarrollo de videojuegos y otros ámbitos que requieran un control preciso de los elementos visuales.

Principales funciones de CineMaster:

• Colocación precisa de objetos en la escena: los usuarios pueden ajustar libremente la posición de los objetos y el movimiento de la cámara en el espacio 3D, logrando una generación de vídeo con un alto nivel de control.

• Diseño intuitivo de la composición de cada fotograma: mediante una interfaz interactiva, los usuarios pueden previsualizar en tiempo real el resultado de la renderización y optimizar fotograma a fotograma.

• Generación de vídeo basada en señales condicionales: a partir de mapas de profundidad, trayectorias de cámara y etiquetas de categorías de objetos, se guía al modelo de difusión para generar contenidos de vídeo acordes con la intención de diseño del usuario.

• Introducción de un módulo de inyección de diseño semántico y un adaptador de cámara: garantizan que el contenido de vídeo generado sea coherente con la intención de diseño 3D del usuario tanto a nivel semántico como visual, y admiten movimientos de cámara complejos.

Aspectos destacados de CineMaster:

• Flujo de trabajo en dos etapas: la primera etapa construye señales de control con percepción 3D, y la segunda genera el vídeo basándose en dichas señales.

• Red de control de diseño semántico: combina la distribución espacial 3D con información semántica para controlar con precisión la posición de cada entidad.

• Adaptador de cámara: inyecta la pose de la cámara en el proceso de generación mediante conexiones residuales, lo que permite movimientos de cámara complejos.

Tecnología de CineMaster:

• Canalización automatizada de anotación de datos: incluye segmentación de instancias, estimación de profundidad, cálculo de nubes de puntos y cajas delimitadoras 3D, seguimiento de entidades y ajuste de cajas delimitadoras 3D.

• Experimentos y resultados: en tres escenarios típicos, CineMaster supera ampliamente a los métodos SOTA actuales, controlando con precisión tanto los objetos como el movimiento de la cámara.

Aplicaciones de CineMaster:

• Vídeo creativo: ayuda a los creadores a producir obras en vídeo más personalizadas.

• Publicidad y promoción: ofrece herramientas precisas e innovadoras para la producción de vídeos publicitarios.

• Educación y formación: mejora el atractivo de los contenidos educativos mediante modelos 3D y escenas animadas.

• Producción cinematográfica: proporciona nueva tecnología para la producción de contenidos audiovisuales.

CineMaster tiene un gran impacto en múltiples ámbitos como la creación de contenidos, la producción publicitaria, los efectos especiales cinematográficos y la educación en línea, permitiendo que incluso usuarios no profesionales puedan crear vídeos con efectos visuales de calidad cinematográfica.

Dirección del proyecto:https://cinemaster-dev.github.io/