Light-A-Video: ajusta la iluminación del vídeo sin reentrenamiento 157

Light-A-Video es una aplicación sencilla implementada sobre un modelo de reiluminación de imágenes fotograma a fotograma, cuyo objetivo principal es resolver los problemas de consistencia de la fuente de luz y de apariencia en la reiluminación. El objetivo de este proyecto es mejorar la naturalidad de los efectos de iluminación en los vídeos, haciendo que los fotogramas generados sean más coherentes en cuanto a fuente de luz y apariencia, y solucionando problemas a los que se enfrentan los métodos tradicionales de reiluminación de vídeo, como los altos costes de entrenamiento, la escasez de datos, la baja consistencia temporal y las limitaciones en sus campos de aplicación.

Características y funcionalidades de Light-A-Video:

Sin entrenamiento: Light-A-Video adopta un enfoque de aprendizaje no supervisado, sin necesidad de grandes conjuntos de datos ni de procesos de entrenamiento complejos.

Módulo CLA: Mediante un mecanismo de atención de doble flujo, combina los detalles de alta frecuencia del fotograma original con la iluminación de fondo estabilizada tras promediar entre fotogramas, garantizando la estabilidad de la fuente de luz y reduciendo el parpadeo.

Estrategia PLF: Esta estrategia fusiona progresivamente los efectos de reiluminación, asegurando la consistencia de la iluminación y una transición suave durante el proceso de eliminación de ruido del vídeo, evitando así los efectos antinaturales provocados por el procesamiento fotograma a fotograma.

Amplia compatibilidad: Este método es compatible con diversos modelos de generación de vídeo, como UNet y DiT, lo que demuestra su versatilidad en distintos escenarios de aplicación.

Consistencia de iluminación: Refuerza la consistencia de la iluminación en el vídeo mediante la introducción de dos módulos clave:

• Consistent Light Attention (CLA): mejora la interacción entre fotogramas dentro del mecanismo de auto-atención para garantizar la coherencia de la fuente de luz de fondo.

• Progressive Light Fusion (PLF): aprovecha el principio de independencia de la transmisión de la luz y utiliza una mezcla lineal para suavizar las transiciones de iluminación, garantizando la consistencia de la iluminación entre los fotogramas del vídeo.

Flujo técnico:

• Codificación y adición de ruido al vídeo: el vídeo de entrada se codifica en el espacio latente y se le añade ruido para preparar el procesamiento posterior.

• Reiluminación fotograma a fotograma: se utiliza un modelo de reiluminación de imágenes preentrenado para procesar cada fotograma.

• Aplicación del módulo CLA: mediante la mejora de la interacción entre fotogramas, se estabiliza el efecto de iluminación y se mantiene la coherencia entre los fotogramas del vídeo.

• Implementación de la estrategia PLF: los efectos de reiluminación se integran progresivamente en el proceso de eliminación de ruido del vídeo, garantizando una transición suave en el tiempo.

• Decodificación del vídeo: finalmente se genera el vídeo reiluminado, manteniendo una alta calidad y coherencia temporal.

Escenarios de aplicación de Light-A-Video:

Light-A-Video ofrece herramientas de ajuste de iluminación de vídeo más eficientes y flexibles principalmente para edición de vídeo, producción de efectos especiales cinematográficos, realidad virtual, publicidad y desarrollo de juegos:

• Reiluminación completa del vídeo: aplicable a la reiluminación de todo el vídeo.

• Reiluminación del primer plano del vídeo: combina la generación de fondo para reiluminar el primer plano del vídeo.

Light-A-Video ha sido desarrollado conjuntamente por investigadores de la Universidad de Jiao Tong de Shanghái, la Universidad de Ciencia y Tecnología de China, la Universidad China de Hong Kong, la Universidad de Ciencia y Tecnología de Hong Kong, la Universidad de Stanford y otras instituciones, y es el primer modelo de reiluminación de vídeo capaz de lograr alta calidad y coherencia temporal sin necesidad de entrenamiento previo.