FlashVideo: framework de generación de vídeo en alta resolución de ByteDance 109

FlashVideo es un framework desarrollado conjuntamente por ByteDance y la Universidad de Hong Kong, diseñado específicamente para generar vídeos de alta resolución de forma rápida, siendo especialmente adecuado para la generación de texto a vídeo. El código de FlashVideo es de código abierto y está disponible en GitHub.

Características técnicas de FlashVideo

• Diseño de framework en dos fases: FlashVideo divide el proceso de generación de vídeo en dos fases, "prioridad de baja resolución" y "mejora de alta resolución". La primera fase utiliza un modelo de baja resolución (270p) con 5 mil millones de parámetros para generar rápidamente contenido de vídeo que se ajuste a la descripción textual, mientras que la segunda fase se encarga del aumento de resolución y la optimización de detalles, generando finalmente vídeos en alta definición 1080p.

• Tecnología Flow Matching: utiliza de forma innovadora la técnica de Flow Matching, que permite completar la generación de detalles en alta resolución en solo 4 pasos, lo que supone una aceleración significativa en comparación con los métodos tradicionales.

• Función de vista previa rápida: admite una función de vista previa rápida que permite a los usuarios obtener un resultado preliminar en 30 segundos antes de decidir si continúan con la generación del vídeo en alta resolución.

La tecnología de FlashVideo combina una arquitectura de modelo avanzada con algoritmos innovadores y, por primera vez, aplica con éxito la arquitectura RetNet a la generación de vídeo. Esto mejora enormemente la eficiencia y reduce la complejidad temporal de inferencia de O(L^2) a O(L), acortando el tiempo de procesamiento para secuencias de longitud L.

El framework también introduce un método de interpolación de fotogramas redundantes para optimizar la fluidez del vídeo, mejorando aún más la calidad del vídeo generado. Experimentos exhaustivos muestran que FlashVideo logra una mejora de eficiencia de 9,17 veces en comparación con los modelos autorregresivos tradicionales, y su velocidad de inferencia es comparable a la de los modelos tipo BERT, abriendo nuevas posibilidades para la síntesis de un gran número de escenas dinámicas y realistas.

Principales ventajas de FlashVideo:

• Velocidad de generación: los vídeos en 1080p se generan en solo 102 segundos, 4 veces más rápido que los métodos tradicionales

• Coste computacional: reduce el consumo de memoria de vídeo en un 90% en comparación con los modelos de una sola fase

• Calidad de generación: mantiene la coherencia de las acciones mediante un módulo temporal dinámico y admite una fluidez de 24 fotogramas por segundo

• Escenarios de aplicación: creación de vídeos cortos, previzualización cinematográfica, producción publicitaria y otros campos que requieren un prototipado rápido

Escenarios de aplicación de FlashVideo

Actualmente, FlashVideo no solo se aplica en la investigación académica, sino que también destaca en el ámbito comercial, especialmente en la producción de vídeos cortos:

• Publicidad online: FlashVideo se utiliza ampliamente en anuncios web para atraer a los usuarios mediante animaciones creativas y anuncios en vídeo. Por ejemplo, un caso clásico es el de un anuncio en Flash lanzado para un producto de una determinada marca, que utiliza efectos de animación vivos e historias para transmitir eficazmente la información del producto.

• Educación y formación: muchas plataformas de educación online utilizan FlashVideo para crear cursos educativos. Mediante la combinación de animación y vídeo, se pueden explicar conceptos complejos de forma más vívida. Por ejemplo, una institución educativa utiliza Flash para producir una serie de cursos animados que ayudan a los estudiantes a comprender mejor las matemáticas y las ciencias.

• Promoción corporativa: las empresas suelen crear FlashVideo para mejorar la imagen de marca en sus campañas promocionales. Por ejemplo, una gran empresa tecnológica mostró las características y escenarios de uso de sus productos mediante animaciones en Flash, lo que aumentó el reconocimiento de la marca e impulsó las ventas.

El código de FlashVideo se anunció como código abierto el 12 de febrero de 2025 y está disponible en GitHub:

GitHub:https://github.com/FoundationVision/FlashVideo

Dirección del proyecto:https://jshilong.github.io/flashvideo-page/