Tora: framework de generación de video con IA de Alibaba 140

Alibaba Tora vídeo es un framework de IA para generación de vídeo presentado por Alibaba, basado en la tecnología de transformadores de difusión guiada por trayectorias (DiT). Es capaz de fusionar condiciones de texto, visuales y de trayectoria para generar vídeos dinámicos de alta calidad y coherentes con el mundo físico.

Principales características y funcionalidades de Tora:

Generación de vídeo guiada por trayectorias: Tora puede generar vídeos a partir de trayectorias dadas, manteniendo la coherencia y precisión del movimiento. El Extractor de Trayectorias (Trajectory Extractor, TE) convierte las trayectorias de entrada en bloques de movimiento espacio-temporales jerárquicos que se corresponden con el espacio latente del contenido de vídeo.

Integración de entradas multimodales: Tora admite la entrada simultánea de condiciones de texto, imagen y trayectoria, lo que permite un control multidimensional del contenido de vídeo. Esto significa que los usuarios pueden generar vídeos a través de descripciones de texto, imágenes o rutas de movimiento de objetos.

Salida de vídeo en alta resolución: Tora puede generar vídeos de hasta 204 fotogramas en alta resolución 720p, garantizando la calidad del vídeo. Esto permite que los vídeos generados no solo tengan imágenes nítidas, sino también un movimiento fluido.

Simulación dinámica del mundo físico: los efectos de movimiento de los vídeos generados por Tora se acercan a las dinámicas físicas del mundo real, como los principios de gravedad y dinámica. A través del Transformador de Difusión Espacio-Temporal (Spatial-Temporal DiT), Tora puede procesar datos de vídeo, permitiendo al modelo comprender y producir vídeos con movimientos coherentes.

Creación de contenido flexible: Tora admite la generación de vídeos con diferentes duraciones, relaciones de aspecto y resoluciones, satisfaciendo diversas necesidades creativas. Ya sean vídeos cortos o largos, con relaciones de aspecto estándar o personalizadas, Tora puede adaptarse.

Fusionador de guía de movimiento (Motion-guidance Fuser, MGF): este componente se encarga de integrar los bloques de movimiento espacio-temporales generados por el Extractor de Trayectorias en el modelo DiT, asegurando que el contenido de vídeo generado siga las trayectorias y dinámicas predefinidas. El MGF integra los parches de movimiento en los bloques DiT a través de capas de normalización adaptativa, controlando con precisión la dinámica del contenido de vídeo.

Estrategia de entrenamiento en dos fases: para que Tora comprenda y genere mejor el movimiento, se lleva a cabo un proceso de entrenamiento en dos fases. Primero se entrena con flujo óptico denso y luego se ajusta con trayectorias dispersas, mejorando la flexibilidad y precisión del modelo en el control del movimiento.

Preprocesamiento de datos: antes del entrenamiento, Tora necesita procesar los datos de vídeo, por ejemplo, dividiendo los vídeos largos en fragmentos cortos según la detección de escenas, y luego seleccionando los fragmentos de vídeo adecuados para el entrenamiento según los resultados de puntuación estética y segmentación de movimiento.

Módulos funcionales principales de Tora

Extractor de Trayectorias (Trajectory Extractor, TE): convierte las trayectorias de entrada en bloques de movimiento espacio-temporales jerárquicos que se corresponden con el espacio latente del contenido de vídeo.

Transformador de Difusión Espacio-Temporal (Spatial-Temporal DiT): combina mecanismos de autoatención espaciales y temporales para procesar datos de vídeo, permitiendo al modelo comprender y generar vídeos con movimientos coherentes.

Fusionador de guía de movimiento (Motion-guidance Fuser, MGF): se encarga de integrar los bloques de movimiento espacio-temporales generados por el Extractor de Trayectorias en el modelo DiT, asegurando que el contenido de vídeo generado siga las trayectorias y dinámicas predefinidas.

Escenarios de aplicación de Tora:

Producción audiovisual: en la producción cinematográfica, Tora puede utilizarse para generar escenas de efectos especiales en películas, series o cortometrajes, generando imágenes dinámicas complejas mediante control de trayectorias, reduciendo los costes y el tiempo de rodaje real.

Creación de animaciones: generar automáticamente secuencias de animación a partir de guiones, proporcionando a los animadores bocetos dinámicos iniciales y acelerando el proceso creativo.

Realidad Virtual (VR) y Realidad Aumentada (AR): generar entornos dinámicos que interactúen con el usuario, proporcionando efectos visuales realistas para aplicaciones de VR y AR.

Desarrollo de videojuegos: generar rápidamente entornos de juego y animaciones de personajes, mejorando la eficiencia del diseño de juegos.

Métodos de acceso a Tora:

Sitio web oficial del proyecto Tora: https://ali-videoai.github.io/tora_video/

Repositorio de Tora en GitHub: https://github.com/ali-videoai/Tora

Artículo técnico de Tora en arXiv: https://arxiv.org/pdf/2407.21705

En general, la calidad de los vídeos generados por Tora es muy alta, capaz de generar vídeos en alta resolución de 10 a 60 segundos, con un rendimiento excelente en diferentes resoluciones y relaciones de aspecto. Los vídeos de Tora no solo son fluidos, sino que también pueden simular con detalle los movimientos del mundo físico. La función de control de trayectorias de Tora también ha recibido grandes elogios por parte de los usuarios.