LTX Video: modelo de IA de código abierto para generar vídeo en tiempo real de Lightricks 237

LTXV, abreviatura de LTX Video, es un modelo de generación de vídeo con IA de código abierto lanzado por la empresa de IA Lightricks. LTX-Video es el primer modelo de generación de vídeo basado en DiT, capaz de generar en tiempo real vídeos de alta resolución con contenido realista y diverso. El modelo LTXV, basado en una arquitectura DiT de 200 millones de parámetros, puede generar 5 segundos de vídeo de alta calidad en 4 segundos, superando la velocidad de reproducción. LTXV admite la generación de contenido de vídeo con una resolución de 768×512 píxeles y una velocidad de fotogramas de 24 fotogramas por segundo, garantizando una transición fluida entre fotogramas. El diseño de LTXV está optimizado para sistemas GPU y TPU, ofreciendo capacidades escalables de producción de vídeo largo, lo que representa el último avance en tecnología de generación de vídeo.

Ventajas de LTXV:

• Producción de vídeo largo escalable: capaz de generar vídeos ampliados de alta calidad con consistencia escalable, proporcionando mayor flexibilidad y control.

• Tiempos de procesamiento y renderizado más rápidos: LTXV está optimizado para sistemas GPU y TPU, lo que reduce significativamente el tiempo de generación de vídeo manteniendo una alta calidad visual.

• Consistencia de movimiento y estructura inigualable: el aprendizaje único de fotograma a fotograma de LTXV garantiza transiciones coherentes entre fotogramas, eliminando problemas como el parpadeo y las inconsistencias en la escena.

Características principales de LTXV:

• Capacidad de generación en tiempo real: LTXV puede generar vídeo a una velocidad superior a la de reproducción; concretamente, puede generar 5 segundos de vídeo de alta calidad con una resolución de 768x512 y 24 fotogramas por segundo (FPS) en solo 4 segundos.

• Salida de alta calidad: el modelo LTXV admite la generación de vídeo de alta resolución y alta velocidad de fotogramas, garantizando un contenido de vídeo nítido y vívido.

• Consistencia de movimiento: LTXV hace especial hincapié en la coherencia del movimiento entre fotogramas, lo que reduce eficazmente problemas como la deformación de objetos y la incoherencia del movimiento, haciendo que los vídeos generados sean más naturales.

• Código abierto y escalabilidad: como modelo de código abierto, LTXV permite a desarrolladores e investigadores acceder y modificar el código libremente para adaptarlo a diferentes necesidades de aplicación. Esta estrategia abierta fomenta la innovación y la colaboración.

• Compatibilidad de hardware: el modelo LTXV está optimizado para ejecutarse de forma eficiente en diversos hardware, destacando especialmente en las tarjetas gráficas NVIDIA de la serie RTX.

Arquitectura técnica de LTXV:

LTXV adopta una arquitectura avanzada de Transformer de difusión, que combina las ventajas de los modelos de difusión y los Transformers, generando contenido de vídeo de alta calidad mediante la simulación del proceso de ruido a datos. Además, utiliza un codificador de texto para convertir el texto de entrada en vectores semánticos que guían el proceso de generación de vídeo.

Escenarios de aplicación de LTXV:

LTXV no solo es adecuado para la producción rápida de contenido de vídeo, como la mejora de gráficos de juegos y la creación de anuncios de comercio electrónico. También puede ayudar a los creadores a producir rápidamente contenido de vídeo de alta calidad. Al integrar LTXV en los flujos de trabajo existentes, los creadores pueden satisfacer las demandas del mercado y experimentar con innovación de forma más eficaz.

El código fuente y el modelo de LTXV son de código abierto, y en plataformas como ComfyUI, LTXV ha obtenido rápidamente el apoyo de los aficionados relacionados.

Dirección del proyecto LTX-Video: https://github.com/Lightricks/LTX-Video

Integración de ComfyUI: https://github.com/Lightricks/ComfyUI-LTXVideo/

Noticias relacionadas:

Herramientas de IA para convertir imagen a vídeo

Herramientas de texto a vídeo