Open-Sora 2.0: un modelo SOTA de generación de video de código abierto de Colossal-AI 214

¿Qué es Open-Sora 2.0?

Open-Sora 2.0 es un nuevo modelo de IA de generación de vídeo de código abierto SOTA lanzado por Luchentech. Con solo 200.000 dólares (224 GPUs), ha entrenado con éxito un modelo de generación de vídeo de nivel comercial con 11B de parámetros, alcanzando una calidad cercana al SOTA (estado del arte), pero con un rendimiento comparable al de HunyuanVideo y Step-Video de 30B parámetros de Stepfun, ¡y acercándose al de OpenAI Sora! Open-Sora 2.0 cuenta con entrenamiento eficiente e inferencia optimizada, capaz de generar rápidamente vídeos fluidos a resolución 720p, siendo adecuado para la producción creativa de vídeo, la generación de contenido para redes sociales y otros campos.

Características de Open-Sora 2.0

Generación de vídeo de alta calidad: admite generación de vídeo a alta resolución 720p y 24 FPS fluidos, capaz de generar vídeos con detalles enriquecidos y transiciones de escena naturales.

Amplitud de movimiento controlable: la amplitud del movimiento se puede ajustar según las necesidades, para mostrar mejor las acciones sutiles de personajes o escenas.

Alto rendimiento y bajo coste:

• Open-Sora 2.0 adopta una escala de 11B parámetros, con un rendimiento comparable o incluso superior al de los principales modelos de código cerrado (como HunyuanVideo y Stepfun de 30B parámetros), destacando en VBench y en pruebas de preferencia humana.

• El coste de entrenamiento se reduce considerablemente, completándose con solo 200.000 dólares (224 GPUs), lo que supone una reducción de costes de 5 a 10 veces en comparación con los modelos tradicionales de generación de vídeo de alto rendimiento, comparable a OpenAI Sora.

Múltiples métodos de generación:

• Texto a vídeo: admite generar directamente contenido de vídeo a partir de descripciones de texto.

• Imagen a vídeo: combinado con un modelo de imagen de código abierto, genera vídeo a partir de imágenes.

Entrenamiento eficiente y optimización:

• Adopta un mecanismo de filtrado de datos por múltiples etapas y niveles para garantizar la entrada de datos de alta calidad y mejorar la eficiencia del entrenamiento.

• Prioriza el entrenamiento a baja resolución para aprender características dinámicas clave, aumentando gradualmente la resolución, lo que reduce significativamente el coste computacional.

• Prioriza el entrenamiento de tareas de imagen a vídeo, utilizando características de la imagen para guiar la generación de vídeo y acelerando la convergencia del modelo.

• Combina ColossalAI con optimizaciones a nivel de sistema para mejorar la utilización de los recursos computacionales.

• Introduce un autoencoder de vídeo con alta relación de compresión, reduciendo el tiempo de inferencia a menos de 3 minutos en una sola GPU y aumentando la velocidad de inferencia 10 veces.

Arquitectura de modelo potente:

• Basada en 3D autoencoder, mecanismo de atención completa 3D y arquitectura MMDiT, mejorando significativamente la eficiencia del entrenamiento y la velocidad de inferencia.

• Mediante un mecanismo de entrenamiento por múltiples buckets, permite entrenar simultáneamente con distintas longitudes y resoluciones de vídeo.

Avances técnicos de Open-Sora 2.0

• Arquitectura del modelo: adopta un mecanismo de atención completa 3D y la arquitectura MMDiT, mejorando la capacidad de modelado de características espaciotemporales; basada en la extensión del diffusion Transformer (DiT), introduce una capa de atención temporal para lograr la generación dinámica de secuencias de vídeo.

• Estrategia de entrenamiento eficiente: mediante un mecanismo de filtrado multinivel garantiza la entrada de datos de entrenamiento de alta calidad, prioriza el aprendizaje de características de movimiento y luego mejora la calidad de imagen a través de imagen a vídeo (T2I2V), ahorrando 40 veces los recursos computacionales.

• Revolución en la aceleración de la inferencia: adopta un autoencoder de alta compresión (relación de compresión 4×32×32), reduciendo el tiempo de generación de vídeo de 768px de 30 minutos a 3 minutos, una mejora de velocidad de 10 veces.

Escenarios de aplicación de Open-Sora 2.0

• Producción creativa de vídeo: se puede utilizar para crear cortometrajes de ciencia ficción, cortometrajes de animación, etc., satisfaciendo las necesidades de producción creativa de vídeo y generación de contenido.

• Generación de contenido para redes sociales: capaz de generar contenido de vídeo de alta calidad adecuado para compartir en redes sociales.

• Producción de vídeo para juegos: facilita la producción de vídeos de juegos.

Repositorio de código abierto en GitHub:https://github.com/hpcaitech/Open-Sora

Informe técnico:https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2_tech_report.pdf