Open-Sora 1.1: mejoras significativas en la calidad y duración del vídeo 200

Hoy, nos complace presentar Open-Sora-Plan v1.1.0, que mejora significativamente la calidad y duración de la generación de video, así como las funciones de control de texto.En comparación con la versión anterior de Open-Sora-Plan v1.1.0, se han realizado las siguientes mejoras:

Mejor representación visual comprimida: Hemos optimizado la arquitectura CausalVideoVAE, que ahora ofrece un rendimiento más sólido y una mayor eficiencia de inferencia.

Mayor calidad de generación y mayor duración: Hemos utilizado datos visuales de mayor calidad y subtítulos, junto con la capacidad de ShareGPT4Video para anotar videos largos, lo que nos permite generar videos de mayor calidad y mayor duración.

Además de las mejoras de rendimiento, Open-Sora-Plan v1.1.0 mantiene el diseño minimalista y la eficiencia de datos de la versión v1.0.0. Cabe destacar que hemos descubierto que v1.1.0 muestra un rendimiento similar al del modelo base de Sora, lo que indica que la evolución de nuestra versión es consistente con la ley de escalado demostrada por Sora.

Hemos publicado Open-Sora-Plan como código abierto para impulsar el desarrollo futuro de la generación de video en la comunidad. El código, los datos y los modelos estarán disponibles públicamente.

Demostración: La demostración de Hugging Face está aquí.

Código: Todos los scripts de entrenamiento y scripts de ejemplo.

Modelo: Modelo de Difusión y CasualVideoVAE aquí.

Datos: Videos y subtítulos originales aquí.

GitHub: https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

Experiencia en línea: https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0 es un sistema de difusión de texto a video basado en transformer, entrenado con incrustaciones de texto basadas en T5.