Open-Sora 1.1 : améliorations majeures de la qualité et de la durée vidéo 206

Aujourd'hui, nous sommes heureux de lancer Open-Sora-Plan v1.1.0, qui améliore considérablement la qualité et la durée de génération de vidéo ainsi que les fonctionnalités de contrôle textuel.Par rapport à la version précédente Open-Sora-Plan v1.1.0, les améliorations sont les suivantes :

Meilleure représentation visuelle compressée :nous avons optimisé l'architecture CausalVideoVAE, qui offre désormais de meilleures performances et une efficacité d'inférence accrue.

Qualité de génération supérieure et durée plus longue :nous avons utilisé des données visuelles et des légendes de meilleure qualité, ainsi que la capacité de ShareGPT4Video à annoter de longues vidéos, ce qui nous permet de générer des vidéos de meilleure qualité et plus longues.

Outre les améliorations de performances, Open-Sora-Plan v1.1.0 conserve la conception minimaliste et l'efficacité en matière de données de la v1.0.0. Il est noteworthy que la v1.1.0 présente des performances similaires à celles du modèle de base Sora, ce qui suggère que l'évolution de notre version est conforme à la loi d'échelle démontrée par Sora.

Nous avons open-sourcé Open-Sora-Plan afin de favoriser le développement futur de la génération vidéo au sein de la communauté. Le code, les données et les modèles seront mis à disposition publiquement.

Démonstration : la démo Hugging Face est disponible ici.

Code : tous les scripts d'entraînement et scripts d'exemple.

Modèles : Diffusion Model et CasualVideoVAE sont disponibles ici.

Données : les vidéos brutes et les sous-titres sont disponibles ici.

GitHub : https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

Essai en ligne : https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0 est un système de diffusion texte-vers-vidéo basé sur transformer, entraîné avec des embeddings de texte basés sur T5.