Open-Sora 2.0 : un modèle SOTA de génération vidéo open source par Colossal-AI 210

Qu'est-ce qu'Open-Sora 2.0 ?

Open-Sora 2.0 est un modèle d'IA de génération de vidéo open-source SOTA nouvelle génération lancé par Luchen Technology. Il a permis d'entraîner avec seulement 200 000 dollars (224 GPU) un grand modèle commercial de génération vidéo de 11B paramètres, atteignant une qualité proche du SOTA (état de l'art), avec des performances directement comparables à HunyuanVideo et au Step-Video de 30B paramètres de Stepfun, approchant OpenAI Sora ! Open-Sora 2.0 offre un entraînement efficace et une inférence optimisée, capable de générer rapidement des vidéos fluides en résolution 720p, adaptées à la création vidéo créative, à la génération de contenu pour les réseaux sociaux et à d'autres domaines.

Fonctionnalités d'Open-Sora 2.0

Génération vidéo haute qualité : prend en charge la génération vidéo en haute résolution 720p et à 24 FPS fluides, capable de produire des vidéos riches en détails avec des transitions de scènes naturelles.

Amplitude de mouvement contrôlable : permet de régler l'amplitude du mouvement selon les besoins, afin de mieux restituer les actions subtiles des personnages ou des scènes.

Haute performance et faible coût :

• Open-Sora 2.0 utilise une architecture à 11B de paramètres, offrant des performances comparables, voire supérieures, aux principaux modèles fermés (tels que HunyuanVideo et le Step-Video de 30B paramètres de Stepfun), avec d'excellents résultats aux tests VBench et de préférence humaine.

• Coût d'entraînement considérablement réduit : seulement 200 000 dollars (224 GPU) sont nécessaires pour terminer l'entraînement, soit une réduction des coûts de 5 à 10 fois par rapport aux modèles traditionnels de génération vidéo haute performance, rivalisant avec OpenAI Sora.

Plusieurs modes de génération :

• Texte vers vidéo : prend en charge la génération directe de contenu vidéo à partir de descriptions textuelles.

• Image vers vidéo : combiné avec des modèles d'images open-source, permet de générer des vidéos à partir d'images.

Entraînement efficace et optimisation :

• Adopte un mécanisme de filtrage des données à plusieurs étapes et à plusieurs niveaux, garantissant des données d'entrée de haute qualité et améliorant l'efficacité de l'entraînement.

• Entraîne d'abord en basse résolution pour apprendre les caractéristiques dynamiques clés, puis augmente progressivement la résolution, réduisant considérablement la charge de calcul.

• Priorise l'entraînement de la tâche image-vers-vidéo, en utilisant les caractéristiques de l'image pour guider la génération vidéo et accélérer la convergence du modèle.

• Combine ColossalAI et des optimisations au niveau système pour améliorer l'utilisation des ressources de calcul.

• Introduit un autoencodeur vidéo à haut taux de compression, réduisant le temps d'inférence à moins de 3 minutes sur une seule carte et multipliant la vitesse d'inférence par 10.

Architecture de modèle puissante :

• Basée sur un autoencodeur 3D, un mécanisme d'attention complète 3D et l'architecture MMDiT, améliorant considérablement l'efficacité de l'entraînement et la vitesse d'inférence.

• Grâce à un mécanisme d'entraînement multi-seaux, permet l'entraînement simultané de vidéos de différentes longueurs et résolutions.

Avancées technologiques d'Open-Sora 2.0

• Architecture du modèle : adopte un mécanisme d'attention complète 3D et l'architecture MMDiT, renforçant la capacité de modélisation des caractéristiques spatio-temporelles ; basée sur l'extension du Diffusion Transformer (DiT), introduit des couches d'attention temporelle pour permettre la génération dynamique de séquences vidéo.

• Stratégie d'entraînement efficace : grâce à un mécanisme de filtrage à plusieurs niveaux garantissant des données d'entraînement de haute qualité, apprend d'abord les caractéristiques de mouvement, puis améliore la qualité de l'image via la tâche image-vers-vidéo (T2I2V), économisant 40 fois les ressources de calcul.

• Révolution de l'accélération de l'inférence : utilise un autoencodeur à haute compression (taux de compression 4×32×32), réduisant le temps de génération d'une vidéo de 768 px de 30 minutes à 3 minutes, soit une accélération de 10 fois.

Cas d'utilisation d'Open-Sora 2.0

• Production vidéo créative : peut être utilisé pour réaliser des courts métrages de science-fiction, des courts métrages d'animation, etc., répondant aux besoins de création vidéo et de génération de contenu créatifs.

• Génération de contenu pour les réseaux sociaux : capable de produire du contenu vidéo de haute qualité adapté au partage sur les réseaux sociaux.

• Production de vidéos de jeux : facilite la création de vidéos de jeux vidéo.

Dépôt GitHub open-source :https://github.com/hpcaitech/Open-Sora

Rapport technique :https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2_tech_report.pdf