SkyReels-A2 : modèle génératif assemblant des éléments visuels arbitraires en vidéo synthétique 137

Qu'est-ce que SkyReels-A2 ?

SkyReels-A2 est un cadre de génération de vidéo contrôlable développé conjointement par Skywork ai et Kunlun Wanwei, capable d'assembler divers éléments visuels (tels que des personnages, des objets, des arrière-plans, etc.) en une vidéo synthétique à partir d'invites textuelles. La vidéo est fluide et naturelle, avec une bonne cohérence de chaque élément.

Principales caractéristiques de SkyReels-A2

• Génération vidéo multi-éléments : permet de générer des vidéos de haute qualité et naturelles à partir de plusieurs images de référence et d'invites textuelles.

• Maintien strict de la cohérence : garantit que chaque élément de la vidéo générée (tel que les personnages, les objets, les arrière-plans) reste strictement cohérent avec les images de référence.

• Génération contrôlable : grâce aux invites textuelles et aux images de référence, les utilisateurs peuvent contrôler avec précision le contenu de la vidéo générée.

• Inférence efficace : optimise le processus d'inférence, améliorant la vitesse de génération et la stabilité des résultats.

Détails techniques de SkyReels-A2

• Modèle d'intégration conjointe image-texte : un nouveau modèle d'intégration conjointe image-texte a été conçu pour injecter des représentations multi-éléments dans le processus de génération, en équilibrant la cohérence spécifique aux éléments, la cohérence globale et l'alignement avec le texte.

• Conception du pipeline de données : un pipeline de données complet a été mis en place pour générer des triplets texte-référence-vidéo utilisés pour l'entraînement du modèle.

• Processus d'inférence optimisé : le processus d'inférence est optimisé grâce à diverses stratégies d'accélération (telles que Context Parallel, CFG Parallel et VAE Parallel), améliorant ainsi la vitesse de génération.

• 基准测试公开 : un基准 test soigneusement sélectionné, A2-Bench, a été introduit pour évaluer systématiquement les tâches d'élément à vidéo (E2V).

SkyReels-A2 Scénarios d'application

SkyReels-A2 offre de larges perspectives d'application dans le domaine créatif, telles que la création de courtes séries en IA, le commerce électronique virtuel, etc.

• Création de courtes séries en IA : les créateurs peuvent rapidement générer des courtes séries personnalisées.

• Publicité et promotion : les entreprises peuvent produire des publicités de courte durée à faible coût et de haute qualité.

• Commerce électronique virtuel : générer des vidéos de présentation de produits dynamiques.

• Développement de jeux : générer rapidement des animations d'intrigue de jeu ou des vidéos de présentation de personnages.

github项目：https://github.com/SkyworkAI/SkyReels-A2

huggingface：https://huggingface.co/Skywork/SkyReels-A2