VACE : modèle unifié de génération et d'édition vidéo de l'équipe Tongyi Wan d'Alibaba 186

Qu'est-ce que VACE ?

VACE (Video Creation and Editing) est un modèle unifié de génération et d'édition vidéo tout-en-un lancé par le laboratoire Tongyi d'Alibaba. Grâce à une architecture de modèle unifiée, il permet de réaliser plusieurs tâches de création et d'édition vidéo. Il peut générer des vidéos à partir d'un texte ou d'une image, mais aussi transformer le style, restaurer ou étendre des vidéos existantes. Il intègre de nombreuses fonctionnalités dans un seul modèle, ce qui le rend facile à utiliser et adapté à la création de vidéos créatives ou à la restauration de vieilles vidéos.

Fonctionnalités principales de VACE

Génération vidéo :

• Génération texte-vers-vidéo : génère des vidéos à partir d'invites textuelles.

• Génération référence-vers-vidéo : combine du texte et des images de référence pour générer des vidéos.

• Extension vidéo : génère de nouveaux débuts ou de nouvelles fins à partir de clips vidéo existants.

Édition vidéo :

• Édition vidéo-vers-vidéo : applique des transformations de style globales à la vidéo d'entrée (comme la colorisation ou la stylisation).

• Édition avec masque : édite des zones spécifiques, comme la réparation (Inpainting) ou l'extension (Outpainting).

• Suppression et reconstruction de sujet : supprime un sujet spécifique de la vidéo et remplit l'arrière-plan.

Combinaison de tâches :

• Prend en charge la combinaison flexible de plusieurs tâches, par exemple la génération par référence + le remplacement de sujet, ou le contrôle de la pose + l'extension vidéo.

Principes techniques de VACE

• Video Condition Unit (VCU) : intègre plusieurs entrées multimodales (texte, images, vidéos et masques) dans une unité de condition unifiée, permettant la combinaison flexible de différentes tâches.

• Structure Context Adapter : injecte les concepts de différentes tâches dans le modèle via une représentation formelle des dimensions temporelles et spatiales, lui permettant de s'adapter à divers besoins.

• Modèle de diffusion : construit sur la base d'un modèle de diffusion (comme le Diffusion Transformer), il génère du contenu vidéo de haute qualité par débruitage progressif.

Avantages de VACE

• Cadre unifié : intègre les tâches de génération et d'édition vidéo dans un seul modèle, réduisant la complexité liée au changement de tâche.

• Efficacité : atteint des performances comparables à celles des modèles spécialisés sur plusieurs tâches.

• Polyvalence : prend en charge de nombreuses combinaisons de tâches, offrant un plus large éventail de possibilités pour la création de contenu vidéo.

Cas d'utilisation de VACE

• Génération de vidéos créatives : crée rapidement des vidéos créatives (publicités, animations, etc.) à partir de texte ou d'images.

• Restauration et amélioration vidéo : restaure de vieilles vidéos, comble les parties manquantes ou améliore le style de la vidéo.

• Édition vidéo efficace : réalise des tâches d'édition complexes comme le remplacement de sujet ou l'ajout d'animations.

• Extension vidéo : génère de nouveaux segments pour allonger des vidéos courtes.

• Création vidéo interactive : génère des vidéos personnalisées à partir d'entrées utilisateur (comme la pose ou des croquis).

Ressources du projet

Site officiel du projet :https://ali-vilab.github.io/VACE-Page/

Dépôt GitHub :https://github.com/ali-vilab/VACE

Article scientifique :https://arxiv.org/pdf/2503.07598