Tora : framework de génération vidéo par IA lancé par Alibaba 142

Alibaba Toravidéo est un cadre de génération de vidéos par IA lancé par Alibaba, basé sur la technologie du transformateur de diffusion guidé par trajectoire (DiT), capable de fusionner des conditions textuelles, visuelles et de trajectoire pour générer des vidéos dynamiques de haute qualité conformes au monde physique.

Principales caractéristiques de Tora :

Génération vidéo guidée par trajectoire : Tora est capable de générer des vidéos en fonction de trajectoires données, en maintenant la cohérence et la précision du mouvement. L'extracteur de trajectoire (Trajectory Extractor, TE) convertit les trajectoires saisies en blocs de mouvement spatio-temporel hiérarchisés, qui correspondent à l'espace latent du contenu vidéo.

Intégration d'entrées multimodales : Tora prend en charge la saisie simultanée de conditions textuelles, d'images et de trajectoires, permettant un contrôle multidimensionnel du contenu vidéo. Cela signifie que les utilisateurs peuvent générer des vidéos à partir de descriptions textuelles, d'images ou de trajectoires de mouvement d'objets.

Sortie vidéo haute résolution : Tora est capable de générer des vidéos allant jusqu'à 204 images en haute résolution 720p, garantissant la qualité vidéo. Les vidéos générées sont non seulement nettes, mais aussi fluides dans leurs mouvements.

Simulation dynamique du monde physique : les effets de mouvement des vidéos générées par Tora sont proches des dynamiques physiques du monde réel, telles que la gravité et la cinétique. Grâce au transformateur de diffusion spatio-temporelle (Spatial-Temporal DiT), Tora peut traiter des données vidéo, permettant au modèle de comprendre et de générer des vidéos aux mouvements cohérents.

Création de contenu flexible : Tora prend en charge la génération de vidéos de différentes durées, formats d'image et résolutions, répondant à des besoins de création variés. Qu'il s'agisse de vidéos courtes ou longues, de formats standards ou personnalisés, Tora peut s'adapter.

Fusionneur guidé par le mouvement (Motion-guidance Fuser, MGF) : ce composant est chargé d'intégrer les blocs de mouvement spatio-temporel générés par l'extracteur de trajectoire dans le modèle DiT, garantissant que le contenu vidéo généré suit les trajectoires et dynamiques prédéfinies. Le MGF intègre les patches de mouvement dans les blocs DiT via des couches de normalisation adaptative, contrôlant avec précision la dynamique du contenu vidéo.

Stratégie d'entraînement en deux phases : afin de permettre à Tora de mieux comprendre et générer du mouvement, un processus d'entraînement en deux phases est utilisé. Tout d'abord, un entraînement est effectué avec un flux optique dense, puis un ajustement fin est réalisé avec des trajectoires clairsemées, améliorant ainsi la flexibilité et la précision du contrôle du mouvement par le modèle.

Prétraitement des données : avant l'entraînement, Tora doit traiter les données vidéo, par exemple en segmentant les longues vidéos en courts fragments selon la détection de scènes, puis en sélectionnant les fragments adaptés à l'entraînement en fonction des scores esthétiques et des résultats de segmentation du mouvement.

Principaux modules fonctionnels de Tora

Extracteur de trajectoire (Trajectory Extractor, TE) : convertit les trajectoires saisies en blocs de mouvement spatio-temporel hiérarchisés, qui correspondent à l'espace latent du contenu vidéo.

Transformateur de diffusion spatio-temporelle (Spatial-Temporal DiT) : combine des mécanismes d'auto-attention spatiale et temporelle pour traiter les données vidéo, permettant au modèle de comprendre et de générer des vidéos aux mouvements cohérents.

Fusionneur guidé par le mouvement (Motion-guidance Fuser, MGF) : chargé d'intégrer les blocs de mouvement spatio-temporel générés par l'extracteur de trajectoire dans le modèle DiT, garantissant que le contenu vidéo généré suit les trajectoires et dynamiques prédéfinies.

Scénarios d'application de Tora :

Production cinématographique et télévisuelle : dans la production cinématographique et télévisuelle, Tora peut être utilisé pour générer des scènes d'effets spéciaux dans des films, séries ou courts-métrages, en contrôlant les trajectoires pour créer des images dynamiques complexes, réduisant ainsi les coûts et le temps de tournage réel.

Création d'animation : génère automatiquement des séquences d'animation à partir d'un scénario, fournissant aux animateurs des esquisses dynamiques préliminaires et accélérant le processus créatif.

Réalité virtuelle (VR) et réalité augmentée (AR) : génère des environnements dynamiques interactifs pour les utilisateurs, offrant des effets visuels réalistes pour les applications VR et AR.

Développement de jeux vidéo : génère rapidement des environnements de jeu et des animations de personnages, améliorant ainsi l'efficacité de la conception de jeux.

Méthodes d'accès à Tora :

Site officiel du projet Tora : https://ali-videoai.github.io/tora_video/

Dépôt GitHub de Tora : https://github.com/ali-videoai/Tora

Article technique arXiv de Tora : https://arxiv.org/pdf/2407.21705

Dans l'ensemble, la qualité des vidéos générées par Tora est très élevée. Il est capable de produire des vidéos haute résolution de 10 à 60 secondes, avec d'excellentes performances dans différentes résolutions et formats d'image. Les vidéos de Tora sont non seulement fluides, mais simulent également avec finesse les mouvements du monde physique. La fonction de contrôle par trajectoire de Tora a également été très bien accueillie par les utilisateurs.