Wan 2.1 : modèle open-source de génération vidéo par Tongyi Wanxiang 260

L'équipe Tongyi Wanxiang a lancé Wan 2.1 (万相2.1), son tout dernier modèle de génération de vidéo, qui apporte des progrès considérables dans plusieurs aspects de la génération vidéo, notamment en termes de qualité vidéo, de représentation des mouvements complexes, de simulation des lois physiques et de génération de caractères chinois. En particulier, pour la génération de contenu en chinois, il s'agit du premier modèle vidéo capable de contrôler efficacement la génération d'effets spéciaux textuels en chinois, comblant ainsi les lacunes des modèles précédents dans le traitement du contenu chinois.

Fonctionnalités de Wan 2.1

• Restitution de mouvements complexes : Wan 2.1 est capable de restituer de manière stable toute une variété de mouvements corporels complexes des personnages, tels que les rotations, les sauts et les pirouettes, ce qui rend les vidéos plus vivantes et plus réalistes.

• Reproduction des lois physiques : Il peut reproduire de manière très réaliste les lois physiques du monde réel, ce qui rend les vidéos générées plus authentiques et plus conformes aux attentes.

• Génération vidéo de haute qualité : Les vidéos générées par ce modèle offrent un visuel plus réaliste et une meilleure qualité en termes de pixels. Le contenu généré respecte les règles physiques et l'exécution d'instructions complexes est plus précise.

• Traitement des mouvements complexes : Wan 2.1 est particulièrement performant dans le traitement des scènes de mouvements complexes, comme le patinage artistique, la natation ou le plongeon. Il permet de conserver des mouvements coordonnés et réalistes, avec une amélioration notable de la génération de mouvements corporels complexes.

• Support multilingue : Wan 2.1 est le premier modèle de génération vidéo prenant en charge simultanément les effets spéciaux textuels en chinois et en anglais, ce qui élargit considérablement son champ d'application dans le secteur créatif, comme la publicité ou la production de courtes vidéos, répondant aussi bien aux besoins nationaux qu'internationaux.

• Technologie de codage-décodage efficace : Il utilise un VAE (Variational Autoencoder) et une architecture DiT (une architecture d'apprentissage profond) développés en interne, grâce auxquels il devient possible de générer des vidéos 1080P de longueur illimitée, tout en améliorant l'efficacité et la qualité d'image.

Architecture technique de Wan 2.1

Wan 2.1 s'appuie sur un VAE (Variational Autoencoder) et une architecture DiT (Diffusion Transformer) développés en interne, ce qui lui confère une capacité nettement améliorée de modélisation des relations spatiotemporelles contextuelles. Le VAE découpe la vidéo en de nombreux blocs et met en cache les caractéristiques intermédiaires, permettant ainsi un codage-décodage efficace de vidéos 1080P extrêmement longues, et la génération de vidéos haute définition de longueur illimitée. Le DiT, grâce à un mécanisme d'attention globale spatio-temporelle et à un mécanisme de partage des paramètres, améliore significativement la qualité de génération et l'efficacité d'entraînement.

Le modèle Wan 2.1 prend également en charge la génération de vidéos de longueur illimitée. Il utilise le VAE pour découper la vidéo en plusieurs parties et mettre en cache les caractéristiques intermédiaires afin d'assurer un codage-décodage efficace, permettant ainsi la génération de vidéos en 1080P. Par ailleurs, sa qualité de génération et son efficacité d'entraînement sont nettement améliorées grâce au mécanisme d'attention globale spatio-temporelle et au mécanisme de partage des paramètres, ce qui rend le résultat généré plus fin et plus stable. De plus, lors du réglage des paramètres, les utilisateurs peuvent choisir parmi différents modes prédéfinis, comme le mode simple et le mode professionnel, afin de répondre à différents niveaux de création et besoins de projet.

Scénarios d'application de Wan 2.1

• Création de contenu : Pour les créateurs vidéo, Wan 2.1 est un outil très puissant qui les aide à produire des vidéos aux effets plus riches.

• Production publicitaire : Dans le domaine du marketing et de la publicité, il peut être utilisé pour créer des vidéos promotionnelles très attractives.

• Éducation et formation : Dans le secteur éducatif, il permet d'enrichir l'expérience d'apprentissage grâce à des vidéos de démonstration vivantes, améliorant ainsi l'efficacité de la transmission des informations.

Comment utiliser Wan 2.1

• Accéder à la plateforme : Rendez-vous sur http://tongyi.aliyun.com/wanxiang/, créez un compte puis connectez-vous.

• Choisir la fonctionnalité : Après vous être connecté, repérez la fonction de dessin par texte dans la barre de gauche de la plateforme et sélectionnez la fonctionnalité Wan 2.1. Vous y trouverez différentes options de génération.

• Saisir des invites (prompts) : Les utilisateurs peuvent saisir le thème ou les éléments vidéo qu'ils souhaitent générer, aussi bien en chinois qu'en anglais.

• Régler les paramètres : En fonction de leurs besoins, les utilisateurs peuvent ajuster les paramètres de génération vidéo, tels que la durée de la vidéo, le type d'effets spéciaux ou les actions des personnages.

• Génération et aperçu : Après soumission, le système génère la vidéo. Les utilisateurs peuvent la prévisualiser et, s'ils sont satisfaits, la télécharger ou la partager.

Adresse de démonstration :https://tongyi.aliyun.com/wanxiang/