Alibaba ouvre officiellement le code source de son modèle d'IA de génération vidéo Tongyi Wanxiang Wan2.1 247

小编 · 2025-02-26

Alibaba ouvre officiellement le code source de son modèle d'IA de génération vidéo Tongyi Wanxiang Wan2.1

Modèle IA de génération vidéo Tongyi Wanxiang Wan2.1.webp

Qu'est-ce que Wan2.1 ?

Wan2.1 (Tongyi Wanxiang 2.1) est un nouveau modèle de génération vidéo open source officiellement publié par Alibaba le 25 février 2025. Ce modèle IA est open source sous la licence Apache 2.0 et fournit le code d'inférence et les poids pour deux spécifications de paramètres, 14B et 1.3B, prenant en charge les tâches de texte vers vidéo et de image vers vidéo. Les performances ont été considérablement améliorées, surpassant plusieurs autres modèles avancés dans divers tests de référence, notamment Sora, HunyuanVideo, Minimax, Luma, Gen3, Pika et d'autres modèles de génération vidéo nationaux et internationaux.

Fonctionnalités de Wan2.1 :

Génération vidéo en chinois et en anglais :

Wan2.1 est le premier modèle vidéo capable de générer du texte en chinois et en anglais, avec une puissante capacité de génération de texte, capable de produire des textes et des animations dignes d'un film.
Prend en charge l'application de polices dans divers scénarios, y compris les polices à effets spéciaux, les polices d'affiches et l'affichage de polices dans des scènes réelles.

Prise en charge multi-tâches :

Fournit la génération texte-vers-vidéo (text-to-video) et image-vers-vidéo (image-to-video).
Prend en charge des tâches telles que le montage vidéo et la vidéo-vers-audio.
Génération texte-vers-image (T2I) : prend en charge la génération texte-vers-image.
Génération vidéo-vers-audio (V2A) : peut générer automatiquement un audio correspondant pour les vidéos.

Performances de haute qualité :

Basé sur une architecture combinant un auto-encodeur variationnel (VAE) hybride et un transformateur de diffusion (DiT), améliorant la modélisation temporelle et la compréhension des scènes.
Capable de générer simultanément des vidéos haute définition, des sous-titres dynamiques et un doublage multilingue, prenant en charge la résolution 1080p et un encodage/décodage efficace.

Prise en charge du matériel grand public :

La version 1.3B du modèle Wan2.1 ne nécessite que 8,19 Go de mémoire vidéo pour fonctionner, convient aux cartes graphiques RTX 4090, permettant ainsi à la création vidéo professionnelle d'entrer dans le domaine du matériel grand public.

Styles variés :

Prend en charge plusieurs styles artistiques, tels que le style cartoon, les couleurs cinématographiques, le style 3D, la peinture à l'huile, le style classique, etc.

Génération de vidéos longues :

Grâce à un mécanisme de mise en cache des caractéristiques, prend en charge la génération de vidéos 1080P de longueur illimitée.

Prise en charge multi-tâches.webp

Architecture principale

Auto-encodeur variationnel (VAE) hybride : utilisé pour l'encodage/décodage vidéo, prend en charge l'encodage/décodage sans perte de flux vidéo 1080P de n'importe quelle longueur, tout en préservant les informations temporelles.
Transformateur de diffusion (DiT) : basé sur une structure DiT vidéo, garantit une modélisation efficace des dépendances spatio-temporelles à long terme grâce au mécanisme Full Attention, permettant une génération vidéo spatio-temporellement cohérente.

Architecture principale.webp

Applications de Wan2.1 :

Production cinématographique : création rapide de scènes complexes et d'effets spéciaux, comme des mondes extraterrestres ou des scènes de guerre épiques dans les films de science-fiction, réduisant considérablement les coûts et le temps de production.
Marketing et publicité : création de vidéos publicitaires créatives et personnalisées en fonction des caractéristiques de la marque, augmentant la visibilité et l'attractivité de la marque.
Éducation et formation : réalisation de vidéos pédagogiques vivantes et de supports de cours animés, aidant les élèves à comprendre les connaissances de manière plus intuitive et enrichissant les ressources pédagogiques.
Jeux et divertissement : génération de scènes de jeu et d'animations de personnages réalistes, améliorant la qualité visuelle des jeux et l'immersion des joueurs.
Vidéos courtes et réseaux sociaux : production rapide de vidéos courtes de haute qualité, adaptées à la diffusion sur les réseaux sociaux, attirant facilement plus de spectateurs.
Création de personnages virtuels et d'animations : prend en charge la conception d'actions de personnages complexes et de scènes, applicable à la création de personnages virtuels pour les films, les publicités ou les jeux.

Méthodes de déploiement :

Expérience en ligne :

Fournit des services d'expérience en ligne via Hugging Face Spaces et ModelScope.
Accessible via l'application ou le site web Alibaba Tongyi Qianwen.

Déploiement local :

Des étapes détaillées de déploiement local sont fournies, applicables au modèle 1.3B.
Il est nécessaire de s'assurer que la version de torch est supérieure ou égale à 2.4.0 et d'installer les dépendances associées.
Utilisez Hugging Face CLI pour télécharger les poids du modèle et déployez via le framework Gradio.

Image cloud :

Il est recommandé d'utiliser la plateforme Runninghub pour expérimenter en ligne des applications IA et des workflows.
Les nouveaux utilisateurs inscrits bénéficient d'un quota gratuit et prennent en charge le déploiement d'images cloud.