AniSora : un modèle avancé de génération vidéo d'anime en open source par Bilibili 171

AniSora (Index-AniSora) est un modèle de génération vidéo d'anime en open source proposé par Bilibili, surnommé le « cadeau open source au monde de l'anime ». C'est le modèle open source de génération vidéo d'anime le plus puissant à ce jour, optimisé spécifiquement pour la création de contenu anime.

#Ai工具箱 #Ai视频生成

Visiter AniSora : un modèle avancé de génération vidéo d'anime en open source par Bilibili

AniSora : un modèle avancé de génération vidéo d'anime en open source par BilibiliIntroduction

Qu'est-ce qu'AniSora ?

AniSora (nom complet Index-AniSora) est un modèle de génération de vidéo d'anime open source publié par Bilibili (站), surnommé « le cadeau open source dédié au monde de la二次元 ». C'est actuellement le modèle de génération vidéo d'anime open source le plus puissant, spécialement conçu pour la création de contenu d'anime.

Le projet a été officiellement publié et open source en mai 2025, sous licence Apache 2.0, utilisable gratuitement pour un usage personnel et commercial. AniSora a été reconnu par un article lors de la conférence académique internationale IJCai'25, représentant une nouvelle percée technologique dans la génération de vidéos d'anime.

8AniSora

Évolution des versions

V1.0 : Basé sur le modèle CogVideoX-5B, permet le contrôle de zones locales et le contrôle temporel

V2.0 : Passé au modèle Wan2.1-14B, avec des résultats de génération plus stables

V3.0 (publié en juillet 2025) : Meilleure qualité de génération et fluidité des mouvements, la version quantifiée permet l'inférence sur une seule carte 4090

Fonctionnalités principales d'AniSora

Génération vidéo multi-styles : capable de produire plus de 90 % des scénarios vidéo d'anime, y compris les séries动画, les animations 国创, les adaptations de mangas, le contenu VTuber, les PV d'animation, les 鬼畜 (MAD), etc.
Génération d'image à vidéo (I2V) : à partir d'une seule image, génère une animation cohérente en préservant les détails et le style du personnage
Interpolation d'images : à partir d'images clés, complète automatiquement les images intermédiaires pour des transitions plus fluides, réduisant ainsi le besoin de dessiner de nombreuses images intermédiaires
Contrôle par masque spatio-temporel : permet un contrôle précis du temps et de l'espace, comme fixer la première image, la dernière image, n'importe quelle image intermédiaire, ou animer uniquement des zones locales
Guidage multimodal : permet d'utiliser simultanément du texte, des images et des masques en entrée pour des scénarios complexes
Transfert de style : permet de convertir un style d'anime en un autre
Optimisation RLHF : entraîné avec apprentissage par renforcement et retour humain, utilisant 30 000 données annotées manuellement, pour des sorties plus conformes aux préférences humaines
Compatibilité matérielle : prise en charge native des GPU NVIDIA et des NPU Huawei Ascend 910B, inférence environ 20 % plus rapide

Cas d'utilisation d'AniSora

Création de contenu d'anime : production rapide de fragments de séries动画 et d'animations 国创 ; conversion de mangas en vidéo avec synchronisation labiale et mouvements automatiques ; création de bandes-annonces d'animation ou de courts-métrages d'animation
VTubers : génération en temps réel d'animations de personnages et d'arrière-plans pour embellir les diffusions en direct et les vidéos
Assistance à la production d'animation : aide les animateurs professionnels à compléter les images clés et à modifier des zones locales, évitant de dessiner les images intermédiaires et améliorant l'efficacité
Créations dérivées et 鬼畜 : prend en charge les créations de fans et les animations 鬼畜, ajoutant de la vitalité à l'univers 二次元
Jeux et éducation : création rapide de ressources d'animation pour les jeux ; production d'animations éducatives
Soutien aux créateurs indépendants : abaisse la barrière à l'entrée, permettant aux petites équipes de produire des animations de haute qualité à moindre coût

Comment utiliser AniSora

Méthode 1 : Déploiement local

1. Préparation de l'environnement : installer Python et un framework de deep learning (par exemple PyTorch) ; le matériel requis est un GPU NVIDIA (recommandé RTX 4090 ou supérieur) ou un NPU Huawei Ascend 910B
2. Obtention du modèle : cloner le dépôt GitHub (git clone https://github.com/bilibili/Index-anisora) ; télécharger les poids du modèle depuis Hugging Face (environ 8 Go)
3. Exécution de la génération : préparer une description textuelle ou une seule image en entrée ; ajuster les paramètres (durée de la vidéo, intensité du style, amplitude du mouvement, valeur de seed, etc.) ; lancer le script de génération et attendre le résultat (la V3 génère une vidéo de 4 secondes en environ 2,5 minutes)
4. Ajustement post-génération : utiliser les fonctions de contrôle fournies pour affiner le résultat

Méthode 2 : Plugin ComfyUI

Installer le plugin ComfyUI-WanVideoWrapper ; utiliser les workflows partagés par la communauté : 【Spécial anime】AniWantexte vers vidéo 1280 HD, 【Spécial anime】AniWanimage vers vidéo 1280 HD

Méthode 3 : Expérience en ligne

Visitez le site de démonstration officiel : www.anisora.ai

❓ Questions fréquentes

Q1 : En quoi AniSora diffère-t-il des modèles généralistes comme Sora ou Kling ?

R : Les modèles généralistes (comme OpenAI Sora, Kling) excellent dans les scènes naturelles et les vidéos de personnes réelles, mais ils sont limités face aux expressions exagérées et au rendu non réaliste typiques de l'anime. AniSora est spécifiquement optimisé pour l'anime, avec une meilleure cohérence des personnages, des mouvements plus naturels et une « saveur 二次元 » plus prononcée.

Q2 : Y a-t-il des limites de résolution et de durée pour les vidéos générées ?

R : La V3 prend en charge jusqu'à 1080p. La durée est ajustable, généralement pour du contenu court de 4-5 secondes, et peut être allongée grâce au contrôle temporel.

Q3 : Les exigences matérielles sont-elles élevées ?

R : La version quantifiée V3 fonctionne sur une seule carte RTX 4090. Une configuration à 4 cartes 4090 génère une vidéo de 5 secondes en 360p en 30 secondes ; une configuration à 8 cartes A800 ne prend que 8 secondes. Environ 15 % d'artefacts en moins par rapport à la V2.

Q4 : Comment obtenir le jeu de données d'entraînement ?

R : L'équipe a ouvert un canal de demande pour le jeu de données d'entraînement de haute qualité. Remplissez le formulaire de demande et envoyez-le à l'adresse e-mail spécifiée (par exemple [email protected]) pour obtenir l'accès aux poids V2.0 et au jeu de données complet.

Q5 : Quels styles d'anime sont pris en charge ?

R : Prend en charge l'anime japonais, les animations 国创, les adaptations de mangas, le contenu VTuber, les animations 鬼畜, etc., couvrant 90 % des scénarios vidéo d'anime.

Q6 : Que faire si les résultats de génération sont instables ?

R : Suggestions : utilisez une image claire pour la génération image-vers-vidéo ; rédigez des prompts textuels détaillés décrivant clairement les actions et les scènes ; ajustez la valeur de seed pour assurer la cohérence ; utilisez le guidage par première et dernière image pour contrôler le déroulement de la vidéo