ToonComposer：腾讯推出的AI自动上色和生成动画工具 118

ToonComposer est un outil de génération d'animation lancé par Tencent. Il permet de fusionner les étapes d'« intercalage » et de « coloration » dans la production d'animation en une seule phase de « génération d'images clés finales », rendant ainsi le processus de production d'animation plus simple.

Fonctionnalités de ToonComposer

• Génération d'animations à partir de multiples types d'entrée : ToonComposer peut générer des animations à partir de texte, d'esquisses ou d'images. Par exemple, en saisissant « un chat en combinaison d'astronaute qui court après un papillon sur la Lune », il peut générer un script d'animation comprenant plusieurs plans.

• Affinement automatique des détails de l'animation : à partir d'esquisses d'images clés et d'images de référence en couleur fournies, il complète automatiquement les images intermédiaires et applique la coloration, pour finalement produire une vidéo d'animation cohérente.

• Conversion et personnalisation de styles : plus de 20 modèles de styles de dessins animés courants sont intégrés et peuvent être changés en un clic ; la personnalisation de styles est également prise en charge.

• Édition dynamique des plans : en faisant glisser les cartes de plans, il est possible de réorganiser l'ordre, de modifier les actions et les paramètres de caméra pour un montage intuitif.

• Fonction de contrôle par zone : il est possible de définir des zones vierges afin que le modèle génère un contenu pertinent à partir des autres parties de l'image, réduisant ainsi le travail de dessin manuel.

Avantages techniques

• Mécanisme d'injection d'esquisses稀疏 (sparse) : grâce au mappage par codage de position et à une technologie de résiduel sensible à la position, les esquisses稀疏 d'images clés sont intégrées avec précision dans le modèle, permettant un contrôle temporel fin.

• Adaptateur spatial de bas rang (SLRA) : ajustement de la représentation spatiale du modèle pour l'adapter au style cartoon, tout en préservant la cohérence temporelle, pour des mouvements générés plus naturels.

• Capacité de contrôle par zone : possibilité de définir des zones vierges pour que le modèle génère un contenu adapté au contexte, réduisant ainsi la quantité de dessin manuel.

Comment utiliser ToonComposer

Configuration matérielle et système requise : un GPU NVIDIA (avec au moins 16 Go de mémoire vidéo), Python 3.10 et PyTorch 2.6.0 sont nécessaires.

Étapes d'installation

git clone https://github.com/TencentARC/ToonComposer
cd ToonComposer
conda create -n tooncomposer python=3.10 -y
conda activate tooncomposer
pip install -r requirements.txt
pip install flash-attn==2.8.0.post2 --no-build-isolation

Lancement de l'interface

Commande de lancement : python app.py --device cuda:0 --resolution 480p , puis ouvrez http://localhost:7860 dans votre navigateur pour accéder à l'interface Gradio.

Utilisation de l'interface

• Invite textuelle : saisissez un texte décrivant le contenu de l'animation, par exemple « A girl with long hair waves her hand. ».

• Image de référence en couleur : téléchargez une image en couleur de 480×480 ou 608×608, généralement placée à la frame 0.

• Esquisses d'images clés : sélectionnez le numéro de frame sur la timeline, puis téléchargez le dessin au trait correspondant ; au moins une esquisse est requise.

• Masque de zone (facultatif) : utilisez le pinceau noir pour noircir les zones sur le dessin au trait et laissez le modèle générer automatiquement le contenu de ces zones.

• Réglages avancés : vous pouvez ajuster la force du prompt (CFG Scale) et la force du contrôle du dessin au trait (Position-aware Residual Scale).

• Générer l'animation : cliquez sur « Generate », attendez que la barre de progression soit terminée, puis vous pourrez lire et télécharger l'animation générée.

Avantages et résultats

• Réduction du travail manuel : diminution significative de la charge de travail manuel pour les étapes d'intercalage et de coloration dans la production d'animation.

• Génération de haute qualité : dans plusieurs tests, ToonComposer surpasse les méthodes existantes en termes de qualité visuelle, de cohérence du mouvement et d'efficacité de production.

• Grande flexibilité : prise en charge de l'insertion de plusieurs dessins au trait d'images clés à n'importe quel instant, permettant un contrôle plus fin des mouvements.

Cas d'utilisation

• Production d'animation

• Dessins animés traditionnels : génération rapide des images intermédiaires et de la coloration, réduisant le travail manuel et améliorant l'efficacité de production.

• Animation en ligne et en direct : prise en charge de la génération en temps réel, adaptée à la production de cartoons en ligne et aux scénarios d'animation en direct.

• Animation 3D : exploration des possibilités d'application dans la production d'animation 3D.

• Domaine éducatif : permet de créer des animations éducatives vivantes, aidant les élèves à comprendre plus intuitivement des notions complexes.

• Marketing et publicité : génération rapide de premières versions d'idées d'animation pour la production publicitaire.

• Développement de jeux : peut accompagner le développement de jeux en générant rapidement des animations de personnages et de scènes pour la conception de prototypes.

GitHub :https://github.com/TencentARC/ToonComposer