Assistant scénario▸ 
Apps AI 
Actualités AI 
MagicColor : framework de coloration automatique de contours multi-instances basé sur des modèles de diffusion, développé par une équipe de HKUST
MagicColor : framework de coloration automatique de contours multi-instances basé sur des modèles de diffusion, développé par une équipe de HKUSTIntroduction
Qu'est-ce que MagicColor ?
MagicColor est un cadre de coloration d'esquisses multi-instances basé sur un modèle de diffusion, proposé par l'Université des Sciences et Technologies de Hong Kong (Guangzhou). L'utilisateur n'a qu'à télécharger une esquisse en noir et blanc ainsi que quelques images de référence ; le système réalise automatiquement en quelques secondes un remplissage de couleurs précis et naturel, tout en maintenant la cohérence entre les différentes instances. Par rapport aux méthodes traditionnelles, MagicColor offre une coloration en une seule étape, améliorant considérablement l'efficacité de conception.
Fonctionnalités clés de MagicColor
Coloration en un clic : l'utilisateur n'a qu'à fournir l'esquisse et les images de référence, le système se charge automatiquement de la coloration.
Traitement multi-instances : capable d'identifier et de distinguer automatiquement les différentes instances dans l'esquisse (par exemple plusieurs personnages) et d'attribuer une couleur appropriée à chacune.
Génération efficace : seulement quelques secondes entre le téléchargement et la génération du résultat, idéal pour les scénarios de création rapide.
Principe technique de MagicColor
Stratégie auto-entraînée : résout le problème du manque de données d'entraînement multi-instances.
Guideur d'instance : fournit les informations de couleur pour chaque instance.
Perte de contour et correspondance fine des couleurs : améliore la qualité visuelle et la précision de la correspondance des couleurs.
Scénarios d'application de MagicColor
Production d'anime : génère rapidement des images de personnages en couleur, améliorant l'efficacité de création.
Conception de personnages de jeu : produit efficacement des images de personnages conformes au style souhaité.
Illustrations publicitaires : génère rapidement des illustrations de haute qualité.
Avantages de MagicColor
Traitement des détails : excellentes performances dans le maintien de la netteté des contours de l'image et l'évitement de la confusion des couleurs.
Flexibilité : prend en charge les images de référence de divers styles, telles que des photos réelles, des captures d'écran d'anime, etc.
Génération rapide : seulement quelques secondes entre le téléchargement et la finalisation, permettant de gagner un temps considérable.
Installation et utilisation de MagicColor
I. Configuration de l'environnement
1. Créer un environnement Python :
conda create -n MagicColor python=3.10 pip install -r requirements.txt
2. Cloner le dépôt :
git clone https://github.com/YinHan-Zhang/MagicColor.git cd MagicColor
II. Préparation des données
Préparez le jeu de données au format suivant :
data/ ├── dir_name ├── masks/ ├── dir_name.jpg # Image d'esquisse ├── dir_name_1.jpg # Image de référence 1 ├── ...
Téléchargez les poids pré-entraînés (voir les instructions sur GitHub).
III. Inférence
Exécutez le script d'inférence :
cd scripts bash multi_ref_infer.sh
IV. Entraînement
Exécutez le script d'entraînement :
cd scripts bash multi_ref_train.sh
V. Interface interactive
Lancez l'application Gradio :
cd inference python gradio_app.py
MagicColor peut convertir automatiquement des esquisses en noir et blanc en images aux couleurs vives, prend en charge divers styles d'images de référence tels que des photos réelles, des captures d'écran d'anime, et prend en charge les formats PNG et JPG, améliorant considérablement l'efficacité de la conception d'anime et de la création de personnages de jeu.
