DDColor : colorisation d'image réaliste grâce à un double décodeur 226

La colorisation d'images (Image Colorization) est une tâche classique de vision par ordinateur qui présente un énorme potentiel dans de nombreuses applications du monde réel, telles que la restauration de vieilles photos, le remastering de films et la création artistique, etc. À partir d'une image en niveaux de gris, la colorisation d'images vise à restaurer les deux canaux de couleur manquants. Ce problème comporte une incertitude multimodale, car un même objet peut avoir plusieurs couleurs plausibles. Par conséquent, la colorisation d'images a toujours été un problème difficile.

Avec l'arrivée de DDColor, le domaine de la colorisation d'images a connu une avancée transformative, une nouvelle méthode utilisant un double décodeur. DDColor est le tout dernier algorithme de colorisation d'images des grands modèles ModelScope : il suffit de lui fournir une image en noir et blanc pour qu'il renvoie une image en couleurs, capable de produire un résultat de colorisation naturel et vivant.

DDColor, développé par Xiaoyang Kang, Tao Yang, Wenqi Ouyang, Peiran Ren, Lingzhi Li et Xuansong Xie de l'Institut DAMO du groupe Alibaba, se distingue par sa capacité à produire des couleurs réalistes, en particulier dans les scènes complexes comportant de multiples objets et contextes variés.

DDColor utilise une technologie à double décodeur, capable de prendre en compte simultanément la distribution des couleurs et les informations détaillées au niveau des pixels, permettant d'obtenir une colorisation d'images hautement réaliste.

DDColor ne se contente pas de coloriser les anciennes photos en noir et blanc, il peut également appliquer un colorisation de style réaliste aux paysages d'animés ou de jeux vidéo. Il transforme les scènes d'animation en un style proche de la vie réelle.

DDColor utilise un double décodeur pour traiter les images :

L'un restaure la structure de l'image, l'autre détermine la couleur de chaque partie de l'image.

L'innovation de cette technologie réside dans le fait qu'elle ne dépend pas de règles définies manuellement comme les méthodes précédentes, mais qu'elle est capable d'apprendre par elle-même le contenu de l'image et de décider des couleurs appropriées.

Grâce à cette approche, DDColor peut coloriser plus précisément les images de scènes complexes, réduire les problèmes d'application incorrecte des couleurs et produire une image finale aux couleurs plus riches et plus naturelles.

Installation de DDColor :

Étape 1 : Configuration de l'environnement

Commencez par configurer l'environnement Python. Assurez-vous que PyTorch est installé, car l'implémentation du réseau neuronal de DDColor repose fortement sur ce framework.

Étape 2 : Préparation des données

Préparez les jeux de données pour l'entraînement et les tests. DDColor fonctionne avec des images en niveaux de gris et en couleurs. Pour l'entraînement, utilisez un jeu de données contenant des images variées afin de capturer différents espaces colorimétriques et scènes.

Étape 3 : Architecture du modèle

Définissez l'architecture de DDColor, comprenant le décodeur de pixels et le décodeur de couleurs. Assurez-vous que l'architecture de votre modèle est adaptée à la complexité de votre jeu de données.

Comment utiliser DDColor ?

Sur le framework ModelScope, il suffit de fournir une image en entrée pour utiliser le modèle de colorisation via un simple appel Pipeline.

En résumé, DDColor utilise des caractéristiques visuelles multi-échelles pour optimiser des marqueurs de couleurs apprenables (c'est-à-dire des requêtes de couleurs), et atteint des performances de pointe en matière de colorisation automatique d'images.

Article & code

Lien de l'article : https://arxiv.org/abs/2212.11613

Application ModelScope : https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

Code open source : https://github.com/piddnad/DDColor