PixelHacker : inpainting IA basé sur des modèles de diffusion pour la restauration d'images 71

Qu'est-ce que PixelHacker ?

PixelHacker est un outil d'inpainting d'images basé sur un modèle de diffusion, qui se concentre sur le maintien de la cohérence structurelle et sémantique des images pendant le processus d'inpainting. Il annote le premier plan et l'arrière-plan grâce à une méthode de guidage par catégories latentes, et utilise ces informations d'annotation pour guider le processus d'inpainting.

Caractéristiques principales de PixelHacker

• Puissante capacité d'inpainting de structures complexes : capable de capturer et de reconstruire avec précision les textures, formes et relations spatiales complexes dans les images.

• Cohérence sémantique : les images restaurées sont hautement cohérentes avec l'image originale en termes de couleurs, de caractéristiques d'objets et de structure logique.

• Jeu de données et pré-entraînement : pré-entraîné sur un grand jeu de données contenant 14 millions de paires image-masque, puis affiné sur des benchmarks open source.

• Large applicabilité : performances exceptionnelles sur les jeux de données Places2, CelebA-HQ et FFHQ.

Technologie principale de PixelHacker

• Guidage par catégories latentes (Latent Categories Guidance, LCG) : PixelHacker construit un grand jeu de données contenant 14 millions de paires image-masque et annote le premier plan et l'arrière-plan (116 catégories latentes pour le premier plan, 21 catégories latentes pour l'arrière-plan), guidant ainsi le modèle à se concentrer sur les informations structurelles et sémantiques de l'image pendant le processus d'inpainting.

• Mécanisme d'attention linéaire : le modèle encode respectivement les caractéristiques latentes du premier plan et de l'arrière-plan via deux vecteurs d'embedding de taille fixe, et injecte ces caractéristiques de manière intermittente dans le modèle pendant le processus de débruitage grâce à un mécanisme d'attention linéaire.

Architecture de PixelHacker

PixelHacker est basé sur une architecture de diffusion latente (Latent Diffusion Architecture). Il convertit l'image d'entrée dans l'espace latent via un encodeur, puis injecte les caractéristiques du premier plan et de l'arrière-plan pendant le processus de débruitage, et reconstruit finalement l'image restaurée via un décodeur.

Méthodologie et processus

• Construction du jeu de données : un jeu de données à grande échelle de paires image-masque est construit en annotant les catégories de premier plan et d'arrière-plan.

• Encodage des caractéristiques : utilisation de vecteurs d'embedding de taille fixe pour encoder respectivement le premier plan et l'arrière-plan.

• Processus de débruitage : pendant le processus de débruitage du modèle de diffusion, les caractéristiques du premier plan et de l'arrière-plan sont injectées dans le modèle via un mécanisme d'attention linéaire, favorisant des interactions multiples au niveau structurel et sémantique.

• Pré-entraînement et affinage : pré-entraînement sur le jeu de données auto-construit, puis affinage sur des jeux de données de référence open source, pour obtenir finalement le modèle PixelHacker.

Scénarios d'application de PixelHacker

• Inpainting d'images : suppression de publicités, comblement de rayures, réparation de zones endommagées.

• Édition d'images : remplacement d'arrière-plan, remplacement d'objets, tout en conservant un aspect naturel global.

• Création artistique : génération créative, transfert de style.

• Préservation du patrimoine culturel : restauration d'images de livres anciens, de fresques et d'autres éléments du patrimoine culturel.

• Traitement d'images médicales : suppression d'artefacts, amélioration des détails de l'image.

Liens du projet

Page officielle du projet : https://hustvl.github.io/PixelHacker/

Code GitHub : https://github.com/hustvl/PixelHacker

Lien vers l'article : https://arxiv.org/abs/2504.20438