HandRefiner : solution aux malformations des mains dans la génération d'images par IA 137

Résoudre le problème des malformations des mains dans la génération d'images par ia. Les modèles actuels de génération d'images sont déjà très performants en matière de génération d'images, mais ils rencontrent souvent des problèmes lorsqu'ils génèrent des images de mains humaines, comme un nombre incorrect de doigts ou une forme de main étrange.

Adresse du projet HandRefiner :https://github.com/wenquanlu/HandRefiner/

Adresse de l'article HandRefiner :https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

Téléchargement du modèle HandRefiner :https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner propose une méthode permettant de corriger les images de mains à la forme anormale, sans modifier les autres parties de l'image. Elle adopte une approche de修补 conditionnel pour corriger les mains déformées : elle est capable d'identifier la forme et le geste corrects de la main, puis de réappliquer ces informations correctes sur l'image d'origine contenant la main erronée.

Caractéristiques principales de HandRefiner :

- Précision : HandRefiner est capable d'identifier et de corriger avec précision les mains déformées dans les images générées, offrant ainsi une solution de post-traitement efficace.

- Cohérence préservée : tout en corrigeant la main, il maintient la cohérence du reste de l'image, sans affecter la qualité globale de l'image.

- Exploitation de données synthétiques : la recherche a mis en évidence un phénomène de transition de phase au sein de ControlNet, ce qui permet à HandRefiner d'exploiter efficacement des données synthétiques pour l'entraînement, sans être affecté par les différences de domaine entre les mains réelles et les mains synthétiques. Cela signifie que HandRefiner peut également apprendre une grande variété d'apparences de mains, de sorte que, quelle que soit la bizarrerie d'une main, il trouve toujours un moyen approprié pour la corriger.

- Polyvalence : bien que HandRefiner cible principalement les images de mains, ses principes et techniques de base peuvent s'appliquer à d'autres tâches de génération d'images nécessitant des corrections fines. Par exemple, cette méthode peut également être utilisée pour corriger d'autres parties, telles que les pieds ou les oreilles.

Principe de fonctionnement de HandRefiner :

1. Identification et reconstruction de la main : Identification du problème : tout d'abord, HandRefiner identifie les mains dont la forme est anormale dans l'image générée. Reconstruction de la main : à l'aide d'un modèle de reconstruction de maillage de main, HandRefiner redessine une main correcte telle qu'elle devrait être. Il est capable de reconstruire la forme correcte de la main et le bon geste. Cela est possible grâce aux données d'entraînement du modèle basées sur des mains normales, ce qui lui permet de produire des résultats de reconstruction raisonnables, même à partir d'images de mains déformées.

2. Inpainting conditionnel : Processus d'inpainting : HandRefiner utilise une méthode d'inpainting conditionnel pour traiter les mains problématiques identifiées. Il génère une carte de profondeur, qui contient des informations importantes sur la forme et la position de la main. Intégration et correction : cette carte de profondeur est ensuite utilisée comme guide et intégrée dans le modèle de diffusion via ControlNet. HandRefiner replace la main redessinée dans l'œuvre d'origine, en remplaçant la main mal dessinée, sans modifier les autres parties, préservant ainsi le style et le contenu de l'œuvre originale.