HairFastGan : framework d'essayage virtuel de coiffures avec transfert capillaire quasi en temps réel 71

Qu'est-ce que HairFastGAN ?

HairFastGAN est un cadre d'essayage virtuel de coiffures permettant un transfert de coiffure quasi en temps réel à haute résolution. Il opère dans l'espace latent FS de StyleGAN, combiné à une méthode améliorée d'inpainting et à un encodeur perfectionné, ce qui lui permet de résoudre les problèmes d'alignement de coiffure, de transfert de couleur et de restauration des détails dans des poses complexes. Il est particulièrement performant dans les scénarios impliquant des coiffures élaborées et des différences de pose importantes.

Caractéristiques principales de HairFastGAN

• Haute efficacité : par rapport aux méthodes traditionnelles de transfert de coiffure basées sur l'optimisation, HairFastGAN adopte une architecture d'encodeur qui permet d'obtenir une sortie haute résolution tout en offrant des performances quasi en temps réel. Dans les scénarios les plus complexes de transfert de forme et de couleur de coiffure, la méthode s'exécute en moins d'une seconde sur un GPU Nvidia V100.

• Reconstruction haute qualité : le cadre HairFastGAN obtient un meilleur alignement, un meilleur transfert de couleur et un meilleur post-traitement en opérant dans l'espace latent FS de StyleGAN, grâce à une méthode d'inpainting améliorée et à un encodeur perfectionné, ce qui lui permet d'exceller dans le transfert aléatoire de coiffure et la reconstruction de la coiffure d'origine.

• Adaptabilité à la pose : les méthodes traditionnelles de transfert de coiffure sont peu performantes lorsque la pose source diffère fortement de la pose cible, tandis que HairFastGAN gère efficacement cette différence en tenant compte des informations de pose.

Méthode HairFastGAN

• Embedding (Incorporation) : incorporation de l'image d'entrée et de l'image de référence dans l'espace latent FS de StyleGAN, avec obtention simultanée des masques de segmentation.

• Alignment (Alignement) : transfert de la forme de la coiffure de l'image de référence vers l'image cible via le module de forme.

• Blending (Mélange) : transfert de la couleur de la coiffure de l'image de référence vers l'image cible en éditant l'espace S de l'image source.

• Post-Processing (Post-traitement) : restauration des détails perdus dans l'image d'origine, garantissant la préservation de l'identité du visage et le réalisme du résultat.

Scénarios d'application de HairFastGAN

• Industrie de la coiffure : essayage virtuel de coiffures, permettant aux clients de prévisualiser rapidement différents styles de coiffure et améliorant l'expérience de conception capillaire.

• Mode et beauté : utilisation dans les magazines de mode, la conception publicitaire et le stylisme personnel pour générer rapidement plusieurs propositions de coiffures.

• Divertissement et jeux : personnalisation de la coiffure des personnages dans les jeux, ou utilisation en tant que filtre en temps réel sur les réseaux sociaux.

• Rééducation médicale : aide aux patients ayant recours à une greffe de cheveux pour prévisualiser le résultat post-opératoire, ou accompagnement psychologique pour les patients souffrant de perte de cheveux.

Comment utiliser HairFastGAN

1. Installer les dépendances

Tout d'abord, assurez-vous que votre environnement dispose de Python et des bibliothèques nécessaires. Vous pouvez les installer avec les commandes suivantes :

pip install torch torchvision
pip install git+https://github.com/NVlabs/stylegan2-ada-pytorch.git

2. Cloner le code du projet

Clonez le code de HairFastGAN depuis GitHub :

git clone https://github.com/AIRI-Institute/HairFastGAN.git
cd HairFastGAN

3. Télécharger les modèles pré-entraînés

Téléchargez les fichiers des modèles pré-entraînés depuis Hugging Face ou via le lien fourni par le projet, puis placez-les dans le répertoire indiqué (par exemple models/).

4. Préparer les images d'entrée

• Photo d'entrée : une photo haute définition contenant un visage.

• Photo de référence : une photo de référence contenant la coiffure cible.

• Assurez-vous que la résolution et le format de la photo d'entrée et de la photo de référence répondent aux exigences.

5. Exécuter le code

Exécutez la commande suivante pour effectuer le transfert de coiffure :

python run.py --input <input_image_path> --ref <reference_image_path> --model <model_path>

<input_image_path> : chemin de la photo d'entrée.

<reference_image_path> : chemin de la photo de référence.

<model_path> : chemin du modèle pré-entraîné.

6. Consulter le résultat

Une fois l'exécution terminée, le résultat du transfert de coiffure sera enregistré dans le répertoire de sortie indiqué (par exemple output/).

Liens connexes

Projet GitHub :https://github.com/AIRI-Institute/HairFastGAN

Page du projet :https://airi-institute.github.io/HairFastGAN/

Essai en ligne :https://huggingface.co/spaces/AIRI-Institute/HairFastGAN

Modèle sur Hugging Face :https://huggingface.co/AIRI-Institute/HairFastGAN

Article scientifique :https://arxiv.org/abs/2404.01094