HairFastGan: framework de prueba virtual de peinados con transferencia de cabello casi en tiempo real 68

小编 ·

HairFastGan: framework de prueba virtual de peinados con transferencia de cabello casi en tiempo real

HairFastGAN es un framework de prueba virtual de peinados que logra transferencia de cabello casi en tiempo real en alta resolución. Al operar en el espacio latente FS de StyleGAN y combinar métodos mejorados de inpainting con encoders perfeccionados, aborda desafíos de alineación del cabello, transferencia de color y restauración de detalles en poses complejas, destacando en peinados intricados y grandes variaciones de pose.

HairFastGan: framework de prueba virtual de peinados con transferencia de cabello casi en tiempo real

¿Qué es HairFastGAN?

HairFastGAN es un marco de prueba virtual de peinados que permite la transferencia de peinados casi en tiempo real y en alta resolución. Al operar en el espacio latente FS de StyleGAN, combinado con un método de inpainting mejorado y un codificador optimizado, resuelve problemas de alineación del peinado, transferencia de color e inpainting de detalles en posturas complejas, siendo especialmente eficaz en escenarios con peinados complejos y grandes diferencias de postura.

Características principales de HairFastGAN

  • Alta eficiencia: en comparación con los métodos tradicionales de transferencia de peinados basados en procesos de optimización, HairFastGAN adopta una arquitectura de codificador que, manteniendo una salida en alta resolución, logra un rendimiento casi en tiempo real. En los escenarios más complejos de transferencia de forma y color del peinado, el método se ejecuta en menos de un segundo en una GPU Nvidia V100.

  • Reconstrucción de alta calidad: el marco HairFastGAN opera en el espacio latente FS de StyleGAN, emplea un método de inpainting mejorado y un codificador optimizado, logrando una mejor alineación, transferencia de color y posprocesamiento, con resultados sobresalientes tanto en la transferencia aleatoria de peinados como en la reconstrucción del peinado original.

  • Adaptabilidad a la postura: los métodos tradicionales de transferencia de peinados tienen un rendimiento deficiente cuando hay grandes diferencias entre la postura de origen y la de destino. En cambio, HairFastGAN tiene en cuenta la información de la postura y maneja eficazmente estas diferencias.

Características principales de HairFastGAN.jpg

Método de HairFastGAN

  • Embedding (Incrustación): incrusta la imagen de entrada y la imagen de referencia en el espacio latente FS de StyleGAN, obteniendo al mismo tiempo máscaras de segmentación.

  • Alignment (Alineación): transfiere la forma del peinado de la imagen de referencia a la imagen objetivo mediante el módulo de forma.

  • Blending (Mezcla): transfiere el color del peinado de la imagen de referencia a la imagen objetivo editando el espacio S de la imagen de origen.

  • Post-Processing (Posprocesamiento): restaura los detalles perdidos en la imagen original, garantizando la preservación de la identidad facial y la autenticidad del resultado.

Método de HairFastGAN.webp

Casos de uso de HairFastGAN

  • Industria de peluquería: prueba virtual de peinados que ayuda a los clientes a previsualizar rápidamente diferentes estilos, mejorando la experiencia de diseño capilar.

  • Moda y belleza: utilizado en revistas de moda, diseño publicitario y diseño de imagen personal, generando rápidamente múltiples propuestas de peinado.

  • Entretenimiento y videojuegos: permite personalizar el peinado de los personajes en juegos o usarse como filtro en redes sociales para probar peinados en tiempo real.

  • Rehabilitación médica: ayuda a pacientes de implantes capilares a previsualizar los resultados posoperatorios, o sirve como apoyo psicológico para pacientes con alopecia.

Cómo usar HairFastGAN

1. Instalación de dependencias

En primer lugar, asegúrate de que tu entorno tenga instalados Python y las bibliotecas necesarias. Puedes instalarlas con los siguientes comandos:

pip install torch torchvision
pip install git+https://github.com/NVlabs/stylegan2-ada-pytorch.git

2. Clonar el código del proyecto

Clona el código de HairFastGAN desde GitHub:

git clone https://github.com/AIRI-Institute/HairFastGAN.git
cd HairFastGAN

3. Descargar los modelos preentrenados

Descarga los archivos de los modelos preentrenados desde Hugging Face o desde los enlaces proporcionados por el proyecto, y colócalos en el directorio indicado (por ejemplo, models/).

4. Preparar las imágenes de entrada

  • Foto de entrada: se necesita una foto en alta resolución que contenga un rostro.

  • Foto de referencia: foto de referencia que contenga el peinado deseado.

  • Asegúrate de que la resolución y el formato de las fotos de entrada y de referencia cumplan los requisitos.

Cómo usar HairFastGAN.jpg

5. Ejecutar el código

Ejecuta el siguiente comando para realizar la transferencia del peinado:

python run.py --input <input_image_path> --ref <reference_image_path> --model <model_path>

<input_image_path>: ruta de la foto de entrada.

<reference_image_path>: ruta de la foto de referencia.

<model_path>: ruta del modelo preentrenado.

6. Ver el resultado

Una vez finalizada la ejecución, el resultado de la transferencia del peinado se guardará en el directorio de salida especificado (por ejemplo, output/).

Enlaces relacionados

Proyecto en GitHub:https://github.com/AIRI-Institute/HairFastGAN

Página del proyecto:https://airi-institute.github.io/HairFastGAN/

Probar en línea:https://huggingface.co/spaces/AIRI-Institute/HairFastGAN

Modelo en Hugging Face:https://huggingface.co/AIRI-Institute/HairFastGAN

Artículo:https://arxiv.org/abs/2404.01094