HairFastGan: фреймворк виртуальной примерки причёсок с переносом волос почти в реальном времени 69

Что такое HairFastGAN?

HairFastGAN — это фреймворк для виртуальной примерки причёсок, обеспечивающий перенос причёски почти в реальном времени при высоком разрешении. Он работает в FS-пространстве латентов StyleGAN и сочетает усовершенствованные методы инпейнтинга и улучшенный энкодер, решая задачи выравнивания причёски, переноса цвета и восстановления деталей при сложных позах, особенно в сценариях со сложными причёсками и значительными различиями в позах.

Ключевые особенности HairFastGAN

• Высокая эффективность: по сравнению с традиционными методами переноса причёски, основанными на оптимизации, HairFastGAN использует архитектуру эннкодера, обеспечивая вывод в высоком разрешении при производительности, близкой к реальному времени. В наиболее сложных сценариях переноса формы и цвета причёски метод работает менее секунды на GPU Nvidia V100.

• Высококачественная реконструкция: фреймворк HairFastGAN, работая в FS-пространстве латентов StyleGAN, применяя усовершенствованные методы инпейнтинга и улучшенный энкодер, обеспечивает лучшее выравнивание, перенос цвета и постобработку, демонстрируя отличные результаты как при случайном переносе причёски, так и при восстановлении исходной причёски.

• Адаптация к позам: традиционные методы переноса причёски плохо справляются с задачами, когда поза источника значительно отличается от позы цели, тогда как HairFastGAN эффективно обрабатывает такие различия за счёт учёта информации о позе.

Метод HairFastGAN

• Встраивание (Embedding): встраивание входного и референсного изображений в FS-пространство латентов StyleGAN с одновременным получением масок сегментации.

• Выравнивание (Alignment): перенос формы причёски с референсного изображения на целевое с помощью модуля формы.

• Смешивание (Blending): перенос цвета волос с референсного изображения на целевое путём редактирования S-пространства исходного изображения.

• Постобработка (Post-Processing): восстановление утраченных деталей исходного изображения для сохранения идентичности лица и реалистичности результата.

Сценарии применения HairFastGAN

• Парикмахерская индустрия: виртуальная примерка причёсок, помогающая клиентам быстро увидеть результат разных причёсок и улучшающая опыт подбора образа.

• Мода и красота: использование в модных журналах, рекламном дизайне, а также для создания персонального стиля для быстрой генерации множества вариантов причёсок.

• Развлечения и игры: настройка причёсок персонажей в играх или использование в качестве фильтра в социальных сетях для примерки в реальном времени.

• Медицинская реабилитация: помощь пациентам с пересадкой волос увидеть ожидаемый результат после операции, а также психологическая поддержка пациентов с алопецией.

Как использовать HairFastGAN

1. Установка зависимостей

Прежде всего убедитесь, что в вашей среде установлены Python и необходимые библиотеки. Вы можете установить их следующими командами:

pip install torch torchvision
pip install git+https://github.com/NVlabs/stylegan2-ada-pytorch.git

2. Клонирование кода проекта

Клонируйте код HairFastGAN из GitHub:

git clone https://github.com/AIRI-Institute/HairFastGAN.git
cd HairFastGAN

3. Загрузка предобученных моделей

Загрузите файлы предобученных моделей с Hugging Face или по ссылкам, предоставленным в проекте, и поместите их в указанную директорию (например, models/).

4. Подготовка входных изображений

• Входное фото: требуется качественное фото с лицом человека.

• Референсное фото: фото с целевой причёской.

• Убедитесь, что разрешение и формат входного и референсного фото соответствуют требованиям.

5. Запуск кода

Выполните следующую команду для переноса причёски:

python run.py --input <input_image_path> --ref <reference_image_path> --model <model_path>

<input_image_path>: путь к входному фото.

<reference_image_path>: путь к референсному фото.

<model_path>: путь к предобученной модели.

6. Просмотр результатов

После завершения работы результат переноса причёски будет сохранён в указанную выходную директорию (например, output/).

Полезные ссылки

Репозиторий на GitHub:https://github.com/AIRI-Institute/HairFastGAN

Домашняя страница проекта:https://airi-institute.github.io/HairFastGAN/

Демо для тестирования:https://huggingface.co/spaces/AIRI-Institute/HairFastGAN

Модель на Hugging Face:https://huggingface.co/AIRI-Institute/HairFastGAN

Статья:https://arxiv.org/abs/2404.01094