AnyDressing: настраиваемая примерка нескольких предметов одежды через латентные диффузионные модели 207

AnyDressing — это метод виртуальной примерки нескольких предметов одежды с возможностью настройки, основанный на модели латентной диффузии, предложенный ByteDance и Университетом Цинхуа. AnyDressing состоит из двух основных сетей: GarmentsNet и DressingNet, которые отвечают за извлечение детальных характеристик одежды и реализацию виртуальной примерки нескольких предметов гардероба соответственно. AnyDressing может применяться в различных сценариях виртуальной примерки, включая реалистичные и стилизованные сценарии, предоставляя пользователям персонализированный опыт виртуальной примерки.

Основные функции AnyDressing:

Примерка нескольких предметов одежды одновременно: пользователи могут примерять несколько предметов одежды одновременно, а система способна обрабатывать сложные комбинации одежды, обеспечивая хорошее отображение деталей и посадки каждого предмета.

Индивидуальная настройка: пользователи могут настраивать результаты примерки в соответствии со своими потребностями, предоставляя эталонную одежду и текстовые подсказки. Эта функция персонализации позволяет пользователям делать выбор в соответствии со своим стилем и предпочтениями.

Генерация высококачественных изображений: AnyDressing использует передовые технологии генерации изображений, способные создавать реалистичные изображения виртуальной примерки, помогая пользователям лучше понять, как одежда будет выглядеть на них.

Широкая применимость: данная технология может использоваться во множестве областей, включая модный ритейл, онлайн-покупки, социальные сети и т. д., повышая удобство и удовлетворённость пользователей при совершении покупок.

Исследования и разработка: в настоящее время AnyDressing находится на стадии исследования и совместно разрабатывается исследовательскими группами ByteDance и Университета Цинхуа, ориентирована главным образом на академические исследования и демонстрацию возможностей, и ещё не вышла на коммерческий рынок.

Техническая архитектура AnyDressing:

Техническая архитектура AnyDressing включает две основные сети: GarmentsNet и DressingNet. GarmentsNet отвечает за извлечение детальных характеристик одежды, тогда как DressingNet генерирует индивидуально настроенные изображения. Введённый в GarmentsNet экстрактор характеристик одежды способен параллельно кодировать текстуры нескольких предметов гардероба, что позволяет избежать путаницы между ними и одновременно обеспечивает высокую эффективность сети. DressingNet использует адаптивный механизм внимания и стратегию обучения позиционированию одежды на уровне экземпляров, что позволяет точно внедрять характеристики нескольких предметов одежды в соответствующие области, повышая тем самым разнообразие и управляемость генерируемых изображений. Кроме того, AnyDressing внедряет стратегию обучения расширенной текстуре для улучшения детализации одежды. Экспериментальные результаты показывают, что AnyDressing достигает самых современных результатов в задачах виртуальной примерки нескольких предметов одежды и обладает высокой практической ценностью и исследовательским потенциалом.

Дизайн AnyDressing решает проблемы, с которыми сталкиваются существующие технологии при синтезе нескольких предметов одежды, такие как точность воспроизведения одежды, согласованность с текстом и совместимость с расширениями управления сообщества. Благодаря адаптивному механизму Dressing-Attention и стратегии обучения позиционированию одежды на уровне экземпляров он точно встраивает характеристики одежды в нужные места, одновременно улучшая качество деталей с помощью стратегии обучения расширенной текстуре одежды, обеспечивая высокую степень реалистичности сгенерированной виртуальной одежды.

Соответствующие ссылки AnyDressing:

Официальный сайт проекта: https://crayon-shinchan.github.io/AnyDressing/

HuggingFace: https://huggingface.co/papers/2412.04146

Код: https://github.com/Crayon-Shinchan/AnyDressing

Статья: https://arxiv.org/abs/2412.04146