MagicTryOn: проект виртуальной примерки на видео с открытым кодом от Чжэцзянского университета и vivo 66

Что такое MagicTryOn?

MagicTryOn — это проект виртуальной примерки одежды по видео с открытым исходным кодом, совместно разработанный Чжэцзянским университетом и vivo. Он использует архитектуру DiT на основе видео-диффузионного Transformer, благодаря чему примерка одежды выглядит более реалистично и стабильно. Проект опирается на механизм полного самовнимания, что обеспечивает согласованность между кадрами видео и устраняет такие проблемы старых методов, как мерцание и дрожание. Основные функции включают: точное сохранение деталей одежды, генерацию более реалистичных результатов примерки с помощью многокомпонентного управления, а также использование потерь с учётом маски для повышения качества генерации. На нескольких наборах данных MagicTryOn показывает отличные результаты, демонстрируя высокое визуальное качество и сильную обобщающую способность.

Технические принципы MagicTryOn

• Архитектура Diffusion Transformer (DiT): модульная конструкция этой архитектуры позволяет более гибко внедрять условную информацию, а многоуровневые признаки одежды эффективно интегрируются в процесс шумоподавления. Встроенный механизм полного самовнимания обеспечивает совместное моделирование пространственно-временной согласованности видео, захватывая локальные детали внутри кадра и динамические изменения между кадрами.

• Стратегия сохранения одежды от грубого к тонкому: грубая стратегия заключается во внедрении меток одежды во входную последовательность меток на этапе эмбеддинга и расширении сетки ротационного позиционного кодирования, чтобы метки одежды и входные метки использовали согласованное позиционное кодирование; тонкая стратегия заключается во введении на этапе шумоподавления модулей семантически управляемого перекрёстного внимания и управляемого признаками перекрёстного внимания, обеспечивающих тонкое управление деталями одежды.

• Потери с учётом маски (Mask-Aware Loss): благодаря этим потерям модель более сосредоточена на генерации области одежды, что повышает детализацию и реалистичность синтезированного результата в области одежды.

Основные функции MagicTryOn

• Сохранение деталей одежды: точное моделирование текстуры, узоров и контуров одежды с сохранением реалистичности и стабильности при движении человека.

• Моделирование пространственно-временной согласованности: обеспечивает согласованность между кадрами видео, предотвращая мерцание и дрожание одежды.

• Многокомпонентное управление: на основе множества условий, таких как текст, признаки изображения, метки одежды и метки контуров, генерируются более реалистичные и детализированные результаты примерки.

Сценарии применения MagicTryOn

• Онлайн-покупки: пользователи могут примерять разную одежду онлайн.

• Модный дизайн: дизайнеры могут быстро предварительно просматривать вид одежды.

• Виртуальная примерочная: предоставление услуг виртуальной примерки для физических магазинов.

• Реклама и маркетинг: бренды могут создавать персонализированную рекламу с примеркой.

• Игры и развлечения: примерка виртуальной одежды в реальном времени в играх.

Ссылки на проект

Официальный сайт проекта:https://vivocameraresearch.github.io/magictryon/

Репозиторий на GitHub:https://github.com/vivoCameraResearch/Magic-TryOn/

Техническая статья на arXiv:https://arxiv.org/pdf/2505.21325