MagicTryOn: proyecto de prueba virtual en video de código abierto de la Universidad de Zhejiang y vivo 64

¿Qué es MagicTryOn?

MagicTryOn es un proyecto de prueba virtual de vídeo de código abierto desarrollado en colaboración por la Universidad de Zhejiang y vivo. Utiliza la arquitectura DiT (Diffusion Transformer) de Transformer de difusión de vídeo para que la prueba de prendas se vea más realista y estable. Este proyecto se basa en un mecanismo de auto-atención completa para garantizar la coherencia entre los fotogramas del vídeo, evitando así el parpadeo y la vibración presentes en los métodos antiguos. Sus principales funciones son: preservar con precisión los detalles de la prenda, generar efectos de prueba más realistas mediante guía de múltiples condiciones y mejorar la calidad de generación con una pérdida感知损失 consciente de la máscara. En varios conjuntos de datos, MagicTryOn tiene un rendimiento excelente, con gran calidad visual y capacidad de generalización.

Principio técnico de MagicTryOn

• Arquitectura Diffusion Transformer (DiT): el diseño modular de esta arquitectura permite inyectar información condicional de forma más flexible, y las características de la prenda de varios niveles pueden integrarse eficazmente en el proceso de eliminación de ruido. Su mecanismo integrado de auto-atención completa permite modelar conjuntamente la consistencia espacio-temporal del vídeo, capturando detalles locales dentro de cada fotograma y cambios dinámicos entre fotogramas.

• Estrategia de preservación de la prenda de grueso a fino: la estrategia gruesa consiste, en la etapa de incrustación, en inyectar los tokens de la prenda en la secuencia de tokens de entrada, ampliando el tamaño de la cuadrícula de la codificación posicional rotativa para que los tokens de la prenda y los tokens de entrada compartan una codificación posicional coherente; la estrategia fina consiste, en la etapa de eliminación de ruido, en introducir módulos de atención cruzada guiada por semántica y de atención cruzada guiada por características, proporcionando una guía detallada de la prenda.

• Pérdida感知损失（Mask-Aware Loss）: gracias a esta pérdida, el modelo puede centrarse más en la generación de la zona de la prenda, mejorando la fidelidad de los detalles de la zona de la prenda y el realismo del resultado合成 general.

Principales funciones de MagicTryOn

• Preservación de detalles de la prenda: puede simular con precisión la textura, el patrón y el contorno de la prenda, manteniendo el realismo y la estabilidad durante el movimiento de la persona.

• Modelado de consistencia espacio-temporal: garantiza la coherencia entre los fotogramas del vídeo, evitando el parpadeo y la vibración de la prenda.

• Guía de múltiples condiciones: basada en múltiples condiciones como texto, características de imagen, tokens de prenda y tokens de contorno, genera efectos de prueba más realistas y detallados.

Escenarios de aplicación de MagicTryOn

• Compras en línea: los usuarios pueden probar virtualmente diferentes prendas en línea.

• Diseño de moda: los diseñadores pueden previsualizar rápidamente el efecto de las prendas.

• Probador virtual: ofrece servicios de prueba virtual para tiendas físicas.

• Publicidad y marketing: las marcas pueden crear anuncios personalizados de prueba de prendas.

• Juegos y entretenimiento: probar prendas virtuales en tiempo real dentro de los juegos.

Enlaces del proyecto

Web oficial del proyecto:https://vivocameraresearch.github.io/magictryon/

Repositorio de GitHub:https://github.com/vivoCameraResearch/Magic-TryOn/

Artículo técnico en arXiv:https://arxiv.org/pdf/2505.21325