MagicTryOn : un projet d'essayage virtuel en vidéo open-source de l'Université du Zhejiang et vivo 70

Qu'est-ce que MagicTryOn ?

MagicTryOn est un projet open source d'essai virtuel vidéo développé en collaboration par l'Université du Zhejiang et vivo. Il utilise l'architecture DiT (Diffusion Transformer) pour la diffusion vidéo, rendant l'essayage de vêtements plus réaliste et plus stable. Ce projet s'appuie sur un mécanisme de pleine auto-attention pour garantir la cohérence entre les images de la vidéo, évitant ainsi le scintillement et les secousses que l'on retrouve dans les anciennes méthodes. Ses principales fonctionnalités sont : la préservation précise des détails des vêtements, la génération d'effets d'essayage plus réalistes grâce à un guidage multi-conditions, et l'utilisation d'une perte sensible au masque (mask-aware loss) pour améliorer la qualité de génération. Sur plusieurs ensembles de données, MagicTryOn obtient d'excellents résultats, avec une grande qualité visuelle et une forte capacité de généralisation.

Principes techniques de MagicTryOn

• Architecture Diffusion Transformer (DiT) : la conception modulaire de cette architecture permet une injection plus flexible des informations de condition, et les caractéristiques vestimentaires à plusieurs niveaux peuvent être efficacement intégrées dans le processus de débruitage. Son mécanisme intégré de pleine auto-attention permet de modéliser conjointement la cohérence spatio-temporelle de la vidéo, en capturant les détails locaux intra-image et les variations dynamiques inter-images.

• Stratégie de préservation des vêtements du grossier au fin : la stratégie grossière consiste, lors de la phase d'intégration, à injecter les jetons de vêtements dans la séquence de jetons d'entrée et à étendre la taille de la grille du codage positionnel rotatif (RoPE), afin que les jetons de vêtements et les jetons d'entrée partagent un codage positionnel cohérent ; la stratégie fine introduit, lors de la phase de débruitage, des modules d'attention croisée guidés par la sémantique et guidés par les caractéristiques, fournissant un guidage fin des détails vestimentaires.

• Perte sensible au masque (Mask-Aware Loss) : grâce à cette perte, le modèle peut se concentrer davantage sur la génération des zones vestimentaires, améliorant ainsi la fidélité des détails dans ces zones et le réalisme global du résultat synthétisé.

Fonctionnalités principales de MagicTryOn

• Préservation des détails vestimentaires : simulation précise de la texture, des motifs et du contour des vêtements, tout en conservant réalisme et stabilité lors des mouvements de la personne.

• Modélisation de la cohérence spatio-temporelle : assure la fluidité entre les images de la vidéo, évitant le scintillement et les tremblements des vêtements.

• Guidage multi-conditions : s'appuie sur plusieurs conditions (texte, caractéristiques d'image, jetons de vêtements, jetons de contour, etc.) pour générer des effets d'essayage plus réalistes et plus détaillés.

Scénarios d'application de MagicTryOn

• Shopping en ligne : les utilisateurs peuvent essayer virtuellement différents vêtements en ligne.

• Design de mode : les designers peuvent prévisualiser rapidement le rendu des vêtements.

• Cabine d'essayage virtuelle : offre un service d'essayage virtuel pour les magasins physiques.

• Publicité et marketing : les marques peuvent créer des publicités d'essayage personnalisées.

• Jeux vidéo et divertissement : essayer en temps réel des vêtements virtuels dans un jeu.

Liens du projet

Site officiel du projet :https://vivocameraresearch.github.io/magictryon/

Dépôt GitHub :https://github.com/vivoCameraResearch/Magic-TryOn/

Article technique arXiv :https://arxiv.org/pdf/2505.21325