MagicTryOn: Ein Open-Source-Video-Virtual-Try-On-Projekt der Zhejiang-Universität und vivo 65

Was ist MagicTryOn?

MagicTryOn ist ein Open-Source-Projekt zum Video-virtuellen Anprobieren, das von der Zhejiang-Universität und vivo entwickelt wurde. Es verwendet die DiT-Architektur (Diffusion Transformer) für Videodiffusion und sorgt dafür, dass das virtuelle Anprobieren von Kleidung realistischer und stabiler wirkt. Dieses Projekt stützt sich auf einen vollständigen Selbstaufmerksamkeitsmechanismus, der die Kohärenz zwischen den Videobildern gewährleistet und so das Flackern und Zittern vermeidet, das bei älteren Methoden häufig auftritt. Zu seinen Hauptfunktionen gehören: präzise Erhaltung der Kleidungsdetails, Erzeugung realistischerer Anprobeergebnisse durch Multi-Bedingungs-Steuerung sowie eine Verbesserung der Generierungsqualität durch einen maskenbewussten Verlust. Auf mehreren Datensätzen erzielt MagicTryOn hervorragende Ergebnisse und überzeugt sowohl bei der visuellen Qualität als auch bei der Generalisierungsfähigkeit.

Technische Prinzipien von MagicTryOn

• DiT-Architektur (Diffusion Transformer): Der modulare Aufbau dieser Architektur ermöglicht eine flexiblere Einbringung von Bedingungsinformationen, und mehrstufige Kleidungsmerkmale können effektiv in den Entrauschungsprozess integriert werden. Der eingebaute vollständige Selbstaufmerksamkeitsmechanismus kann die raumzeitliche Konsistenz des Videos gemeinsam modellieren und sowohl lokale Details innerhalb der Einzelbilder als auch dynamische Veränderungen zwischen den Bildern erfassen.

• Grobes bis feinkörniges Strategie zur Erhaltung der Kleidung: Die grobe Strategie besteht darin, in der Einbettungsphase Kleidungs-Tokens in die Eingabe-Token-Sequenz einzufügen und die Rastergröße der Rotary-Positionskodierung zu erweitern, sodass Kleidungs-Tokens und Eingabe-Tokens eine konsistente Positionskodierung gemeinsam nutzen; die feine Strategie führt in der Entrauschungsphase Module für semantisch geführte Cross-Attention und merkmalgeführte Cross-Attention ein, um eine feinkörnige Steuerung der Kleidungsdetails bereitzustellen.

• Maskenbewusster Verlust (Mask-Aware Loss): Mit diesem Verlust kann sich das Modell stärker auf die Generierung der Kleidungsbereiche konzentrieren, wodurch die Detailtreue in den Kleidungsbereichen und die Gesamtrealistik der Syntheseergebnisse verbessert werden.

Hauptfunktionen von MagicTryOn

• Erhaltung der Kleidungsdetails: Texturen, Muster und Konturen der Kleidung können präzise simuliert werden, und beim Bewegen der Person bleiben Realismus und Stabilität erhalten.

• Raumzeitliche Konsistenzmodellierung: Gewährleistet die Kohärenz zwischen den einzelnen Videobildern und vermeidet Flackern und Zittern der Kleidung.

• Multi-Bedingungs-Steuerung: Basiert auf verschiedenen Bedingungen wie Text, Bildmerkmalen, Kleidungs-Tokens und Silhouetten-Tokens, um realistischere und detailreichere Anprobeergebnisse zu erzeugen.

Anwendungsszenarien von MagicTryOn

• Online-Shopping: Nutzer können verschiedene Kleidungsstücke online anprobieren.

• Modedesign: Designer können Kleidungseffekte schnell in der Vorschau ansehen.

• Virtuelle Umkleidekabine: Bietet physischen Geschäften einen virtuellen Anprobeservice.

• Werbung und Marketing: Marken können personalisierte Anprobe-Werbung erstellen.

• Spiele und Unterhaltung: Echtzeit-Anprobe virtueller Kleidung in Spielen.

Projektlinks

Projekt-Website:https://vivocameraresearch.github.io/magictryon/

GitHub-Repository:https://github.com/vivoCameraResearch/Magic-TryOn/

arXiv-Technische Abhandlung:https://arxiv.org/pdf/2505.21325