AnyDressing: Anpassbares Multi-Garderobe Virtual Try-On durch latente Diffusionsmodelle 202

AnyDressing ist eine von ByteDance und der Tsinghua-Universität vorgeschlagene Methode für anpassbare virtuelle Anproben mehrerer Kleidungsstücke, die auf einem latenten Diffusionsmodell basiert. AnyDressing besteht aus zwei Hauptnetzwerken, GarmentsNet und DressingNet, die jeweils für die Extraktion detaillierter Kleidungsmerkmale und die Umsetzung virtueller Anproben mehrerer Kleidungsstücke zuständig sind. AnyDressing kann in verschiedenen virtuellen Anprobeszenarien eingesetzt werden, einschließlich realistischer und stilisierter Szenen, und bietet den Nutzern ein personalisiertes virtuelles Anprobeerlebnis.

Hauptfunktionen von AnyDressing:

Anprobe mehrerer Kleidungsstücke in Kombination: Nutzer können mehrere Kleidungsstücke gleichzeitig anprobieren. Das System kann komplexe Kleidungskombinationen verarbeiten und stellt sicher, dass die Details und der Sitz jedes Kleidungsstücks gut zur Geltung kommen.

Personalisierte Anpassung: Nutzer können die Anprobeeffekte nach ihren Bedürfnissen individuell gestalten, indem sie Referenzkleidung und Textaufforderungen bereitstellen. Diese Personalisierungsfunktion ermöglicht es den Nutzern, entsprechend ihrem eigenen Stil und ihren Vorlieben auszuwählen.

Hochwertige Bilderzeugung: AnyDressing nutzt fortschrittliche Bilderzeugungstechnologie, um realistische virtuelle Anprobebilder zu erzeugen, die den Nutzern helfen, besser zu verstehen, wie die Kleidung an ihnen wirkt.

Breites Anwendungsspektrum: Diese Technologie kann in verschiedenen Bereichen wie Modeeinzelhandel, Online-Shopping und sozialen Medien eingesetzt werden und verbessert das Einkaufserlebnis und die Zufriedenheit der Nutzer.

Forschung und Entwicklung: AnyDressing befindet sich derzeit in der Forschungsphase und wird gemeinsam von den Forschungsteams von ByteDance und der Tsinghua-Universität entwickelt. Es richtet sich hauptsächlich an akademische Forschung und Effektdemonstrationen und ist noch nicht offiziell kommerzialisiert.

Technische Architektur von AnyDressing:

Die technische Architektur von AnyDressing umfasst zwei Hauptnetzwerke: GarmentsNet und DressingNet. GarmentsNet ist für die Extraktion detaillierter Kleidungsmerkmale zuständig, während DressingNet angepasste Bilder erzeugt. Der in GarmentsNet eingeführte Kleidungsmerkmal-Extraktor kann die Texturen mehrerer Kleidungsstücke parallel kodieren, vermeidet Kleidungsverwechslungen und gewährleistet gleichzeitig die Effizienz des Netzwerks. DressingNet verwendet einen adaptiven Aufmerksamkeitsmechanismus und eine Lernstrategie zur instanzbezogenen Kleidungslokalisierung, um die Merkmale mehrerer Kleidungsstücke genau in die entsprechenden Bereiche einzufügen und so die Vielfalt und Kontrollierbarkeit der erzeugten Bilder zu verbessern. Darüber hinaus führt AnyDressing eine Strategie zum verbesserten Texturlernen ein, um die Detaildarstellung der Kleidung zu verbessern. Die experimentellen Ergebnisse dieser Technologie zeigen, dass AnyDressing bei der Aufgabe der virtuellen Anprobe mehrerer Kleidungsstücke modernste Ergebnisse erzielt und einen hohen praktischen Wert sowie Forschungspotenzial besitzt.

Das Design von AnyDressing löst die Herausforderungen, denen bestehende Technologien bei der Synthese mehrerer Kleidungsstücke gegenüberstehen, wie Kleidungstreue, Textkonsistenz und Kompatibilität mit Community-Control-Erweiterungen. Es integriert durch den adaptiven Dressing-Attention-Mechanismus und die Lernstrategie zur instanzbezogenen Kleidungslokalisierung die Kleidungsmerkmale präzise an den richtigen Stellen und verbessert gleichzeitig durch die Lernstrategie zur verbesserten Kleidungstextur die Detailqualität, um sicherzustellen, dass die erzeugte virtuelle Kleidung einen hohen Grad an Realismus aufweist.

Zugehörige Links zu AnyDressing:

Projekt-Webseite: https://crayon-shinchan.github.io/AnyDressing/

HuggingFace: https://huggingface.co/papers/2412.04146

Code: https://github.com/Crayon-Shinchan/AnyDressing

Paper: https://arxiv.org/abs/2412.04146