AnyDressing : essayage virtuel multi-vêtements personnalisable via des modèles de diffusion latente 204

AnyDressing est une méthode d'essayage virtuel personnalisable multi-vêtements basée sur un modèle de diffusion latérale, proposée par ByteDance et l'Université Tsinghua. AnyDressing se compose de deux réseaux principaux : GarmentsNet et DressingNet, qui servent respectivement à extraire les caractéristiques détaillées des vêtements et à réaliser l'essayage virtuel multi-vêtements. AnyDressing peut être appliqué à divers scénarios d'essayage virtuel, y compris des scénarios réalistes et stylisés, offrant aux utilisateurs une expérience d'essayage virtuel personnalisée.

Fonctionnalités principales d'AnyDressing :

Essayage de combinaisons multi-vêtements : les utilisateurs peuvent essayer plusieurs vêtements simultanément, et le système est capable de gérer des combinaisons vestimentaires complexes, en veillant à ce que les détails et l'ajustement de chaque vêtement soient bien rendus.

Personnalisation sur mesure : les utilisateurs peuvent personnaliser l'effet d'essayage en fonction de leurs besoins, en fournissant des vêtements de référence et des invites textuelles. Cette fonctionnalité personnalisée permet aux utilisateurs de faire leur choix en fonction de leur propre style et de leurs préférences.

Génération d'images de haute qualité : AnyDressing exploite une technologie avancée de génération d'images, capable de produire des images d'essayage virtuel réalistes, aidant ainsi les utilisateurs à mieux visualiser l'effet des vêtements sur eux.

Large éventail de scénarios applicables : cette technologie peut être appliquée à de nombreux domaines tels que la mode, le commerce en ligne et les réseaux sociaux, améliorant ainsi l'expérience d'achat et la satisfaction des utilisateurs.

Recherche et développement : AnyDressing en est actuellement au stade de la recherche, développé conjointement par les équipes de recherche de ByteDance et de l'Université Tsinghua. Il est principalement destiné à la recherche universitaire et à la démonstration d'effets, et n'a pas encore été officiellement commercialisé.

Architecture technique d'AnyDressing :

L'architecture technique d'AnyDressing comprend deux réseaux principaux : GarmentsNet et DressingNet. GarmentsNet est responsable de l'extraction des caractéristiques détaillées des vêtements, tandis que DressingNet génère des images personnalisées. L'extracteur de caractéristiques de vêtements introduit dans GarmentsNet permet d'encoder en parallèle les textures de plusieurs vêtements, évitant ainsi toute confusion entre les vêtements tout en garantissant l'efficacité du réseau. DressingNet adopte quant à lui un mécanisme d'attention adaptatif et une stratégie d'apprentissage de localisation des vêtements au niveau de l'instance, injectant avec précision les caractéristiques multi-vêtements dans les zones correspondantes, améliorant ainsi la diversité et la contrôlabilité des images générées. De plus, AnyDressing introduit une stratégie d'apprentissage de texture améliorée pour affiner le rendu des détails des vêtements. Les résultats expérimentaux montrent qu'AnyDressing atteint des performances de pointe dans les tâches d'essayage virtuel multi-vêtements, offrant une grande valeur pratique et un fort potentiel de recherche.

La conception d'AnyDressing répond aux défis auxquels sont confrontées les technologies existantes lors de la synthèse multi-vêtements, tels que la fidélité des vêtements, la cohérence textuelle et la compatibilité avec les extensions de contrôle communautaire. Grâce à son mécanisme adaptatif Dressing-Attention et à sa stratégie d'apprentissage de localisation des vêtements au niveau de l'instance, elle intègre avec précision les caractéristiques vestimentaires aux bons endroits, tout en améliorant la qualité des détails via sa stratégie d'apprentissage de texture améliorée, garantissant ainsi un réalisme élevé des vêtements virtuels générés.

Liens liés à AnyDressing :

Site officiel du projet : https://crayon-shinchan.github.io/AnyDressing/

HuggingFace : https://huggingface.co/papers/2412.04146

Code : https://github.com/Crayon-Shinchan/AnyDressing

Article : https://arxiv.org/abs/2412.04146