3DV-TON : un framework d'essayage vidéo basé sur la diffusion 72

3DV-TON, qu'est-ce que c'est ?

3DV-TON (Textured 3D-Guided Consistent Video Try-on via Diffusion Models) est une nouvelle technologie d'essayage vidéo basée sur des modèles de diffusion, capable de résoudre les problèmes des méthodes d'essayage vidéo existantes qui peinent à produire des résultats de haute qualité et temporellement cohérents lorsqu'elles traitent des motifs vestimentaires complexes et des postures corporelles variées.

Technologies clés de 3DV-TON

• Guidage 3D par texture : 3DV-TON utilise un maillage 3D texturé animé généré comme guidage au niveau de chaque image, garantissant l'alignement des textures vestimentaires avec les détails géométriques du corps (tels que les plis et les effets d'ombre et de lumière).

• Cohérence vidéo : Grâce à des modèles de diffusion vidéo (tels que HunyuanVideo ou Stable Video Diffusion), la cohérence spatio-temporelle des vêtements est maintenue sur plusieurs images dans des scènes dynamiques, évitant le scintillement ou la déformation.

• Pipeline de génération adaptatif : Cette technologie adopte un pipeline adaptatif qui sélectionne d'abord une image clé pour effectuer un essayage initial en 2D, puis reconstruit et anime un maillage 3D texturé synchronisé avec les postures de la vidéo originale.

• Stratégie de masquage rectangulaire : Une stratégie robuste de masquage rectangulaire est introduite pour atténuer efficacement la propagation d'artefacts causée par les fuites d'informations vestimentaires lors des mouvements dynamiques du corps et des vêtements.

Caractéristiques de 3DV-TON

• Rendu haute fidélité : Prise en charge de la sortie en résolution 4K, avec des détails de texture vestimentaire (tels que les matériaux tissés et les motifs) réalistes, adaptée aux mouvements complexes et aux présentations sous plusieurs angles.

• Adaptabilité multi-scénarios : Prise en charge de la génération de vidéos d'essayage dynamiques à partir d'une seule image de vêtement, applicable aux présentations e-commerce, aux jeux d'essayage virtuel et aux applications AR/VR.

• Interface conviviale : Fournit des API et des outils visuels, permettant aux développeurs et aux concepteurs de générer rapidement des vidéos d'essayage via des invites textuelles ou des entrées d'images.

Jeu de données

Afin de faire progresser la recherche sur l'essayage vidéo, l'équipe 3DV-TON a également lancé HR-VVT, un jeu de données de référence haute résolution contenant 130 vidéos couvrant divers types de vêtements et scénarios.

Méthode 3DV-TON

3DV-TON utilise un maillage 3D texturé animable généré comme guidage explicite au niveau de chaque image, évitant ainsi que le modèle ne se concentre excessivement sur la fidélité d'apparence au détriment de la cohérence du mouvement ; il adopte un pipeline adaptatif pour générer un guidage 3D dynamique, sélectionnant d'abord une image clé pour un essayage initial en 2D, puis reconstruisant et animant un maillage 3D texturé synchronisé avec les postures de la vidéo originale ; une stratégie robuste de masquage rectangulaire est introduite pour réduire la propagation d'artefacts causés par les fuites d'informations vestimentaires lors des mouvements dynamiques du corps et des vêtements.

Scénarios d'application de 3DV-TON

• E-commerce : Génération de vidéos d'essayage vestimentaire dynamiques pour les plateformes e-commerce (telles que Shopify et Amazon).

• Mode virtuelle et métavers : Prise en charge des expériences d'essayage en VR/AR, permettant d'essayer des vêtements numériques dans des environnements virtuels.

• Production cinématographique et animation : Génération d'animations vestimentaires réalistes pour les personnages numériques, réduisant les coûts de production CG.

• Personnalisation sur mesure : Combinaison des données corporelles téléchargées par l'utilisateur et des images de vêtements pour générer des vidéos d'essayage personnalisées.

Page du projet :https://2y7c3.github.io/3DV-TON/

Article technique :https://2y7c3.github.io/pdfs/3dvton.pdf