Voost : outil d'essayage et de retrait virtuel de vêtements 89

Voost est un outil d'IA d'essayage et de déshabillage virtuel proposé par Seungyong Lee et Jeong-gi Kwak. Son cœur de fonctionnement repose sur un transformateur de diffusion (DiT) qui gère simultanément l'essayage et le déshabillage. Sa particularité est qu'il n'a pas besoin de réseaux de tâches séparés ni d'étiquettes additionnelles. Il permet en outre un apprentissage bidirectionnel « supervisé » pour chaque association vêtement-personne — en tenant compte à la fois du résultat de l'essayage et de celui du déshabillage — afin de mieux comprendre la relation entre le vêtement et le corps, par exemple la manière dont le vêtement épouse la peau ou dont les plis se forment. Deux techniques pratiques viennent s'y ajouter : la mise à l'échelle de la température d'attention (qui stabilise le modèle à différentes résolutions) et l'échantillonnage auto-correcteur (qui réduit les erreurs en faisant se vérifier mutuellement l'essayage et le déshabillage). Les tests montrent que ses résultats sont au sommet dans les évaluations d'essayage comme de déshabillage : les détails du vêtement (texture, plis) et l'adaptation aux postures du corps humain sont bien restitués, et il s'adapte à divers types de vêtements, matières et postures.

📚 Fonctionnalités et caractéristiques

• Apprentissage bidirectionnel pour restituer les détails : l'essayage et le déshabillage sont appris conjointement ; grâce à la supervision bidirectionnelle, l'outil comprend mieux l'interaction entre le vêtement et le corps, et restitue plus fidèlement les détails comme les plis du vêtement ou la matière du tissu.

• Rendu proche du réel : il présente l'essayage sous plusieurs angles, et quelle que soit la morphologie ou la posture (debout, assis, accroupi), le rendu du vêtement porté est très proche de la réalité.

• Forte adaptabilité, peu de dépendances : pas besoin de modèles spécialisés pour un type de vêtement ou un scénario particulier, ni d'un étiquetage manuel massif. Des photos ordinaires ou des images prises par une caméra suffisent.

📚 Principes techniques

• Méthode principale : un transformateur de diffusion (DiT) sert de « cerveau ». Via l'attention croisée, les caractéristiques du vêtement et le modèle du corps humain sont « fusionnés », permettant une synthèse fine, jusqu'à un fil ou un pli sur le vêtement.

• Techniques d'optimisation :

• Mise à l'échelle de la température d'attention : comparable à un « bouton de réglage de la sensibilité », elle permet au modèle de fournir des sorties stables dans différentes conditions de netteté ou d'occlusion (par exemple lorsqu'une main cache une partie du vêtement).

• Échantillonnage auto-correcteur : l'essayage et le déshabillage se « vérifient » mutuellement — par exemple, lors de l'essayage, on s'assure que la logique inverse du déshabillage est cohérente, ce qui réduit les erreurs de génération.

• Flux opérationnel : l'utilisateur télécharge une photo claire de face/de profil, ou utilise directement la caméra ; le système modélise automatiquement la personne, puis « enfile » le vêtement.

📚 Dans quels cas utiliser Voost ?

• Achats de vêtements en ligne : plus besoin d'essayer physiquement ; on voit directement dans l'application à quoi ressemble le vêtement porté, pour éviter les problèmes de taille ou de coupe au déballage.

• Conception de vêtements : lorsque le designer modifie une coupe ou une association, il peut tester virtuellement le rendu sans produire à反复 des échantillons.

• Partage sur les réseaux sociaux : utiliser Voost pour « essayer » des vêtements et publier des looks originaux et amusants.

• Magasins physiques : combiné à la réalité augmentée, il permet d'installer une cabine d'essayage virtuelle ; le client se tient devant le miroir et change de tenue, pour une expérience très high-tech.

📚 Étapes d'utilisation de Voost

La démo publique sur Hugging Face sera bientôt disponible.

1. Choisir le mode essayage ou déshabillage ;

2. Choisir le type de vêtement souhaité (l'essayage inclut haut, bas, tenue complète) ;

3. Télécharger l'image du modèle (optionnel : utiliser un outil de dessin pour créer un masque) ;

4. Télécharger l'image du vêtement ;

5. Cliquer sur le bouton pour exécuter le modèle.

📚 Questions fréquentes

❓ : Par rapport aux autres outils d'essayage, quel est le principal atout de Voost ?

R : Il utilise un seul transformateur de diffusion pour apprendre simultanément l'essayage et le déshabillage, sans réseau de tâches séparé ni étiquettes additionnelles, et bénéficie d'un apprentissage supervisé bidirectionnel. Combiné à la mise à l'échelle de la température d'attention et à l'échantillonnage auto-correcteur, ses résultats sont plus stables et plus réalistes.

❓ : Sur quels tests l'efficacité de Voost a-t-elle été validée ?

R : Sur des ensembles de données courants comme VITON-HD et DressCode, ainsi que sur des photos de scénarios réels. Les résultats en essayage et en déshabillage sont actuellement les meilleurs, plus précis et plus réalistes que ceux d'outils tels que StableVITON ou IDM-VTON.

❓ : À quoi servent la mise à l'échelle de la température d'attention et l'échantillonnage auto-correcteur ?

R : La mise à l'échelle de la température permet au modèle de rester stable face à différentes conditions de netteté ou d'occlusion (par exemple lorsqu'une main cache le vêtement) ; l'échantillonnage auto-correcteur réduit les erreurs de génération en faisant se vérifier mutuellement l'essayage et le déshabillage, pour un port du vêtement plus naturel.

📚 Github :https://github.com/nxnai/Voost