AnyDoor_云技派,专注ai人工智能! 183

AnyDoor, développé conjointement par l'Université de Hong Kong, Alibaba et Ant Group, permet de transférer n'importe quel objet d'une photo vers le monde d'une autre image.

Adresse du projet AnyDoor :https://damo-vilab.github.io/AnyDoor-Page/

Adresse de la démo en ligne d'AnyDoor :https://huggingface.co/spaces/xichenhku/AnyDoor-online

Fonctionnalités d'AnyDoor :

• Déplacement d'objets : AnyDoor peut être appliqué à des tâches sophistiquées telles que le déplacement d'objets.

• Échange d'objets : AnyDoor peut également être étendu pour effectuer des échanges d'objets.

• Essai virtuel : AnyDoor peut également servir de référence simple mais puissante pour l'essayage virtuel. Il peut préserver les couleurs, les motifs et les textures de différents vêtements sans nécessiter d'analyse humaine complexe.

• Composition multi-sujets : Grâce à sa grande contrôlabilité, AnyDoor peut placer un objet à un emplacement spécifique d'une scène donnée, ce qui permet de l'étendre facilement à des compositions multi-sujets.

Cas d'utilisation d'AnyDoor :

• Dans les applications d'essayage virtuel, les utilisateurs peuvent personnaliser rapidement les vêtements choisis sur leur propre photo.

• Dans les applications de déplacement d'objets, les utilisateurs peuvent déplacer un objet cible d'une photo vers un emplacement spécifié dans une autre photo.

• Dans le domaine du design, les utilisateurs peuvent personnaliser leurs propres meubles ou accessoires dans différentes scènes d'intérieur afin d'obtenir un aperçu d'effet plus intuitif.

AnyDoor est un générateur d'images basé sur la diffusion, capable de transporter de manière harmonieuse un objet cible vers un nouvel emplacement dans une scène spécifiée par l'utilisateur. Au lieu d'ajuster les paramètres pour chaque objet, notre modèle n'est entraîné qu'une seule fois et se généralise sans effort à différentes combinaisons objet-scène lors de la phase d'inférence. Un cadre zero-shot aussi exigeant nécessite une représentation suffisante de chaque objet spécifique.

Pour cela, nous complétons les caractéristiques d'identité couramment utilisées par des caractéristiques de détail, soigneusement conçues pour préserver les détails de texture tout en permettant diverses variations locales (par exemple, éclairage, orientation, pose, etc.), favorisant ainsi une intégration harmonieuse de l'objet dans différents environnements. Nous proposons en outre d'exploiter les connaissances issues de jeux de données vidéo, où l'on peut observer différentes apparences d'un même objet (c'est-à-dire le long de l'axe temporel), afin d'obtenir une généralisation et une robustesse accrues du modèle.

De nombreuses expériences démontrent que notre méthode surpasse les alternatives existantes et qu'elle présente un énorme potentiel pour des applications pratiques, telles que l'essayage virtuel et le déplacement d'objets.