AnyDoor_云技派,专注ai人工智能! 182

AnyDoor, entwickelt von der University of Hongkong, Alibaba und Ant Group, kann jedes beliebige Objekt von einem Foto in die Welt eines anderen Bildes übertragen.

AnyDoor Projektadresse:https://damo-vilab.github.io/AnyDoor-Page/

AnyDoor Online-Demo:https://huggingface.co/spaces/xichenhku/AnyDoor-online

AnyDoor Funktionen:

• Objektverschiebung: AnyDoor kann für ausgefallene Aufgaben wie Objektverschiebung eingesetzt werden.

• Objektaustausch: AnyDoor kann auch für den Objektaustausch erweitert werden.

• Virtuelles Anprobieren: AnyDoor kann auch als einfache, aber leistungsstarke Grundlage für virtuelles Anprobieren dienen. Es kann Farben, Muster und Texturen verschiedener Kleidungsstücke beibehalten, ohne komplexe manuelle Analyse.

• Multi-Objekt-Synthese: Da AnyDoor hochgradig steuerbar ist und Objekte an bestimmten Stellen einer gegebenen Szene platzieren kann, lässt es sich leicht auf Multi-Objekt-Kompositionen erweitern.

Anwendungsfälle von AnyDoor:

• In Apps zum virtuellen Anprobieren können Nutzer ausgewählte Kleidungsstücke schnell in ihre eigenen Fotos einfügen.

• In Anwendungen zur Objektverschiebung können Nutzer das Zielobjekt von einem Foto an eine bestimmte Position in einem anderen Foto verschieben.

• Im Designbereich können Nutzer selbst entworfene Möbel oder Dekorationen in verschiedene Innenraumszenen einfügen, um eine intuitivere Effektvorschau zu erhalten.

AnyDoor ist ein diffusionsbasierter Bildgenerator, der ein Zielobjekt auf harmonische Weise in eine neue Szene an einer vom Nutzer angegebenen Stelle übertragen kann. Anstatt für jedes Objekt die Parameter anzupassen, wird unser Modell nur einmal trainiert und generalisiert in der Inferenzphase mühelos auf verschiedene Objekt-Szenen-Kombinationen. Eine so anspruchsvolle Zero-Shot-Einstellung erfordert eine ausreichende Repräsentation des jeweiligen Objekts.

Dazu ergänzen wir die üblichen Identitätsmerkmale um Detailmerkmale, die sorgfältig darauf ausgelegt sind, Texturdetails zu bewahren und gleichzeitig vielfältige lokale Variationen (z. B. Beleuchtung, Ausrichtung, Pose usw.) zu ermöglichen, um eine vorteilhafte Verschmelzung des Objekts mit unterschiedlichen Umgebungen zu unterstützen. Wir schlagen außerdem vor, Wissen aus Video-Datensätzen zu nutzen, wo wir verschiedene Erscheinungsformen einzelner Objekte beobachten können (d. h. entlang der Zeitachse), um eine stärkere Generalisierbarkeit und Robustheit des Modells zu erreichen.

Umfangreiche Experimente zeigen, dass unsere Methode bestehenden Alternativen überlegen ist und ein enormes Potenzial für praktische Anwendungen wie virtuelles Anprobieren und Objektverschiebung bietet.