AnyDoor_云技派,专注ai人工智能! 180

AnyDoor, разработанный совместно Гонконгским университетом, Alibaba и Ant Group, позволяет перенести любой объект с одной фотографии в мир другого изображения.

Адрес проекта AnyDoor: https://damo-vilab.github.io/AnyDoor-Page/

Адрес онлайн-демонстрации AnyDoor: https://huggingface.co/spaces/xichenhku/AnyDoor-online

Функции AnyDoor:

• Перемещение объектов: AnyDoor может применяться для таких задач, как перемещение объектов.

• Замена объектов: AnyDoor также можно расширить для выполнения замены объектов.

• Виртуальная примерка: AnyDoor также может служить простым, но мощным инструментом для виртуальной примерки. Он способен сохранять цвет, узоры и текстуру различных предметов одежды без необходимости сложного ручного анализа.

• Многосубъектная композиция: благодаря высокой управляемости AnyDoor позволяет размещать объекты в заданных местах сцены, что легко расширяется до многосубъектной композиции.

Сценарии использования AnyDoor:

• В приложениях виртуальной примерки пользователи могут быстро «примерить» выбранную одежду на свою фотографию.

• В приложениях для перемещения объектов пользователи могут переместить целевой объект из одной фотографии в указанное место на другой.

• В области дизайна пользователи могут размещать спроектированную мебель или декоративные элементы в различных интерьерных сценах для получения более наглядного предварительного просмотра результата.

AnyDoor — это генератор изображений на основе диффузии, способный гармонично переносить целевой объект в новую сцену в указанное пользователем место. Наша модель не настраивает параметры для каждого объекта отдельно, а обучается один раз и на этапе вывода легко обобщается на различные комбинации объект-сцена. Столь сложная настройка с нулевым количеством примеров требует полноценного представления конкретного объекта.

Для этого мы дополняем обычно используемые признаки идентичности детализированными признаками, которые тщательно разработаны для сохранения текстурных деталей и одновременно допускают множество локальных вариаций (например, освещение, ориентацию, позу и т. д.), обеспечивая благоприятное слияние объекта с различными окружениями. Мы также предлагаем заимствовать знания из наборов видеоданных, где можно наблюдать разнообразные формы отдельного объекта (т. е. вдоль временной оси), что обеспечивает более сильное обобщение и устойчивость модели.

Обширные эксперименты подтвердили, что наш метод превосходит существующие альтернативы, а также демонстрирует огромный потенциал в практических приложениях, таких как виртуальная примерка и перемещение объектов.