MimicBrush: автоматическое локальное редактирование и замена выбранных областей целевого изображения 192

MimicBrush — это инструмент для редактирования изображений, совместно разработанный Гонконгским университетом и Alibaba, который позволяет автоматически локально редактировать или заменять выбранные области целевого изображения. Пользователю достаточно указать область, которую он хочет отредактировать, и предоставить референсное изображение — MimicBrush интеллектуально уловит связь между ними и преобразует выбранную часть целевого изображения в соответствии с референсным изображением. Другими словами, вы загружаете изображение, выбираете на нём определённую часть, например одежду человека, волосы, фон и т. д., а затем загружаете понравившееся вам референсное изображение. MimicBrush автоматически отредактирует выбранную часть вашего изображения на основе референсного, чтобы она выглядела так, как на референсном изображении. Таким образом, вы можете изменять только отдельную часть изображения, а не всё изображение целиком. Кроме того, MimicBrush интеллектуально извлекает текстуры из референсного изображения (такие как леопардовый принт, узоры, текстура древесины и т. д.) и переносит их на целевое изображение.

Функциональные особенности MimicBrush:

• Имитация по референсному изображению: пользователь может выделить на целевом изображении конкретную область, которую он хочет отредактировать, и предоставить референсное изображение с желаемым стилем или объектом. MimicBrush способен анализировать и имитировать определённые визуальные характеристики референсного изображения, бесшовно перенося их в указанную область исходного изображения, обеспечивая согласованность стиля или содержания.

• Редактирование изображений без обучения (zero-shot): пользователи могут выполнять преобразование стиля изображений без предоставления большого количества примеров или проведения сложного обучения.

• Самообучение (self-supervised learning): MimicBrush использует методы самообучения для усиления семантического выравнивания, позволяя модели самостоятельно улавливать семантические соответствия между различными изображениями.

• Локальное перерисовывание в стиле: MimicBrush может переносить отдельную часть одного изображения на другое, обеспечивая локальное перерисовывание в нужном стиле.

Использование MimicBrush:

Пользователи могут работать с MimicBrush в веб-интерфейсе, выполняя простые шаги: сначала загрузить целевое изображение, нарисовать или загрузить маску области редактирования, затем загрузить референсное изображение и нажать кнопку, чтобы начать редактирование.

MimicBrush подходит для таких сценариев, как демонстрация товаров в электронной коммерции, редактирование изображений и перенос содержимого.

Адрес проекта: https://xavierchen34.github.io/MimicBrush-Page/

Github:https://github.com/ali-vilab/MimicBrush

HuggingFace: https://huggingface.co/spaces/xichenhku/MimicBrush