PixelHacker: AI-инпейнтинг на основе диффузионных моделей для восстановления изображений 67

Что такое PixelHacker?

PixelHacker — это инструмент для восстановления изображений, основанный на диффузионной модели, который фокусируется на сохранении структурной и семантической согласованности изображения в процессе реставрации. Он использует метод управления на основе латентных категорий для аннотирования переднего плана и фона, а затем применяет эту аннотационную информацию для управления процессом восстановления.

Основные особенности PixelHacker

• Мощные возможности восстановления сложных структур: способен точно захватывать и воссоздавать сложные текстуры, формы и пространственные соотношения в изображении.

• Семантическая согласованность: восстановленное изображение в высокой степени соответствует оригиналу по цвету, характеристикам объектов и логической структуре.

• Набор данных и предобучение: предобучен на большом наборе данных из 14 миллионов пар изображение-маска и дообучен на открытых бенчмарках.

• Широкая применимость: показывает отличные результаты на таких наборах данных, как Places2, CelebA-HQ и FFHQ.

Ключевые технологии PixelHacker

• Управление на основе латентных категорий (Latent Categories Guidance, LCG): PixelHacker строит крупномасштабный набор данных из 14 миллионов пар изображение-маска с аннотированными передним планом и фоном (116 латентных категорий для переднего плана и 21 — для фона), что позволяет направлять внимание модели на структурную и семантическую информацию изображения в процессе восстановления.

• Механизм линейного внимания: модель кодирует потенциальные признаки переднего плана и фона с помощью двух векторов эмбеддингов фиксированного размера и периодически внедряет эти признаки в модель в процессе устранения шума посредством механизма линейного внимания.

Архитектура PixelHacker

PixelHacker основан на архитектуре латентной диффузии (Latent Diffusion Architecture): входное изображение преобразуется энкодером в латентное пространство, затем в процессе устранения шума в модель внедряются признаки переднего плана и фона, после чего восстановленное изображение воссоздаётся декодером.

Методы и процесс

• Построение набора данных: путём аннотирования категорий переднего плана и фона был создан крупномасштабный набор данных пар изображение-маска.

• Кодирование признаков: для переднего плана и фона используются векторы эмбеддингов фиксированного размера.

• Процесс устранения шума: в ходе устранения шума диффузионной модели признаки переднего плана и фона внедряются в модель с помощью механизма линейного внимания, что способствует множественному взаимодействию структурной и семантической информации.

• Предобучение и дообучение: предобучение проводится на собственном наборе данных, а дообучение — на открытых бенчмарк-наборах данных, в результате чего получается модель PixelHacker.

Сценарии применения PixelHacker

• Восстановление изображений: удаление рекламы, заполнение царапин, реставрация повреждённых участков.

• Редактирование изображений: замена фона, замена объектов с сохранением общей естественности.

• Творчество: креативная генерация, преобразование стилей.

• Сохранение культурного наследия: восстановление изображений древних книг, фресок и других объектов культурного наследия.

• Обработка медицинских изображений: удаление артефактов, повышение детализации изображений.

Ссылки на проект

Страница проекта:https://hustvl.github.io/PixelHacker/

Код на GitHub:https://github.com/hustvl/PixelHacker

Ссылка на статью:https://arxiv.org/abs/2504.20438