Personalized Restoration: точное восстановление лиц и индивидуальное редактирование 137

Personalized Restoration — это технология точного восстановления изображений лиц и индивидуального редактирования. Personalized Restoration не только восстанавливает детали повреждённых изображений, но также точно фиксирует и воспроизводит уникальные черты лица человека, гарантируя, что восстановленное изображение будет одновременно чётким и естественным, а также верным исходному облику. Кроме того, она поддерживает замену лиц.

Personalized Restoration использует передовой метод двойной настройки — сочетание текстового управления и настройки модели — чтобы гарантировать, что восстановленное изображение остаётся верным исходному облику и при этом сохраняет индивидуальную идентичность человека.

Кроме того, Personalized Restoration поддерживает редактирование на основе текстовых подсказок, позволяя пользователям изменять конкретные детали восстановленного изображения с помощью простых текстовых указаний.

Функциональные особенности Personalized Restoration:

• Использование персонализированного диффузионного приора на основе референсных изображений

• Сохранение информации о лицевой идентичности в структуре шумоподавления

• Сохранение визуальных атрибутов деградированного изображения

Сценарии использования Personalized Restoration:

• Персонализированная диффузионная модель для восстановления портретных изображений с использованием нескольких референсных фотографий определённой знаменитости

• Использование различных персонализированных моделей для достижения эффекта замены лиц

• Редактирование персонализированных моделей с текстовым управлением в сочетании с текстовыми подсказками

Основные функции и назначение Personalized Restoration:

Представьте, что у вас есть размытая старая фотография вашего деда в молодости. Эта фотография очень важна для вас, но из-за давности она сильно размыта, цвета выцвели, а черты лица практически неразличимы. Вы хотите восстановить эту фотографию, чтобы она выглядела чётче и была максимально приближена к оригиналу.

Традиционные технологии восстановления изображений могут сделать фотографию более чёткой, но при этом могут быть утрачены уникальные черты лица вашего деда, такие как характерная улыбка или форма глаз. Это связано с тем, что традиционные методы обычно опираются на общие модели изображений, которые не специализируются на уникальной внешности вашего деда.

Процесс настройки Personalized Restoration:

1. Этап настройки на основе текста:

Предположим, у вас также есть несколько чётких фотографий вашего деда из других периодов его жизни. Эти фотографии вместе с некоторыми описательными текстами (например, «молодой дедушка в очках с особой улыбкой») используются для тонкой настройки генеративной модели G. Этот процесс тонкой настройки позволяет модели изучить и понять уникальные черты лица вашего деда, такие как форма его глаз, манера улыбки и т. д.

2. Этап настройки на основе модели:

Затем сеть управления E настраивается на основе зафиксированной, тонко настроенной генеративной модели G. Цель этого этапа — позволить сети управления при восстановлении размытой фотографии одновременно учитывать индивидуальные особенности (например, улыбку дедушки) и другие аспекты изображения (такие как цвет и чёткость).

Конечный результат: восстановленная фотография не только становится чёткой, но и значительно улучшаются её цвета и детали. Что ещё важнее, фотография точно отражает уникальные черты лица вашего деда, и человека сразу можно узнать.

Благодаря такому методу двойной настройки эта система способна восстанавливать естественные и высококачественные изображения с сохранением уникальных индивидуальных черт, давая старым фотографиям новую жизнь и повышая их ценность как личных воспоминаний.

Кроме того, она также поддерживает функцию замены лиц, позволяя применять индивидуальные черты к другим изображениям для создания совершенно нового визуального опыта. Например, вы можете перенести черты лица одного человека на фотографию другого.

Кроме того, она также поддерживает редактирование на основе текстовых подсказок, позволяя пользователям использовать модификаторы-подсказки (такие как «улыбка» и «голубые глаза») для выполнения связанных правок вместе с восстановлением.