HandRefiner: решение проблемы деформации рук при генерации изображений ИИ 135

Решение проблемы деформации рук при генерации изображений с помощью ai. Современные модели генерации изображений уже превосходно справляются с созданием картинок, однако при генерации изображений человеческих рук часто возникают проблемы, например, неправильное количество пальцев или странная форма кистей.

Адрес проекта HandRefiner: https://github.com/wenquanlu/HandRefiner/

Адрес статьи HandRefiner: https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

Скачать модель HandRefiner: https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner предлагает метод исправления изображений рук неправильной формы без изменения остальных частей картинки. В нём применяется метод условного инпейнтинга для корректировки деформированных рук: он способен распознать правильную форму и жест руки и повторно применить эту корректную информацию к исходному изображению с ошибочно сгенерированной рукой.

Основные особенности HandRefiner:

- Точность: HandRefiner способен точно распознавать и исправлять деформированные руки на сгенерированных изображениях, предоставляя эффективное решение для постобработки.

- Сохранение согласованности: при корректировке рук сохраняется согласованность остальных частей изображения, что не влияет на общее качество картинки.

- Использование синтетических данных: в исследовании было обнаружено явление фазового перехода в ControlNet, что позволяет HandRefiner эффективно использовать синтетические данные для обучения без негативного влияния различий между доменами реальных и синтетических рук. Это означает, что HandRefiner также может изучать множество различных форм рук, поэтому независимо от того, насколько необычна рука, он сможет найти подходящий способ её исправления.

- Универсальность: хотя HandRefiner в первую очередь ориентирован на изображения рук, его базовые принципы и технологии могут быть применены к другим задачам генерации изображений, требующим тонкой корректировки. Например, этот метод также можно использовать для исправления других частей тела, таких как ступни или уши.

Принцип работы HandRefiner:

1. Распознавание и реконструкция руки: распознавание проблемы: прежде всего, HandRefiner определяет руки неправильной формы на сгенерированном изображении. Реконструкция руки: используя модель реконструкции руки по сетке, HandRefiner заново рисует правильную руку в соответствии с тем, как она должна выглядеть. Он способен воссоздать корректную форму и жест руки. Это достигается благодаря тому, что модель обучена на данных с нормальными руками, что позволяет получать разумные результаты реконструкции даже на изображениях деформированных рук.

2. Условный инпейнтинг: процесс корректировки: HandRefiner использует метод условного инпейнтинга для обработки выявленных проблемных рук. Он генерирует карту глубины, которая содержит важную информацию о форме и положении руки. Интеграция и исправление: затем эта карта глубины используется в качестве руководства и интегрируется в диффузионную модель через ControlNet. HandRefiner помещает заново отрисованную руку обратно в исходное изображение, заменяя неправильно нарисованную руку, при этом не затрагивая другие части, сохраняя стиль и содержание оригинальной картинки.