DiffPortrait360: создание согласованных 360-градусных видов головы из одного портретного изображения 122

Что такое DiffPortrait360?

В создании игр, фильмов и анимации CG-персонажи являются основой создания контента, и при их разработке необходимо находить баланс между реалистичностью и стилизацией. Ранее для создания реалистичных человеческих персонажей часто использовались многовидовые стереосистемы и 3D-сканеры, однако стилизованых персонажей по-прежнему приходилось моделировать с нуля. Появление DiffPortrait360 открывает новый подход к эффективной генерации стилизованных персонажей.

DiffPortrait360 — это технология генерации 3D-изображений головы, которая способна создавать полноценные круговые (360 градусов) изображения головы на основе одной портретной фотографии человека. Эта технология сочетает предобученную латентную диффузионную модель с несколькими вспомогательными модулями, обеспечивая высококачественный синтез стилизованных 3D-изображений головы. DiffPortrait360 поддерживает множество сложных входных данных, таких как разные причёски, позы и мимика лица, а сгенерированные модели могут широко применяться в иммерсивных удалённых взаимодействиях, персонализированном создании контента, а также в производстве игр и анимации.

Принцип работы метода

• Архитектура: DiffPortrait360 использует предобученную латентную диффузионную модель (LDM) в качестве рендеринговой основы и включает три вспомогательных обучаемых модуля, отвечающих за управление двойным внешним видом R, управление камерой C и U-Net с согласованностью видов. При этом R извлекает информацию о внешнем виде из фронтального и заднего изображений, а C вычисляет положение камеры и использует готовую 3D GAN для рендеринга.

• Ключевые инновации: метод основан на фреймворке DiffPortrait3D и включает специально настроенный ControlNet для генерации деталей затылочной части головы, а также модуль двойного внешнего вида для обеспечения общей согласованности между передним и задним видом. Благодаря обучению на последовательностях непрерывных видов и интеграции референсных изображений заднего вида достигается надёжный синтез локально непрерывных видов.

• Стратегия обучения: применяется стратегия обучения с непрерывной выборкой, которая лучше сохраняет непрерывность траектории камеры и усиливает внимание к непрерывности между кадрами, обеспечивая неизменность информации о внешнем виде при изменении угла поворота.

Преимущества и особенности

• Широкая область применения: способен генерировать круговые (360 градусов) изображения головы в человеческой, стилизованной и антропоморфной формах, например с аксессуарами вроде очков и шляп.

• Высокое качество: позволяет генерировать высококачественные поля нейронного излучения (NeRFs) для рендеринга в реальном времени со свободным выбором точки обзора, превосходя существующие передовые методы в синтезе объектов и генерации круговых изображений головы.

• Высокая устойчивость: способен обрабатывать самые разные сложные входные данные, включая сложные причёски, различные положения головы, богатую мимику лица, а также детализированные элементы, такие как язык.

Перспективы применения

• Приложения иммерсивного удалённого присутствия: обеспечивают пользователям реалистичный опыт за счёт генерации высококачественных круговых изображений головы.

• Персонализированное создание контента: позволяют быстро генерировать 3D-модели головы с различными ракурсами на основе предоставленного пользователем одного портретного изображения.

• Производство игр и анимации: дают возможность эффективно создавать стилизованные модели голов персонажей, повышая эффективность и качество игрового и анимационного производства.

Адрес на Github:https://github.com/FreedomGu/DiffPortrait360