Follow-Your-Emoji: проект анимации портретов 237

Follow-Your-Emoji, совместно разработанный Гонконгским университетом науки и технологий, Tencent Hunyuan и Университетом Цинхуа на основе диффузионной модели, применяет целевые выражения или движения к эталонному портрету, сохраняя при этом его идентичность, последовательность движений и реалистичность. Система извлекает черты лица человека из видео, особенно детали лица и динамику зрачков, для генерации новой лицевой анимации.

Достаточно предоставить одну фотографию, и Follow-Your-Emoji превратит её в живую и выразительную лицевую анимацию, одновременно улавливая тонкие изменения выражений.

Follow-Your-Emoji позволяет использовать одно управляющее видео или последовательность движений для управления анимацией нескольких разных эталонных аватаров. Каждый эталонный аватар будет демонстрировать одинаковые движения и изменения выражений в соответствии с одной и той же последовательностью движений. Также можно использовать один эталонный аватар и несколько разных управляющих видео для генерации нескольких анимаций. Каждая последовательность движений заставит один и тот же эталонный аватар демонстрировать разные движения и изменения выражений.

Функциональные особенности Follow-Your-Emoji:

• Сохранение идентичности: в процессе генерации анимации гарантируется, что идентичность эталонного аватара не теряется, обеспечивая постоянство вашего образа.

• Богатая мимика: генерация самых разнообразных выражений — как преувеличенных, так и тонких, включая масштабные движения зрачков, будь то незначительная динамика глаз или ярко выраженные изменения выражений.

• Разнообразие стилей: поддержка анимации аватаров в самых разных стилях, включая мультипликацию, реалистичных персонажей, скульптуры и животных.

• Стабильная и долговечная анимация: использование стратегии прогрессивной генерации обеспечивает стабильность и согласованность продолжительной анимации.

Основная сложность этой технологии заключается в том, чтобы на протяжении всей анимации сохранять идентичность эталонного аватара, одновременно передавая целевое выражение и обеспечивая временную согласованность и реалистичность.

Для решения этой проблемы Follow-Your-Emoji применяет две ключевые технологии: первая — использование нового явного сигнала движения — ключевых точек с учётом выражений лица для управления процессом анимации. Эти ключевые точки обеспечивают точное выравнивание эталонного аватара с целевым движением в процессе вывода и расширяют возможности передачи преувеличенных выражений (например, масштабных движений зрачков), избегая при этом утечки информации об идентичности. Вторая — функция потерь для тонкой настройки лица, которая с помощью масок выражений и лица повышает способность модели улавливать тонкие изменения выражений и восстанавливать внешность эталонного аватара.

Follow-Your-Emoji идеально подходит для профессионалов и энтузиастов в области создания анимации портретов, включая дизайнеров анимации, создателей видео, разработчиков игр и других специалистов.

Адрес статьи: https://arxiv.org/html/2406.01900v1

Адрес проекта Follow-Your-Emoji: https://follow-your-emoji.github.io/