DreamActor-M1: фреймворк ByteDance для замены фотографии человека на видео с движением 115

Что такое DreamActor-M1?

DreamActor-M1 — это фреймворк для анимации изображений людей на основе диффузионного трансформера (DiT), выпущенный ByteDance. Он похож на Act-One от Runway. Получая одно референсное изображение, DreamActor-M1 может имитировать поведение человека, захваченное из видео, и создавать высоко выразительные и реалистичные видео в различных масштабах (от портрета до анимации в полный рост). Он также решает проблемы других фреймворков, связанные с недостаточной детализацией выражений лица и движений, а также расхождениями в деталях при создании длинных видео. DreamActor-M1 поддерживает различные стили движений и превосходит Act-One, Animate Everyone и SkyReels-A1.

Основные функции DreamActor-M1

• Превращение статичных фотографий в динамичные изображения: путём объединения одной статичной фотографии и референсного видео с движениями персонаж на фото бесшовно встраивается в видеосцену, генерируя динамичное изображение с тонкими выражениями лица, естественными движениями и высоким качеством картинки.

• Точный контроль: используется гибридный механизм управления, сочетающий неявное представление лица, 3D-голову в виде сферы и 3D-скелет тела, что обеспечивает точный контроль над выражениями лица и движениями тела персонажа.

• Гибкий перенос движений: поддерживается передача только части движений, например выражений лица и движений головы.

• Поддержка лицевой анимации: возможно расширение до аудиоуправляемой лицевой анимации с многозязыковой синхронизацией губ.

• Анимация с учётом формы: технология корректировки длины костей позволяет создавать анимацию, адаптированную к форме тела.

• Поддержка разнообразных стилей: устойчивость к различным персонажам и стилям движений.

• Поддержка множества ракурсов: возможность генерировать анимацию при различных положениях головы.

Технические принципы DreamActor-M1

• Гибридный механизм управления: сочетание неявного представления лица, 3D-головы в виде сферы и 3D-скелета тела обеспечивает высокую реалистичность деталей генерируемой анимации при сохранении общей согласованности и плавности.

• Многоуровневая адаптивность: благодаря стратегии постепенного обучения фреймворк способен обрабатывать разнообразные позы тела и изображения с различным разрешением, поддерживая преобразования от портрета до вида в полный рост.

• Долгосрочная временная согласованность: интеграция моделей движений и визуальных референсов из последовательных кадров обеспечивает временную согласованность в необозримых областях при сложных движениях.

• Лицевая анимация и поддержка речи: поддержка аудиоуправляемой лицевой анимации с возможностью многозязыковой синхронизации губ.

Сценарии применения DreamActor-M1

• Кинопроизводство: используется для создания анимации виртуальных персонажей.

• Рекламная индустрия: создание динамических рекламных роликов с участием персонажей.

• Видеоигры: генерация анимации игровых персонажей.

• Виртуальные ведущие: обеспечение более естественной и реалистичной анимации виртуальных ведущих.

• Образование и обучение: создание динамических обучающих видео, в которых персонажи могут выполнять различные движения и демонстрировать разнообразные выражения.

• Социальные сети: создание персонализированных динамических аватаров или коротких видео.

Ссылки на проект

Официальный сайт проекта: https://grisoon.github.io/DreamActor-M1/

Техническая статья на arXiv: https://arxiv.org/pdf/2504.01724