Emote Portrait Alive: статичное изображение оживает и поёт в видео 129

Emote Portrait Alive — это EMO, фреймворк для генерации видео с аудиоуправляемыми AI-портретами, выпущенный Alibaba. Получая одно референсное изображение и звуковой аудиофайл — например, речь или пение, — Emote Portrait Alive способен создавать видео с выразительной мимикой и разнообразными положениями головы, в которых портрет на фотографии естественно открывает рот в такт аудио или поёт, с очень реалистичными выражениями лица и движениями головы. При этом длина видео может быть любой — она определяется длительностью входного аудио.

Функции и особенности Emote Portrait Alive:

• Аудиоуправляемая генерация видео: EMO способен напрямую генерировать видео на основе входного аудио (например, речи или пения) без использования предварительно записанных видеофрагментов или 3D-моделей лица.

• Высокая выразительность и реалистичность: создаваемые видео обладают высокой выразительностью, точно передавая нюансы мимики человека, включая тонкие микровыражения, а также движения головы, синхронизированные с ритмом аудио.

• Плавные переходы между кадрами: обеспечивает естественные и плавные переходы между кадрами видео, избегая искажений лица и межкадрового дрожания, что повышает общее качество видео.

• Сохранение идентичности: благодаря модулю FrameEncoding EMO сохраняет идентичность персонажа на протяжении всей генерации видео, гарантируя, что внешний вид соответствует входному референсному изображению.

• Стабильный механизм управления: используются такие механизмы стабилизации, как контроллер скорости и контроллер области лица, что повышает стабильность процесса генерации видео и предотвращает сбои.

• Гибкая длительность видео: длина видео может быть любой — в зависимости от длительности входного аудио, что предоставляет пользователю гибкие возможности для творчества.

• Поддержка разных языков и стилей: обучающий набор данных охватывает множество языков и стилей, включая китайский и английский, а также реализм, аниме и 3D-стиль, что позволяет EMO адаптироваться к различным культурным и художественным направлениям.

Сценарии применения Emote Portrait Alive:

• Генерация видео с пением: передав фотографию портрета человека и аудио с пением, EMO может создать выразительное видео, синхронизированное с аудио.

• Генерация видео с речью: возможности не ограничиваются пением — система также обрабатывает речевое аудио и создаёт видео, синхронизированное с голосом.

• Поддержка нескольких языков: поддерживается ввод аудио на разных языках, что позволяет создавать портретные видео с персонажами, говорящими на разных языках.

• Применение в разных стилях: можно комбинировать портретные изображения в различных стилях (например, аниме, 3D-модели) с аудио для создания видеоконтента в заданном стиле.

Emote Portrait Alive не ограничивается обработкой аудио с пением — он также способен работать с устной речью на разных языках. Кроме того, Emote Portrait Alive может «оживлять» старые фотографии, рисунки, 3D-модели и контент, сгенерированный другими AI, добавляя им реалистичные движения и эффект присутствия.