Alibaba EMO: создание говорящего или поющего видео по фото и аудио 287

Исследовательский институт интеллектуальных вычислений Alibaba Group с гордостью представляет EMO: Emote Portrait Alive — революционный ИИ, который генерирует выразительные портретные видео только из изображения и аудио! Длина сгенерированного видео соответствует длине вашего аудио, видео с разговорами и пением выглядят как живые, поддерживается любой голос, любой темп речи, любое изображение...

В отличие от традиционных методов, EMO использует прямой подход «аудио-в-видео», обходя необходимость в промежуточных 3D-моделях или лицевых ориентирах. Это обеспечивает плавные переходы между кадрами и сохранение идентичности на протяжении всего видео, создавая очень выразительные и реалистичные анимации, а значит — более плавные переходы и естественные выражения лица.

EMO даже превосходно справляется для создания поющих видео в различных стилях! Представьте, что вы можете создать музыкальный клип, используя всего лишь одну фотографию вашего любимого исполнителя!

Научная статья EMO:https://arxiv.org/pdf/2402.17485.pdf

Адрес открытого исходного кода EMO:https://humanaigc.github.io/emote-portrait-alive/

Основные функции EMO:

1. Генерация портретного видео на основе аудио: Используя одно эталонное изображение и аудиовход (например, речь или пение), EMO способен генерировать видео с виртуальными портретами, включающими изменение выражений лица и динамику головы. Это означает, что пользователи могут создавать динамичные видео с говорящими или поющими людьми, предоставив статичное изображение и соответствующий аудиофайл. Независимо от того, какие выражения лица или движения головы выполняет человек в видео, его базовые черты берутся из этого эталонного изображения.

2. Выразительный динамический рендеринг и поддержка положений головы: EMO делает особый упор на генерацию естественных и выразительных движений лица в видео, способен улавливать тонкие выражения лица и движения головы, создавая живые видео разговоров и пения, тем самым генерируя естественные и живые лицевые анимации, повышая динамичность и реалистичность видео.

3. Поддержка множества языков и портретных стилей: Эта технология не ограничена конкретными языками или музыкальными стилями, способна обрабатывать аудиовход на разных языках и поддерживает разнообразные портретные стили, включая исторических персонажей, живописные произведения, 3D-модели и контент, сгенерированный ИИ.

4. Быстрая синхронизация ритма: EMO способен обрабатывать быстрый аудиоконтент, такой как быстрые тексты песен или речь, обеспечивая синхронизацию движений виртуального портрета с ритмом аудио.

5. Перенос игры между актёрами: EMO способен реализовать перенос исполнения между разными актёрами, позволяя виртуальному образу одного актёра имитировать конкретное исполнение другого актёра или голоса, расширяя разнообразие и сценарии применения в изображении персонажей.

Сценарии применения EMO:

• Создание мгновенной озвучки

• Создание реалистичных и выразительных персонажей для фильмов и видеоигр

• Разработка увлекательных интерактивных учебных материалов

• Придание виртуальным помощникам более человеческого облика и ощущения

• Повышение вовлечённости и персонализации видеозвонков и совещаний

• Создание более увлекательных и запоминающихся маркетинговых и рекламных видео

Экспериментальные результаты показывают, что EMO способен не только создавать убедительные видео с говорящими людьми, но и поющие видео в различных стилях, значительно превосходя существующие современные методы по выразительности и реалистичности. Это задаёт новый стандарт в генерации видео и имеет огромное значение для будущего.