EchoMimic: цифровой человек с открытым исходным кодом от Alipay 111

EchoMimic — это инструмент для генерации анимации портретов на основе аудио, разработанный подразделением терминальных технологий Ant Group (Alipay). Он создаёт реалистичную и естественную анимацию с помощью редактируемых условий по характерным точкам, позволяя пользователям настраивать детали анимации в соответствии со своими потребностями. Инструмент может использоваться для виртуальных ведущих, монтажа видео и других задач. По качеству он превосходит SadTalker и MuseTalk, обеспечивая более богатую мимику и более плавные движения.

EchoMimic может подбирать движения губ персонажа на основе черт лица на портрете и аудио, а также генерировать стабильное и естественное видео, используя лицевые ориентиры и содержимое аудио.

Функции EchoMimic:

• Анимация на основе аудио: позволяет создавать анимацию портрета по аудио, например видео с пением или речью.

• Анимация на основе поз: позволяет генерировать анимацию портрета на основе данных о позах.

• Комбинированная анимация на основе аудио и поз: позволяет одновременно использовать аудио и данные о позах для генерации анимации.

• WebUI и GradioUI: предоставляют графический интерфейс, удобный в использовании.

• Редактируемая настройка ориентиров: пользователи могут выбирать определённые лицевые ориентиры для управления анимацией, что обеспечивает большую гибкость и возможности настройки.

• Поддержка нескольких языков (включая китайский, путунхуа, английский) и стилей, а также возможность работы со сценами пения и т. д.

Применение EchoMimic:

• Анимация портретных изображений: создание динамического видео из статичных изображений с использованием аудио на входе, что может применяться для развлечений, виртуальных аватаров и цифровых коммуникаций.

• Повышение стабильности и естественности: за счёт объединения двух типов входных данных преодолеваются нестабильность методов на основе аудио и неестественность методов на основе ключевых точек.

• Настраиваемая анимация: пользователи могут редактировать определённые лицевые ориентиры для достижения желаемого эффекта анимации.

ComfyUI EchoMimic:https://github.com/smthemex/ComfyUI_EchoMimic

Проект EchoMimic:https://badtobest.github.io/echomimic.html

EchoMimic на GitHub:https://github.com/BadToBest/EchoMimic

Модель EchoMimic:https://huggingface.co/BadToBest/EchoMimic

EchoMimic — это технология создания реалистичной анимации портретов на основе аудио, разработанная подразделением терминальных технологий Ant Group (Alipay). Она использует редактируемое управление по ориентирам для достижения естественных движений и выражений лица, обеспечивая высокую степень настраиваемости и естественный вид анимации.