FantasyTalking: инструмент Alibaba для создания реалистичных говорящих портретов из одного статичного изображения 53

Что такое FantasyTalking?

FantasyTalking — это инструмент для генерации анимации виртуальных персонажей, разработанный компанией Alibaba, который позволяет создавать реалистичные динамические говорящие портреты из одного статичного изображения. Он использует двухэтапную стратегию аудио-визуального выравнивания, обеспечивающую точную синхронизацию движений губ с речью, а также модуль перекрёстного внимания с фокусом на лицо и модуль модуляции интенсивности движения, что позволяет генерировать естественную и разнообразную анимацию. При применении в играх, кино и виртуальной реальности инструмент позволяет быстро создавать высококачественную анимацию виртуальных персонажей.

Технические принципы FantasyTalking

• Двухэтапная стратегия аудио-визуального выравнивания: на первом этапе используется схема фрагментарного обучения для выравнивания аудио-управляемой динамики во всей сцене, включая референсный портрет, контекстные объекты и фон, что обеспечивает согласованное глобальное движение; на втором этапе маска отслеживания губ уточняет движения губ на уровне кадров, гарантируя точную синхронизацию с аудиосигналом.

• Модуль перекрёстного внимания с фокусом на лицо: заменяет常用的 референсную сеть и эффективно сохраняет согласованность лица в видео.

• Модуль модуляции интенсивности движения: явно контролирует интенсивность выражений лица и движений тела, позволяя анимации портрета не ограничиваться только движениями губ, а создавать более естественную и разнообразную анимацию.

Основные функции FantasyTalking

• Синхронизация губ: способен точно распознавать и синхронизировать движения губ виртуального персонажа с входной речью, обеспечивая полное соответствие движений губ произносимому тексту.

• Генерация мимики: на основе содержания речи и эмоциональной информации генерирует разнообразные мимические движения, такие как моргание, нахмуривание, улыбка и т.д.

• Генерация движений тела: в зависимости от сцены и сюжета генерирует движения всего тела, такие как ходьба, бег, прыжки и т.д.

Ключевые преимущества FantasyTalking

• Высокая реалистичность: благодаря передовым алгоритмам искусственного интеллекта и технологиям глубокого обучения генерируемая анимация виртуальных персонажей неотличима от реальных людей по внешности, движениям и выражениям лица.

• Гибкость и простота использования: предоставляет понятный и интуитивно понятный пользовательский интерфейс, а также богатый набор API-интерфейсов, поддерживает множество входных и выходных форматов, что позволяет пользователям быстро освоить инструмент и интегрировать его в свои проекты.

• Высокая эффективность и стабильность: оптимизированные алгоритмы и эффективная вычислительная архитектура позволяют за короткое время генерировать высококачественную анимацию виртуальных персонажей, гарантируя при этом стабильность и надёжность системы.

Сценарии применения FantasyTalking

• Разработка игр: может использоваться для генерации анимации диалогов и боевых анимаций игровых персонажей, повышая визуальные эффекты и интерактивность игры.

• Кинопроизводство: помогает съёмочным группам быстро создавать высококачественную анимацию выступлений виртуальных персонажей, спецэффекты и т.д., снижая затраты на производство и время.

• Виртуальная и дополненная реальность: генерация интерактивной и направляющей анимации виртуальных персонажей для приложений VR и AR, повышая эффект погружения и удобство использования.

Официальный сайт проекта:https://fantasy-amap.github.io/fantasy-talking/

Репозиторий на Github:https://github.com/Fantasy-AMAP/fantasy-talking

Статья на arXiv:https://arxiv.org/pdf/2504.04842