ChatAnyone: генератор портретных видео от Alibaba по аудио с богатой мимикой и движением верхней части тела 144

Что такое ChatAnyone?

ChatAnyone — это фреймворк для генерации стилизованных портретных видео в реальном времени, разработанный лабораторией Tongyi группы Alibaba. Он обеспечивает высококачественную анимацию от «говорящей головы» до интерактивного верхнего торса, поддерживая разнообразные мимические выражения и управление стилем. Подходит для видеочатов в реальном времени, виртуальных ведущих, ai-ассистентов и других сценариев.

Технические методы ChatAnyone

Эффективная иерархическая модель диффузии движений (Hierarchical Motion Diffusion Model)

• Вход: аудиосигнал.

• Выход: сигналы управления лицом и телом с учётом явных и неявных сигналов движения.

• Функция: генерация разнообразных мимических выражений и синхронизация движений головы и тела.

• Тонкое управление выражениями: поддержка изменения интенсивности мимики, а также перенос стилизованных выражений из референсного видео.

Гибридная генеративная модель слияния управления (Hybrid Control Fusion Generative Model)

• Генерация мимики: сочетание явных ориентиров и неявных смещений для создания реалистичных выражений лица.

• Управление жестами рук: внедрение явных сигналов управления руками для генерации более точных и реалистичных жестов.

• Модуль оптимизации лица: повышение реалистичности лица, обеспечивающее высокую выразительность и достоверность сгенерированного портретного видео.

Масштабируемый фреймворк генерации в реальном времени

• Гибкость: поддержка как анимации, управляемой головой, так и генерации верхней части тела с жестами.

• Реальное время: на GPU 4090 генерация портретного видео верхней части тела в реальном времени с максимальным разрешением 512×768 и частотой 30 кадров в секунду.

Результаты экспериментов ChatAnyone

• Анимация верхней части тела на основе аудио: генерация высоковыразительных видео с цифровыми людьми, поддержка сценариев с жестами и без них.

• Анимация головы на основе аудио: высокоточная синхронизация губ, естественные положения головы и богатая мимика.

• Стилизованная анимация на основе аудио: поддержка генерации анимации стилизованных персонажей, а также создание выразительных видео с пением.

• Демонстрация AI-подкаста с двумя ведущими: возможность генерации подкаста с двумя ведущими и диалога, управляемого AI.

• Демонстрация взаимодействия в реальном времени: генерация в реальном времени со скоростью 30 кадров в секунду на GPU 4090, пригодная для интерактивных видеочатов.

Преимущества ChatAnyone

• Высокая точность и естественность: сгенерированные портретные видео отличаются богатой мимикой и естественными движениями верхней части тела.

• Реальное время: поддержка интерактивного взаимодействия, пригодного для видеочатов и других приложений.

• Управление стилем: возможность настройки стиля мимики в соответствии с потребностями для создания персонализированной анимации.

Сценарии применения ChatAnyone

Виртуальные ведущие и видеоконференции

• Виртуальные ведущие для новостных выпусков и прямых трансляций с продажами.

• Виртуальные аватары в видеоконференциях для повышения интерактивности.

Создание контента и развлечения

• Создание анимации: генерация стилизованных анимационных персонажей.

• Виртуальные концерты: генерация анимации виртуальных певцов или исполнителей в реальном времени.

• AI-подкасты: генерация виртуальных аватаров для подкастов с двумя ведущими.

Образование и обучение

• Онлайн-образование: генерация виртуальных учителей.

• Тренировочные симуляции: генерация виртуальных персонажей для интерактивных диалогов.

Обслуживание клиентов

• Интеллектуальная поддержка: генерация виртуальных консультантов.

• Взаимодействие с клиентами: предоставление живых ответов и интерактивного взаимодействия.

Маркетинг и реклама

• Виртуальные представители бренда: генерация образов бренд-амбассадоров.

• Рекламные видео: генерация интерактивного рекламного контента.

Социальные развлечения

• Анонимные чаты: генерация виртуальных аватаров для защиты конфиденциальности.

• Социальные платформы: генерация персонализированных виртуальных аватаров.

Здравоохранение

• Виртуальные медицинские консультации: генерация виртуальных врачей.

• Реабилитационные тренировки: генерация виртуальных реабилитологов.

Прочее

• Виртуальные гиды: для планирования туров и представления достопримечательностей.

• Новостные выпуски: генерация виртуальных новостных ведущих.

Связанные ссылки

Адрес проекта:https://github.com/HumanAIGC/chat-anyone

Адрес статьи:https://arxiv.org/abs/2506.00920