HunyuanVideo-Avatar: цифровая модель человека с аудиоуправлением от Tencent Hunyuan 69

小编 · 2025-05-29

HunyuanVideo-Avatar — это модель цифрового человека с аудиоуправлением, открытая командой Tencent Hunyuan на базе фундаментальной модели HunyuanVideo. Управляемая аудио, она генерирует динамичные видео персонажей с речью, движениями тела и головы, а также мимикой и поддерживает сцены с несколькими персонажами. Цель — решить три задачи в области аудиоуправляемой анимации персонажей: генерировать высокодинамичные видео при сохранении согласованности персонажа, добиться точной эмоциональной синхронизации персонажа с аудио и поддерживать анимацию нескольких персонажей.

HunyuanVideo-Avatar: цифровая модель человека с аудиоуправлением от Tencent Hunyuan

Что такое HunyuanVideo-Avatar?

HunyuanVideo-Avatar — это модель аудио-управляемого цифрового человека с открытым исходным кодом от Tencent Hunyuan, построенная на базе видеомодели Tencent Hunyuan (HunyuanVideo). Управляемая аудио, технология HunyuanVideo-Avatar способна генерировать динамические видео с персонажами, отображающие их речь, движения тела и головы, а также мимику, и поддерживает интерактивные сцены с несколькими персонажами. Цель состоит в решении трёх ключевых задач в области аудио-управляемой анимации персонажей: генерация высокодинамичного видео при сохранении согласованности персонажей, достижение точного эмоционального соответствия между персонажем и аудио, а также поддержка аудио-управляемой анимации нескольких персонажей.

HunyuanVideo-Avatar: модель аудио-управляемого цифрового человека от Tencent Hunyuan.webp

Функциональные особенности HunyuanVideo-Avatar

Поддержка нескольких планов: поддерживаются крупный (голова и плечи), средний (по пояс) и общий план, пользователи могут выбирать подходящий ракурс съёмки в соответствии со своими потребностями.
Многостилевые и мультиобъектные сцены: поддерживаются различные стили (например, киберпанк, 2D-аниме, китайская живопись тушью и др.), различные объекты (включая роботов, животных и др.), а также сцены с двумя персонажами.
Генерация видео с высокой согласованностью и динамичностью: способна автоматически понимать содержимое изображения и аудио на основе входного изображения персонажа и аудио, например, окружение персонажа и эмоции, заложенные в аудио, позволяя изображённому персонажу естественно говорить или петь, генерируя видео с естественной мимикой, синхронизацией губ и движениями всего тела, при этом обеспечивая согласованность субъекта в видео и общую динамичность видеоряда.
Широкий спектр сценариев применения: подходит для создания коротких видео, электронной коммерции, рекламы и многих других сценариев, позволяет генерировать фрагменты с говорящими, ведущими диалог или выступающими персонажами в различных сценах, быстро создавать видеоролики с представлением продуктов или рекламу с интерактивным участием нескольких людей, эффективно снижая затраты на производство.
Точное управление несколькими персонажами: в сценах с интерактивным участием нескольких людей способна точно управлять несколькими персонажами, обеспечивая синхронизацию движений губ, мимики и телодвижений с аудио для естественного взаимодействия.

Технические инновации HunyuanVideo-Avatar

Модуль инъекции изображений персонажа: основан на архитектуре мультимодального диффузионного Transformer (MM-DiT), обеспечивает согласованность персонажа и динамичность видео, решая задачу одновременного сохранения высокой согласованности облика персонажа и обеспечения плавности и естественности его движений при генерации видео.
Модуль аудио-эмоций (AEM): извлекает эмоциональную информацию из аудио и референсного изображения, генерируя тонкую мимику и движения, позволяя цифровому человеку отображать соответствующие выражения лица в соответствии с эмоциями аудио.
Адаптер аудио с учётом лица (FAA): изолирует аудио персонажа с помощью технологии маски лица, обеспечивая точное управление в сценах с несколькими людьми, позволяет независимо управлять движениями губ и мимикой разных персонажей, избегая взаимного влияния движений между ними.

Как использовать HunyuanVideo-Avatar

Вы можете попробовать модель на официальном сайте Tencent Hunyuan (https://hunyuan.tencent.com/) в разделе «Площадь моделей — Hunyuan генерация видео — Цифровой человек — Аудио-управление — HunyuanVideo-Avatar». В настоящее время поддерживается загрузка аудио длительностью не более 14 секунд для генерации видео.

Как использовать HunyuanVideo-Avatar.webp

Сценарии применения HunyuanVideo-Avatar

Создание коротких видео: позволяет быстро генерировать видеофрагменты с диалогами, выступлениями и др. в различных сценах.
Электронная коммерция и реклама: используется для создания видеороликов с представлением продуктов, интерактивной рекламы с участием нескольких людей и т.д.
Виртуальные ассистенты или игры: создание анимированных аватаров для повышения качества интерактивного взаимодействия.