HunyuanCustom: новый инструмент мультимодальной кастомной генерации видео с открытым исходным кодом от Tencent Hunyuan 58

Что такое HunyuanCustom?

HunyuanCustom — это выпущенная и опубликованная в открытом доступе компанией Tencent Hunyuan мультимодальная платформа для создания персонализированных видео, которая позволяет генерировать видео с заданной темой, а также поддерживает множество входных условий, таких как текст, изображения, аудио и видео.

Архитектура модели HunyuanCustom

• На базе HunyuanVideo: HunyuanCustom построен на основе HunyuanVideo и ориентирован на создание видео, согласованных с конкретной темой.

• Мультимодальное слияние: внедрён модуль слияния текста и изображений на основе LLaVA, что расширяет понимание мультимодальных входных данных. Кроме того, разработаны специальные механизмы инъекции условий для аудио и видео, обеспечивающие генерацию видео в мультимодальных условиях.

Основные функции HunyuanCustom

• Генерация видео из мультимодальных входных данных: объединяет возможности создания видео на основе текста, изображений, аудио, видео и других мультимодальных входов, обеспечивая высокий уровень контроля и качество генерации.

• Генерация видео с одним субъектом: пользователю достаточно загрузить одно изображение, содержащее нужного человека или объект, и предоставить текстовое описание — система распознает идентичность на изображении и сгенерирует связное и естественное видео в совершенно иных действиях, одежде и сценах. Например, загрузив фотографию человека и введя «Он выгуливает собаку», можно получить соответствующее видео.

• Генерация видео с несколькими субъектами: пользователь предоставляет одну фотографию человека и одну фотографию объекта, а также вводит текстовое описание — эти два субъекта появятся в видео в соответствии с требованиями. Например, предоставив фотографию человека и пачки чипсов и введя «Мужчина стоит рядом с бассейном и держит в руках пачку чипсов, демонстрируя её», можно получить соответствующее видео.

• Озвучка видео с одним субъектом: в режиме аудиоуправления (один субъект) пользователь может загрузить изображение человека и добавить аудиозапись с голосом — модель сгенерирует эффект, при котором персонаж говорит, поёт или выполняет другие действия с синхронизацией аудио и видео в любой сцене. Это широко применимо для цифровых аватаров в прямых трансляциях, виртуальных службах поддержки, образовательных презентациях и других сценариях.

• Локальное редактирование видео: в режиме видеоуправления поддерживается естественная замена или вставка людей или объектов из изображения в любой видеофрагмент, что позволяет выполнять креативные вставки или расширение сцен, легко реконструировать и улучшать видеоконтент.

Технические преимущества HunyuanCustom

• Высокая согласованность идентичности: благодаря ведущим в отрасли возможностям моделирования согласованности субъекта сохраняется постоянство идентичности на протяжении всего видео в самых разных сценариях — с одним человеком, неодушевлёнными объектами, взаимодействием нескольких субъектов; лицо персонажа не «подменяется», объект не «уплывает».

• Высокая управляемость: обладает сильной способностью следовать управляющим сигналам, включая сигналы из текста, изображений-референсов субъекта, голоса и других модальностей, что позволяет качественно генерировать нужных пользователю объектов, сцены и действия.

• Высокое качество генерации видео: благодаря мощным возможностям видеомодели Tencent Hunyuan достигается лидирующий в отрасли уровень в детализации персонажей, плавности движений и реалистичности освещения.

Сценарии применения HunyuanCustom

• Рекламные сценарии: можно быстро менять фон товара, быстро «переодевать» моделей.

• Электронная коммерция и клиентская поддержка: можно быстро и недорого создавать яркие видео с цифровыми аватарами для презентации товаров или видео с цифровыми консультантами в определённой одежде.

• Кинематографические сценарии: быстрое создание коротких сериалов и коротких сюжетных видеороликов.

• Образовательные и научно-популярные сценарии: создание обучающих видео с помощью аудиоуправления.

Возможности HunyuanCustom по генерации видео с одним субъектом уже открыты и запущены на официальном сайте Hunyuan — пользователи могут опробовать их в разделе «Площадка моделей — генерация видео из изображений — генерация видео по референсу». Остальные возможности будут постепенно открываться в течение мая. Ознакомиться с информацией можно по следующим ссылкам:

• Страница для тестирования: https://hunyuan.tencent.com/modelSquare/home/play?modelId=192

• Сайт проекта: https://hunyuancustom.github.io/

• Код: https://github.com/Tencent/HunyuanCustom

• Технический отчёт: https://arxiv.org/pdf/2505.04512