HunyuanCustom : un nouvel outil de génération vidéo personnalisé multimodal open-source par Tencent Hunyuan 63

Qu'est-ce que HunyuanCustom ?

HunyuanCustom est un cadre de génération de vidéos personnalisées basé sur le multimodal, lancé et open source par Tencent Hunyuan. Il permet de générer des vidéos avec un sujet spécifique tout en prenant en charge plusieurs conditions d'entrée telles que le texte, l'image, l'audio et la vidéo.

Architecture du modèle HunyuanCustom

• Basé sur HunyuanVideo : HunyuanCustom est construit sur la base de HunyuanVideo et se concentre sur la génération de vidéos cohérentes avec un sujet spécifique.

• Fusion multimodale : un module de fusion texte-image basé sur LLaVA est introduit pour renforcer la compréhension des entrées multimodales. De plus, des mécanismes spécifiques d'injection de conditions pour l'audio et la vidéo ont été conçus afin de permettre la génération vidéo dans des conditions multimodales.

Fonctionnalités principales de HunyuanCustom

• Génération vidéo à partir d'entrées multimodales : il intègre la capacité de générer des vidéos à partir d'entrées multimodales (texte, image, audio, vidéo, etc.), offrant un haut niveau de contrôle et de qualité de génération.

• Génération vidéo à sujet unique : les utilisateurs n'ont qu'à télécharger une image contenant la personne ou l'objet cible et à fournir une description textuelle ; le système peut alors identifier les informations d'identité dans l'image et générer un contenu vidéo cohérent et naturel dans des actions, des tenues et des scènes totalement différentes. Par exemple, téléchargez une photo d'une personne et saisissez « il promène un chien » pour générer la vidéo correspondante.

• Génération vidéo multi-sujets : les utilisateurs fournissent une photo d'une personne et une photo d'un objet, ainsi qu'une description textuelle, afin que ces deux sujets apparaissent dans la vidéo selon les exigences. Par exemple, fournissez une photo d'une personne et d'un paquet de chips, et saisissez « un homme se tient au bord d'une piscine, tenant un paquet de chips pour le présenter » pour générer la vidéo correspondante.

• Voix off vidéo à sujet unique : en mode piloté par l'audio (sujet unique), les utilisateurs peuvent télécharger une image d'une personne accompagnée d'un fichier audio vocal. Le modèle peut alors générer des effets où la personne parle, chante ou réalise d'autres performances audio-vidéo synchronisées dans n'importe quelle scène, ce qui convient largement aux scénarios tels que les directs avec humains numériques, le service client virtuel et les démonstrations éducatives.

• Édition locale de vidéos : en mode piloté par la vidéo, il permet de remplacer ou d'insérer naturellement la personne ou l'objet d'une image dans n'importe quel clip vidéo, pour des placements créatifs ou l'extension de scènes, facilitant ainsi la reconstruction et l'enrichissement du contenu vidéo.

Avantages techniques de HunyuanCustom

• Haute cohérence d'identité : grâce à une capacité de modélisation de la cohérence du sujet parmi les meilleures du secteur, l'identité reste constante et cohérente tout au long de la vidéo dans divers scénarios (personnage unique, objet non humain, interactions multi-sujets, etc.). Le personnage ne « change pas de visage » et l'objet ne « dérive » pas.

• Forte contrôlabilité : le modèle dispose d'une forte capacité à suivre les signaux de contrôle, y compris ceux provenant de plusieurs modalités telles que le texte, les images de sujet de référence et la voix, ce qui permet de générer relativement bien l'objet, la scène et l'action souhaités par l'utilisateur.

• Haute qualité de génération vidéo : grâce aux puissantes capacités du grand modèle vidéo de Tencent Hunyuan, il atteint un niveau de pointe dans le secteur en matière de restitution des détails des personnages, de fluidité des mouvements et de réalisme des éclairages.

Scénarios d'application de HunyuanCustom

• Scénarios publicitaires : permet de changer rapidement l'arrière-plan des produits et de faire en sorte que les mannequins changent rapidement de vêtements.

• Scénarios e-commerce et service client : permet de produire rapidement et à faible coût des vidéos de présentation de produits avec des humains numériques attrayants, ou de créer des vidéos de service client avec des humains numériques portant des tenues spécifiques.

• Scénarios cinématographiques et télévisuels : permet de produire rapidement des courts-métrages et des vidéos de petites histoires.

• Scénarios éducatifs et de vulgarisation scientifique : permet de générer des vidéos explicatives pilotées par l'audio.

La capacité de génération à sujet unique de HunyuanCustom a été open source et est en ligne sur le site officiel de Hunyuan. Les utilisateurs peuvent la découvrir dans « Place de marché des modèles - Image vers vidéo - Vidéo de référence ». Les autres capacités seront progressivement open source au cours du mois de mai. Vous pouvez accéder aux informations pertinentes via les liens suivants :

• Point d'accès d'expérience : https://hunyuan.tencent.com/modelSquare/home/play?modelId=192

• Site officiel du projet : https://hunyuancustom.github.io/

• Code : https://github.com/Tencent/HunyuanCustom

• Rapport technique : https://arxiv.org/pdf/2505.04512