Hallo : synthèse visuelle hiérarchique pilotée par l'audio pour l'animation d'images de portrait 199

小编 · 2024-06-16

Hallo peut générer des vidéos de chant et de parole à partir d'une seule image et d'un entrée audio, avec un contrôle sur les expressions et poses du personnage. Par rapport à EMO, Hallo utilise une approche de synthèse visuelle hiérarchique pilotée par l'audio basée sur des modèles de diffusion, permettant de générer des animations avec synchronisation labiale, changements d'expression et variations de pose à partir de l'entrée vocale, améliorant la précision d'alignement entre voix et animation.

Hallo : synthèse visuelle hiérarchique pilotée par l'audio pour l'animation d'images de portrait

Hallo peut générer desvidéos de chant et de parole à partir d'une seule image et d'une entrée audio, et permet de contrôler les expressions et les poses des personnages. Comparé à EMO, Hallo utilise un modèle de diffusion pour réaliser une synthèse visuelle hiérarchique pilotée par l'audio, ce qui lui permet de générer, à partir d'une entrée vocale, des animations avec synchronisation labiale, variations d'expressions et variations de poses correspondantes. Il améliore la précision de l'alignement entre la voix et l'animation générée, assurant la synchronisation des lèvres, des expressions et des poses de l'animation avec la parole.

Hallo：用于肖像图像动画的分层音频驱动视觉合成.jpg

Fonctionnalités de Hallo :

Génération d'animations de personnages virtuels : génère des animations de personnages virtuels réalistes et dynamiques à partir d'une entrée audio vocale, avec une synchronisation précise des mouvements des lèvres, des expressions et des poses du personnage virtuel.
Génération d'animations de personnages réels : applique la technologie à la génération d'animations pilotées par la voix de personnes réelles, les animations générées reflétant fidèlement les variations d'expressions et de mouvements de la personne réelle.
Contrôle multi-mouvement : offre un contrôle précis des expressions, des poses et des mouvements des lèvres du personnage, prend en charge un contrôle adaptatif de multiples expressions et poses, renforçant la diversité et le réalisme de l'animation.
Application multi-acteurs : prend en charge la génération d'animations personnalisées pour différentes identités, permettant, à partir d'une entrée audio, de générer des effets d'animation adaptés à différentes identités de personnages.
Génération d'animations de chant : génère des animations de chant synchronisées à partir d'entrées vocales et musicales, l'animation reflétant fidèlement les mouvements des lèvres et les expressions lors du chant.

Autres caractéristiques de Hallo :

Temps réel : adopte une structure de modèle de diffusion qui améliore le caractère temps réel de la génération d'animations, rendant les animations générées plus réalistes et naturelles.
Personnalisation : permet de personnaliser les effets d'animation en fonction de différents acteurs ou personnages.
Diversité : offre plusieurs contrôles de mouvement, notamment les expressions, les poses et les mouvements des lèvres, rendant l'animation plus diversifiée et réaliste.

Adresse du projet Hallo :https://fudan-generative-vision.github.io/hallo

Hallo Github :https://github.com/fudan-generative-vision/hallo

Papier Hallo :https://arxiv.org/abs/2406.08801

HuggingFace :https://huggingface.co/fudan-generative-ai/hallo