ChatAnyone : générateur Alibaba de portraits vidéo à partir de l'audio, avec des expressions riches et des mouvements du haut du corps 146

Qu'est-ce que ChatAnyone ?

ChatAnyone est un cadre de génération de portraits vidéo stylisés en temps réel développé par le laboratoire Tongyi du groupe Alibaba, permettant une génération d'animation haute fidélité d'une « tête parlante » vers une interaction半身 (moitié supérieure du corps), avec un support pour des expressions faciales diversifiées et un contrôle stylistique. Il est adapté aux scénarios de chat vidéo en temps réel, d'animateurs virtuels, d'assistants ai, etc.

Méthode technique de ChatAnyone

Modèle de diffusion de mouvement hiérarchique efficace (Hierarchical Motion Diffusion Model)

• Entrée : signal audio.

• Sortie : signaux de contrôle du visage et du corps, prenant en compte les signaux de mouvement explicites et implicites.

• Fonction : génère des expressions faciales diversifiées et synchronise les mouvements de la tête et du corps.

• Contrôle fin des expressions : prend en charge des variations d'expressions de différentes intensités, ainsi que le transfert d'expressions stylisées à partir de vidéos de référence.

Modèle génératif à fusion de contrôle hybride (Hybrid Control Fusion Generative Model)

• Génération d'expressions faciales : combine des repères explicites et des décalages implicites pour générer des expressions faciales réalistes.

• Contrôle des mouvements des mains : injecte des signaux de contrôle explicites des mains pour générer des mouvements de mains plus précis et réalistes.

• Module d'optimisation faciale : améliore le réalisme du visage, garantissant que la vidéo de portrait générée présente une grande expressivité et un fort sentiment de réalisme.

Cadre de génération en temps réel évolutif

• Flexibilité : prend en charge aussi bien l'animation pilotée par la tête que la génération du haut du corps incluant les gestes.

• Temps réel : génère en temps réel une vidéo de portrait du haut du corps à une résolution maximale de 512×768 et à 30 fps sur un GPU 4090.

Résultats expérimentaux de ChatAnyone

• Animation du haut du corps pilotée par l'audio : génère des vidéos de humains numériques du haut du corps très expressives, prenant en charge les scénarios avec et sans mains.

• Animation de la tête pilotée par l'audio : réalise une synchronisation labiale de haute précision, générant des postures naturelles de la tête et des expressions faciales riches.

• Animation stylisée pilotée par l'audio : prend en charge la génération d'animations de personnages stylisés, et convient également à la génération de vidéos de chant expressives.

• Démonstration de podcast IA à deux animateurs : capable de générer des podcasts à deux animateurs, prenant en charge les dialogues pilotés par l'IA.

• Démonstration d'interaction en temps réel : réalise une génération en temps réel à 30 fps sur un GPU 4090, prenant en charge les applications interactives de chat vidéo en conditions réelles.

Avantages de ChatAnyone

• Haute fidélité et naturel : les vidéos de portrait générées présentent des expressions riches et des mouvements naturels du haut du corps.

• Temps réel : prend en charge l'interaction en temps réel, adapté aux scénarios d'application tels que le chat vidéo.

• Contrôle stylistique : permet d'ajuster le style des expressions selon les besoins, pour une génération d'animation personnalisée.

Scénarios d'application de ChatAnyone

Animateurs virtuels et visioconférence

• Animateurs virtuels pour les bulletins d'information et le commerce en direct.

• Fourniture d'avatars virtuels dans les visioconférences pour renforcer l'interactivité.

Création de contenu et divertissement

• Production d'animation : génération de personnages animés stylisés.

• Concerts virtuels : génération d'animations en temps réel de chanteurs ou d'artistes virtuels.

• Podcasts IA : génération d'avatars virtuels pour des podcasts à deux animateurs.

Éducation et formation

• Enseignement en ligne : génération d'avatars d'enseignants virtuels.

• Simulation de formation : génération de personnages virtuels pour des dialogues interactifs.

Service client

• Service client intelligent : génération d'avatars de service client virtuels.

• Interaction client : fourniture de réponses vivantes et interactives.

Marketing et publicité

• Ambassadeurs virtuels : génération d'images de porte-parole de marque.

• Publicités vidéo : génération de contenus publicitaires hautement interactifs.

Divertissement social

• Chat anonyme : génération d'avatars virtuels pour protéger la vie privée.

• Plateformes sociales : génération d'avatars virtuels personnalisés.

Santé et médecine

• Consultation santé virtuelle : génération d'images de médecins virtuels.

• Entraînement à la rééducation : génération de coachs de rééducation virtuels.

Autres

• Guides touristiques virtuels : utilisés pour la planification de voyages et la présentation de sites touristiques.

• Bulletins d'information : génération de présentateurs de nouvelles virtuels.

Liens connexes

Adresse du projet :https://github.com/HumanAIGC/chat-anyone

Adresse de l'article :https://arxiv.org/abs/2506.00920