JoyGen : framework de génération de vidéos 3D de visages parlants piloté par l'audio 118

JoyGen est un cadre de génération de vidéos de visages parlants en 3D pilotées par l'audio, développé conjointement par JD Tech et l'Université de Hong Kong. Il s'agit d'un nouveau cadre en deux étapes dont la technologie consiste à piloter un modèle de perception profonde 3D via une entrée audio, offrant une synchronisation labiale précise avec l'audio, afin de simuler avec exactitude les mouvements des lèvres et les expressions faciales du locuteur, rendant la vidéo générée plus réaliste. Il est principalement appliqué dans les domaines du montage vidéo et de l'interaction virtuelle.

JoyGen a été entraîné à partir d'un ensemble de données de visages parlants en chinois comprenant 130 heures de vidéos de haute qualité. Cet ensemble de données, combiné au HDTF (ensemble de données de cartes de profondeur haute résolution) open source, prend en charge les entrées en chinois et en anglais.

De plus, JoyGen prend également en compte les caractéristiques émotionnelles de l'audio, permettant d'exprimer naturellement les changements émotionnels du personnage dans l'animation générée, tels qu'un sourire ou un froncement de sourcils, ce qui est extrêmement puissant.

Fonctionnalités clés de JoyGen :

• Prise en charge multilingue : JoyGen est capable de traiter des entrées audio en plusieurs langues, notamment en chinois et en anglais.

• Effets visuels de haute qualité : grâce à un traitement minutieux des expressions faciales et des détails des lèvres, la vidéo générée est extrêmement réaliste.

• Synchronisation labiale précise : grâce à l'analyse des caractéristiques audio et à la technologie des cartes de profondeur faciale, les mouvements des lèvres du personnage dans la vidéo correspondent parfaitement au contenu audio.

• Optimisation du montage vidéo : en plus de générer de nouvelles vidéos, il permet également d'éditer les mouvements des lèvres dans des vidéos existantes, sans avoir à produire à nouveau toute la séquence vidéo depuis le début.

• Architecture technique efficace : il adopte une architecture UNet en une seule étape, ce qui simplifie considérablement le processus de montage vidéo.

Principes techniques :

1. Génération des mouvements labiaux pilotée par l'audio :

• Un modèle de reconstruction 3D est utilisé pour extraire les caractéristiques d'identité à partir des images faciales, définissant ainsi la structure faciale unique du personnage.

• Grâce à un modèle audio-vers-mouvement, le signal audio est converti en coefficients d'expression qui contrôlent les mouvements des lèvres.

• En combinant les coefficients d'identité et d'expression, une technologie de rendu différentiable est utilisée pour générer une carte de profondeur faciale, préparant ainsi la synthèse vidéo ultérieure.

2. Synthèse de l'apparence visuelle :

• Un réseau UNet en une seule étape est utilisé pour intégrer les caractéristiques audio et la carte de profondeur, générant directement des images vidéo contenant des mouvements labiaux précis.

• L'introduction d'un mécanisme d'attention croisée garantit une forte cohérence entre les mouvements labiaux et le signal audio, renforçant ainsi la synchronisation.

• Grâce à un processus d'optimisation (tel que la fonction de perte L1), la qualité vidéo est assurée, conciliant la précision au niveau des pixels et celle dans l'espace latent.

Comment utiliser JoyGen :

• Configuration de l'environnement : l'utilisateur doit créer un environnement conda spécifique et installer les dépendances nécessaires, notamment certaines bibliothèques particulières telles que Nvdiffrast.

• Téléchargement des modèles pré-entraînés : obtenir les modèles pré-entraînés de JoyGen, y compris le modèle 3D, le modèle audio-vers-mouvement, etc. Ces ressources sont généralement disponibles sur la page GitHub du projet.

• Exécution de l'inférence : en exécutant des scripts et des paramètres spécifiques, l'utilisateur peut convertir un fichier audio en une vidéo 3D de visage parlant avec une synchronisation labiale réaliste.

Applications de JoyGen :

• Réunions virtuelles : améliorer l'expression faciale lors des réunions virtuelles.

• Production cinématographique et télévisuelle : créer des effets spéciaux pour les films et la télévision.

• Éducation et formation : utilisé pour produire des vidéos éducatives vivantes.

• Assistants IA : augmenter le degré d'anthropomorphisme des assistants IA dans l'interaction homme-machine.

JoyGen simplifie considérablement la génération vidéo complexe de visages humains. Il joue un rôle très important dans la création de contenu de jumeaux numériques, les réunions virtuelles, le divertissement, etc.

GitHub : https://github.com/JOY-MM/JoyGen