MoCha : le premier modèle DiT de Meta pour la génération de personnages parlants de qualité cinématographique 128

Qu'est-ce que MoCha ?

MoCha est un modèle ai développé conjointement par Meta et l'Université de Toronto, capable de générer des animations de personnages de haute qualité avec une représentation complète des personnages à partir d'entrées vocales ou textuelles vidéo, avec des mouvements fluides et cohérents, prenant en charge les dialogues multi-personnages. C'est le premier modèle DiT capable de générer des personnages de niveau cinématographique en conversation.

Fonctionnalités de MoCha

• Génération d'animations de personnages pilotées par la voix : l'utilisateur saisit de la voix, et MoCha peut générer les mouvements des lèvres, les expressions faciales, les gestes et les mouvements corporels du personnage synchronisés avec le contenu vocal.

• Génération d'animations de personnages pilotées par texte : l'utilisateur saisit uniquement un script textuel, MoCha synthétise d'abord automatiquement la voix, puis anime le personnage avec des mouvements de lèvres et des gestes complets.

• Génération de dialogues multi-personnages à tour de rôle : MoCha fournit des modèles de prompts structurés et des étiquettes de personnages, capable d'identifier automatiquement les tours de dialogue et d'obtenir une présentation naturelle des échanges entre les personnages.

• Prise en charge de multiples scénarios d'application : streaming virtuel, création d'animation et de films, création de contenu éducatif, service client humain numérique et patrimoine numérique, entre autres.

Avantages de MoCha

• Contenu généré proche du niveau cinématographique : contrairement à la technologie traditionnelle « Talking Head », MoCha est capable de générer des animations en plan large, rendant les mouvements des personnages plus naturels.

• Abaisse la barrière à la création : aucun équipement de capture de mouvement ni expérience en modélisation 3D n'est requis, ce qui réduit la barrière à la création de contenu.

Applications de MoCha :

• Présentateur virtuel : génération automatique de Vlogs quotidiens et de sessions de questions-réponses avec des personnages

• Création d'animation et de films : doublage automatique par IA + animation automatique, réduisant les coûts de production

• Création de contenu éducatif : un professeur IA donne des cours ou interagit avec les élèves

• Service client humain numérique : service client et rôles de conseil anthropomorphes pour les entreprises

• Patrimoine numérique : création d'images dynamiques pour des personnages historiques ou des proches disparus

Liens connexes

Page du projet : https:// congwei1230.github.io/MoCha/

Article : https:// arxiv.org/pdf/2503.23307