Make-A-Character : des personnages 3D à partir de texte 125

Make-A-Character permet de générer de manière efficace et à grande échelle des 3D humains numériques ultra-réalistes aux capacités artistiques complètes, à partir d'une simple phrase décrivant la forme du visage, les traits du visage et les caractéristiques de la coiffure. Les résultats générés comprennent la tête et le corps humains, les accessoires et les vêtements, et prennent en charge le pilotage par des assets d'animation d'expressions, permettant aux humains numériques 3D d'être présentés de manière vivante et dynamique.Vous pouvez également personnaliser les traits du visage, tels que la forme du visage, la couleur des yeux, la coiffure, le type de sourcils, la bouche et le nez, ainsi qu'ajouter des rides et des taches de rousseur.Make-A-Characterprend en charge les invites en anglais et en chinois.

Adresse du projet Make-A-Character :https://human3daigc.github.io/MACH/

Adresse de démonstration de Make-A-Character :https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summary

Caractéristiques principales de Make-A-Character :

1. Hautement réaliste : les personnages sont générés à partir d'un jeu de données de scans d'êtres humains réels, avec des cheveux réels plutôt que sous forme de maillage, et rendus à l'aide de la technologie de rendu basé sur la physique (PBR) d'Unreal Engine, afin d'obtenir un rendu en temps réel de haute qualité.

2. Modèle complet : chaque personnage est un modèle complet, comprenant les yeux, la langue, les dents, le corps entier et les vêtements, prêt à l'emploi sans modélisation supplémentaire.

3. Animable : les personnages sont équipés d'un dispositif de squelette complexe, prenant en charge les animations standard, ce qui renforce leur aspect réaliste et leurs applications diversifiées.

4. Contrôlable : les utilisateurs peuvent personnaliser en détail les traits du visage, tels que la forme du visage, la couleur des yeux, la coiffure, le type de sourcils, la bouche et le nez, ainsi qu'ajouter des rides et des taches de rousseur.

5. Compatibilité sectorielle : les personnages 3D générés peuvent être intégrés de manière transparente dans les flux de travail existants de l'infographie (CG), notamment ceux couramment utilisés dans les secteurs du jeu vidéo et du cinéma.

Principe de Make-A-Character :

Make-A-Character (MACH) combine des modèles de langage de grande taille, des modèles de vision et des technologies de génération 3D.

Ce cadre utilise un grand modèle de langage (LLM) pour extraire divers attributs faciaux (par exemple, la forme du visage, la forme des yeux, la forme de la bouche, la coiffure et la couleur, le type de lunettes). Ces attributs sémantiques sont ensuite mappés à des indices visuels correspondants, qui guident la génération d'une image portrait de référence à l'aide de Stable Diffusion conjointement avec ControlNet. Grâce à une série de modules d'analyse faciale 2D et de génération 3D, le maillage et la texture du visage cible sont générés, puis assemblés avec d'autres accessoires assortis. La représentation paramétrique permet d'animer facilement les avatars 3D générés.

Utilisation de Make-A-Character :

1. Saisissez la description du visage

2. Cliquez sur générer et patientez 2 minutes

3. Consultez le résultat généré

Grâce à ces étapes, Make-A-Character permet de générer rapidement, à partir de simples descriptions textuelles, des personnages 3D réalistes, complets et animables, adaptés à divers scénarios de divertissement et professionnels.