Make-A-Character: 3D-Charaktere aus Text 124

Make-A-Character ermöglicht es, durch eine einzige Beschreibung der Gesichtsform, der Gesichtszüge und der Frisur effizient und in großem Maßstab ultrarealistische 3D-digitale Charaktere mit umfassenden künstlerischen Fähigkeiten zu erzeugen. Das Ergebnis umfasst Kopf und Körper, Accessoires und Kleidung und unterstützt die Steuerung durch Animations-Assets, sodass die 3D-Digitalcharaktere lebensecht dynamisch dargestellt werden können. Sie können auch individuelle Merkmale wie Gesichtsform, Augenfarbe, Frisur, Augenbrauentyp, Mund und Nase anpassen sowie Falten und Sommersprossen hinzufügen. Make-A-Character unterstützt englische und chinesische Eingabeaufforderungen.

Make-A-Character Projektadresse: https://human3daigc.github.io/MACH/

Make-A-Character Demo-Adresse: https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summary

Hauptmerkmale von Make-A-Character:

1. Hochgradig realistisch: Die Charaktere werden auf Basis realer menschlicher Scandaten erzeugt, wobei die Haare aus echten Strähnen bestehen und nicht aus einem Mesh. Für eine hochwertige Echtzeitdarstellung wird das Physical Based Rendering (PBR) von Unreal Engine verwendet.

2. Vollständiges Modell: Jeder Charakter ist ein vollständiges Modell, einschließlich Augen, Zunge, Zähnen, ganzem Körper und Kleidung, und kann ohne zusätzliche Modellierung sofort verwendet werden.

3. Animierbar: Die Charaktere sind mit komplexen Skelettaufbauten ausgestattet, unterstützen Standardanimationen und verstärken so ihr realistisches Erscheinungsbild und ihre vielseitigen Einsatzmöglichkeiten.

4. Kontrollierbarkeit: Benutzer können Gesichtszüge wie Gesichtsform, Augenfarbe, Frisur, Augenbrauentyp, Mund und Nase detailliert anpassen sowie Falten und Sommersprossen hinzufügen.

5. Branchenkompatibilität: Die erzeugten 3D-Charaktere lassen sich nahtlos in bestehende Computergrafik-(CG)-Workflows integrieren, insbesondere in solche, die häufig in der Spiele- und Filmindustrie verwendet werden.

Funktionsprinzip von Make-A-Character:

Make-A-Character (MACH) kombiniert Large Language Models, visuelle Modelle und 3D-Generierungstechniken.

Das Framework nutzt ein Large Language Model (LLM), um verschiedene Gesichtsattribute zu extrahieren (z. B. Gesichtsform, Augenform, Mundform, Frisur und Farbe, Brillentyp). Diese semantischen Attribute werden dann auf entsprechende visuelle Hinweise abgebildet, die wiederum die Erzeugung eines Referenzportraits mithilfe von Stable Diffusion und ControlNet steuern. Durch eine Reihe von Modulen zur 2D-Gesichtsanalyse und 3D-Generierung werden das Mesh und die Texturen der Zielgesichter erzeugt und mit passenden Accessoires zusammengesetzt. Die parametrisierte Darstellung ermöglicht eine einfache Animation der erzeugten 3D-Avatare.

Verwendung von Make-A-Character:

1. Gesichtsbeschreibung eingeben

2. Auf „Generieren" klicken und 2 Minuten warten

3. Generiertes Ergebnis ansehen

Mit diesen Schritten kann Make-A-Character schnell realistische, vollständige und animierbare 3D-Charaktere aus einfachen Textbeschreibungen erzeugen – geeignet für verschiedene Unterhaltungs- und professionelle Szenarien.