LHM: Eine Technologie von Alibaba zur Rekonstruktion eines animierbaren 3D-Menschenmodells aus einem Einzelbild 188

Was ist LHM?

LHM ist eine Technik, die vom Tongyi-Labor von Alibaba vorgeschlagen wurde, um aus einem einzelnen Bild ein animierbares 3D-Menschenmodell zu rekonstruieren. Sie löst das Problem der Entkopplung von Geometrie, Erscheinungsbild und Verformung bei der 3D-Menschrekonstruktion aus einem Einzelbild. Vereinfacht ausgedrückt: Man muss nur ein Foto bereitstellen, und innerhalb weniger Sekunden wird ein 3D-Menschenmodell erstellt. Dieses Modell kann verschiedene Posen annehmen, wobei Details wie Kleidung, Haare und Gesicht sehr gut erhalten bleiben und das Ergebnis äußerst realistisch aussieht.

Technische Highlights von LHM

Multimodale Transformer-Architektur:

• Nutzt eine multimodale Transformer-Architektur, um Körperpositionsmerkmale und Bildmerkmale effektiv zu kodieren.

• Bewahrt Details mithilfe eines Aufmerksamkeitsmechanismus, insbesondere die geometrische Form und Textur von Kleidung.

Kopfbereich-Feature-Pyramid-Kodierungsschema:

• Es wird ein Kopfbereich-Feature-Pyramid-Kodierungsschema vorgeschlagen, das mehrskalige Merkmale des Kopfbereichs aggregiert.

• Verbessert die Erhaltung der Gesichtsidentität und die Wiederherstellung von Details.

3D Gaussian Splatting:

• Stellt den 3D-Körper als Gaussian Splatting dar und unterstützt Echtzeit-Rendering sowie posegesteuerte Animation in fotorealistischer Qualität.

Methode und Ablauf von LHM

• Bildeingabe: Aus dem Eingabebild werden Bildtokens für Körper und Kopf extrahiert.

• Multimodale Transformer-Fusion: Mit dem vorgeschlagenen Multimodal Body-Head Transformer (MBHT) werden geometrische Körpertokens mit den Bildtokens fusioniert.

• Dekodierung in Gauß-Parameter: Nach dem auf Aufmerksamkeit basierenden Fusionsprozess werden die geometrischen Körpertokens in Gauß-Parameter dekodiert.

Experimentelle Ergebnisse von LHM

• Schnelle Rekonstruktion: LHM kann innerhalb weniger Sekunden aus einem einzelnen Bild ein animierbares 3D-Menschenmodell rekonstruieren, ohne dass eine Nachbearbeitung erforderlich ist.

• Hohe Genauigkeit und Generalisierungsfähigkeit: Experimente auf synthetischen und realen Datensätzen zeigen, dass LHM in Bezug auf Rekonstruktionsgenauigkeit, Generalisierungsfähigkeit und Animationskonsistenz ein branchenführendes Niveau erreicht.

• Gesichts- und Handdetails: LHM erzeugt realistische Gesichts- und Handdetails und übertrifft damit bestehende Methoden.

Merkmale von LHM

• Schnelle Rekonstruktion: LHM kann innerhalb weniger Sekunden aus einem einzelnen Bild ein animierbares 3D-Menschenmodell rekonstruieren, ohne dass eine Nachbearbeitung erforderlich ist.

• Hohe Genauigkeit und Generalisierungsfähigkeit: Experimente auf synthetischen und realen Datensätzen zeigen, dass LHM in Bezug auf Rekonstruktionsgenauigkeit, Generalisierungsfähigkeit und Animationskonsistenz ein branchenführendes Niveau erreicht.

• Echtzeit-Rendering und Animationssteuerung: Das rekonstruierte Modell unterstützt Echtzeit-Rendering und posegesteuerte Animation und eignet sich für immersive AR/VR-Anwendungsszenarien.

Anwendungsszenarien von LHM

• Metaverse: Bietet Nutzern personalisierte 3D-Avatare und verstärkt die Immersion in virtuellen Welten.

• Film- und Videoproduktion: Schnelle Erzeugung hochwertiger 3D-Charakter­modelle zur Steigerung der Produktionseffizienz.

• Spieleentwicklung: Erstellung realistischer 3D-Spielcharaktere zur Verbesserung der visuellen Effekte.

Relevante Links

GitHub-Repository:https://github.com/aigc3d/LHM

Projektseite:https://lingtengqiu.github.io/LHM/

Paper:https://arxiv.org/abs/2503.10625