Vid2Avatar-Pro: Realistische 3D-Mensch-Avatare aus monokularem Video erzeugen 184

小编 · 2025-03-10

Vid2Avatar-Pro ist eine Technik, die aus gewöhnlichen monokularen Videos realistische, animierbare 3D-Mensch-Avatare erstellt. Als Weiterentwicklung von Vid2Avatar führt sie ein Universal Prior Model (UPM) und eine optimierte 3D-Darstellung ein, um Realismus und Generalisierung zu verbessern.

Vid2Avatar-Pro: Realistische 3D-Mensch-Avatare aus monokularem Video erzeugen

Was ist Vid2Avatar-Pro?

Vid2Avatar-Pro ist eine Technologie, die aus gewöhnlichen monokularen Naturvideos realistische und animierbare 3D-Avatare von menschlichen Körpern erstellen kann. Es ist die Weiterentwicklung von Vid2Avatar und verbessert den Realismus und die Generalisierungsfähigkeit der Avatare durch die Einführung eines universellen Prior-Modells (Universal Prior Model, UPM) und optimierter 3D-Darstellungsmethoden.

Funktionsmerkmale von Vid2Avatar-Pro

Hoher Realismus und Animierbarkeit: Vid2Avatar-Pro kann aus gewöhnlichen monokularen Videos realistische 3D-Avatare erzeugen und unterstützt komplexe Bewegungsanimationen.
Multi-View-Rendering: Die erzeugten Avatare können aus beliebigen Blickwinkeln gerendert werden, was das Problem der eingeschränkten Blickwinkel herkömmlicher Methoden löst.
Unterstützung vielfältiger Bewegungen: Die Avatare können eine Vielzahl komplexer Bewegungen ausführen, wie z. B. Badminton spielen, Trommeln, Einbeinsprünge usw.
Universelles Prior-Modell (UPM): Durch ein auf umfangreichen Multi-View-Daten vortrainiertes universelles Prior-Modell wird die Generalisierungsfähigkeit auf neue Posen und Blickwinkel deutlich verbessert.

Anwendungsszenarien von Vid2Avatar-Pro

Film- und Fernsehproduktion: Rekonstruktion von 3D-Modellen von Schauspielern aus gewöhnlichen Videos für die Erstellung von Spezialeffekten.
Virtual Reality (VR) und Augmented Reality (AR): Erstellung realistischer virtueller Charaktere zur Steigerung der Immersion.
Mode und E-Commerce: Rekonstruktion von 3D-Modellen der Nutzer per Video für virtuelle Anproben.
Sportanalyse: Rekonstruktion von Athletenmodellen aus Wettkampfvideos zur Analyse von Bewegungsdetails.
Medizinische Rehabilitation: Aufzeichnung und Analyse von Bewegungen während des Genesungsprozesses von Patienten.

Technische Prinzipien von Vid2Avatar-Pro

Universelles Prior-Modell (UPM)

Vortrainingsphase: UPM wird mit umfangreichen Multi-View-, dynamischen Daten bekleideter menschlicher Darbietungen trainiert, sodass es allgemeine Merkmale des menschlichen Aussehens und der Pose erfassen kann.
Feinabstimmungsphase: Auf dem gegebenen monokularen In-the-Wild-Video wird das vortrainierte UPM mittels inversem Rendering feinabgestimmt, um die Details einer bestimmten Person wiederherzustellen.

3D-Gauß-Darstellung

Verwendung einer 3D-Gauß-Darstellung mit kanonischen Vorwärts- und Rückwärtskarten zur Konstruktion des Avatars, wobei diese Karten über verschiedene Identitäten hinweg gemeinsam genutzt werden.
Synthese der Trainingspose-/Formparameter durch vorwärtsgerichtetes Linear Blend Skinning (LBS) und Rasterisierung.

Selbstüberwachte Szenenzerlegung

Ohne Abhängigkeit von externen Segmentierungsmodulen wird der menschliche Körper und der Hintergrund direkt im 3D getrennt.
Person und Hintergrund werden durch zwei unabhängige neuronale Felder parametrisiert, wodurch die Aufgaben der Szenenzerlegung und der Oberflächenrekonstruktion gelöst werden.

Optimierungsstrategie

Einführung einer Coarse-to-Fine-Sampling-Strategie und neuartiger Zielfunktionen, um den dynamischen menschlichen Körper und den statischen Hintergrund klar zu trennen.
Optimierung des Hintergrundmodells, der kanonischen menschlichen Form und Textur sowie der menschlichen Poseparameter pro Frame.