MultiGO: Ein Durchbruch bei hochwertigen 3D-Menschenmodellen aus einem einzigen Bild 53

小编 · 2025-05-06

MultiGO des HKUST(GZ)-Teams nutzt hierarchische Modellierung, um aus einem einzigen Bild hochwertige 3D-Menschenmodelle zu erzeugen. Der Körper wird Schicht für Schicht von der Grundform bis zu feinen Texturen verfeinert, wodurch der Detailmangel herkömmlicher 3D-Rekonstruktion behoben wird. Angenommen auf der CVPR 2025, lässt sich das Verfahren für virtuelle Anproben, Spielfigurengenerierung und visuelle Effekte einsetzen. Durch ein dreistufiges Geometrie-Lernen wird die Robustheit gegenüber Tiefenfehlern erhöht und Oberflächendetails bis in den Submillimeterbereich rekonstruiert – mit hohem praktischem Nutzen.

MultiGO: Ein Durchbruch bei hochwertigen 3D-Menschenmodellen aus einem einzigen Bild

Was ist MultiGO?

Das MultiGO-Projekt des Teams der Hong Kong University of Science and Technology (Guangzhou) erzeugt hochrealistische 3D-Menschenmodelle aus einem einzelnen Bild durch einen hierarchischen Modellierungsansatz. Dabei wird der menschliche Körper von der grundlegenden Körperform bis hin zu feinen Texturen schichtweise verfeinert, was das Problem der unzureichenden Detailtiefe herkömmlicher 3D-Rekonstruktion löst. Dieses Ergebnis wurde auf der CVPR 2025 angenommen und kann in Bereichen wie virtueller Anprobe, Spielfigurenerstellung und Film-Spezialeffekten eingesetzt werden. Durch ein dreistufiges Geometrie-Lernen wird die Widerstandsfähigkeit gegenüber Tiefenfehlern erhöht, und Oberflächendetails können auf Submillimeterebene rekonstruiert werden, was einen hohen praktischen Nutzen bietet.

MultiGO：实现了从单张图像生成高保真3D人体模型的突破.webp

MultiGO-Technologie

Dreistufiges Geometrie-Lernframework

Skeleton-Enhancement-Modul: Durch die Projektion von 3D-Fourier-Merkmalen in den 2D-Raum und die Kombination mit dem SMPL-X-Menschenmesh als geometrische Prior werden die Modellierung des menschlichen Skeletts verbessert. Die Fourier-Raum-Positionskodierung erhöht die semantische Ausrichtung zwischen dem 3D-Modell und dem 2D-Bild, sodass das Modell die Pose-Merkmale des menschlichen Körpers präziser erfassen kann.
Joint-Enhancement-Strategie: Während des Trainings werden Störungen auf die Gelenkpunktpositionen ausgeübt, um die Robustheit des Modells gegenüber Tiefenschätzungsfehlern zu erhöhen. Diese Strategie passt gezielt Parameter an, die die Tiefenwahrnehmung beeinflussen, und vermeidet so ungenaue Rekonstruktionen von Gliedmaßenpositionen aufgrund von Tiefenmehrdeutigkeiten.
Wrinkle-Refinement-Modul: Mithilfe eines diffusionsmodellähnlichen Denoising-Ansatzes werden Oberflächenfalten als optimierbare Rauschmuster behandelt und schrittweise feinere hochfrequente Details wiederhergestellt. Dieser innovative Ansatz ermöglicht es MultiGO, Oberflächendetails auf Submillimeterebene zu erzeugen und effektiv die Mängel herkömmlicher Methoden bei hochfrequenten Details wie Kleiderfalten zu beheben.

Hochpräzise Detailrekonstruktion

Durch die dreistufige hierarchische Modellierungsstrategie erreicht MultiGO eine mehrskalige, verfeinerte Rekonstruktion von der makroskopischen Pose bis zu den mikroskopischen Details. Die experimentellen Ergebnisse zeigen, dass MultiGO auf den Testdatensätzen CustomHuman und THuman3.0 branchenführende Leistungswerte erzielt.

Funktionsprinzip

Das SLE-Modul projiziert 3D-Fourier-Merkmale in den 2D-Raum des Eingabebildes, sodass das Gaußsche Rekonstruktionsmodell mithilfe von Prior-Wissen über die menschliche Körperform die Pose genau erfassen kann; die JLA-Strategie übt während des Trainings kontrollierte Störungen aus, um die Robustheit des Modells gegenüber Tiefenfehlern bei der Inferenz zu verbessern und die Tiefenschätzung der menschlichen Gelenke zu optimieren; das WLR-Modul behandelt das grobe Mesh als gaußsches Rauschen und verfeinert Falten, indem es hochwertige Texturen der rekonstruierten Gauß-Verteilung als Bedingung nutzt, um geometrische Details zu optimieren.

Vorteile von MultiGO

Hochrealistische 3D-Menschenrekonstruktion: Kann aus monokularen Bildern hochrealistische 3D-Menschenmodelle erzeugen und unterstützt die detaillierte Rekonstruktion von Feinheiten wie Kleiderfalten und Hauttexturen.
Schnelle Erzeugung und Anpassung: Unterstützt die schnelle Erzeugung personalisierter 3D-Avatare und ermöglicht flexible Detailanpassungen, was die Produktionskosten für Grafikressourcen erheblich senkt.
Multi-Szenario-Anpassungsfähigkeit: Geeignet für Anwendungsszenarien, die eine schnelle Erzeugung sowie hohe Anforderungen an Realismus und multi-skalige Detailrekonstruktion erfordern.

Anwendungsszenarien von MultiGO

Virtuelle Anprobe und Mode-E-Commerce: Verbraucher müssen lediglich ein Ganzkörperfoto hochladen, woraufhin ein hochrealistisches 3D-Menschenmodell erzeugt wird. Das System kann automatisch den Trageeffekt verschiedener Kleidungsstücke simulieren.
Gaming und Metaverse: Schnelle Erstellung personalisierter 3D-Avatare aus einem einzigen Foto, wobei die hierarchische Struktur flexible Anpassungen ermöglicht.
Film-Spezialeffekte und virtuelle Produktion: Bei der Erstellung von Spezialeffekten kann aus einem einseitigen Foto eines Schauspielers ein hochpräzises 3D-Modell rekonstruiert werden, das für Motion Capture oder Stunt-Double-Synthese verwendet wird. Das hierarchische Design erlaubt es, bestimmte Ebenen in der Postproduktion separat zu bearbeiten.