HSMR: Neue Methode zur Rekonstruktion von 3D-Skelett und Mesh-Modell aus einem Einzelbild 144

小编 · 2025-04-01

HSMR ist eine Computer-Vision- und Deep-Learning-Technik, die aus monokularen oder mehransichtigen Bildern die Skelettstruktur und das 3D-Mesh-Modell eines Menschen rekonstruiert. Die Technologie findet breite Anwendung in Virtual Reality, Augmented Reality, Spieleentwicklung und Bewegungsanalyse.

HSMR: Neue Methode zur Rekonstruktion von 3D-Skelett und Mesh-Modell aus einem Einzelbild

Was ist HSMR?

HSMR ist eine Technik aus dem Bereich Computer Vision und Deep Learning, die in der Lage ist, die Skelettstruktur und ein 3D-Netzmodell des menschlichen Körpers aus monokularen oder multiokularen Bildern zu rekonstruieren. Diese Technik findet breite Anwendung in Bereichen wie Virtual Reality, Augmented Reality, Spieleentwicklung und Bewegungsanalyse.

HSMR 是什么？.webp

Methode

Modellarchitektur: HSMR verwendet eine Transformer-basierte Architektur. Als Eingabe dient ein einzelnes Bild einer Person, und die Ausgabe besteht aus den Pose-Parametern q und den Formparametern β des SKEL-Modells.
Datengenerierung und Training:
Aufgrund des Mangels an ausreichenden Trainingsdaten haben die Autoren eine Pipeline zur Erzeugung pseudo-realistischer Daten aufgebaut und diese Pseudo-Labels durch iterative Optimierung schrittweise verbessert.
Während des Trainings werden die Schätzungen von HSMR optimiert, um sie an reale 2D-Keypoints anzupassen (SKELify), und die optimierten Parameter werden als Überwachungsziel für das anschließende Training verwendet.
Biomechanische Genauigkeit: Das SKEL-Modell verfügt über biomechanisch sinnvolle Freiheitsgrade, die eine realistischere Schätzung der Gelenkrotationen ermöglichen und die bei herkömmlichen Methoden häufig auftretenden Verletzungen der Gelenkwinkelgrenzen vermeiden.

HSMR：从单张图像重建人体3D骨架和网格模型的新方法.webp

Funktionsmerkmale

Ende-zu-Ende-Rekonstruktion aus einem Einzelbild: HSMR kann die Skelettparameter einer Person direkt aus einem einzelnen Bild wiederherstellen und ist die erste Methode, die eine solche Funktionalität bietet.
Biomechanische Genauigkeit: Durch die Verwendung des parametrisierten Körpermodells SKEL, das auf einem biomechanisch korrekten Skelett basiert, werden Gelenkrotationsschätzungen geliefert, die besser mit der menschlichen Anatomie übereinstimmen, und die bei herkömmlichen Methoden häufig auftretenden unnatürlichen Rotationen und biomechanischen Ungenauigkeiten vermieden.
Erzeugung pseudo-realistischer Daten und iteratives Optimierungstraining: Um das Problem unzureichender Trainingsdaten zu lösen, baut HSMR eine Pipeline zur Erzeugung pseudo-realistischer Daten auf und verbessert diese Pseudo-Labels durch iterative Optimierung schrittweise, um die Trainingsgenauigkeit des Modells zu erhöhen.
Transformer-Architektur: Es wird eine Transformer-basierte Architektur zur Verarbeitung der Eingabebilder verwendet, um die Pose- und Formparameter des SKEL-Modells zu schätzen. Dadurch lassen sich komplexe Merkmale im Bild und Informationen über die Körperhaltung besser erfassen.

Anwendungsszenarien

Virtual Reality und Augmented Reality: Bietet realistischere Interaktionserlebnisse für Spiele, Schulungen und Simulationstrainings.
Bewegungsanalyse und Biomechanik: Analyse der Bewegungen von Sportlern, um Trainingsmethoden und Geräte zu optimieren.
Medizinische Diagnose und Rehabilitation: Unterstützt Ärzte bei der Haltungsbeurteilung und Krankheitsdiagnose und hilft Patienten beim Rehabilitationstraining.

Experimentelle Ergebnisse

Leistungsvergleich: HSMR ist auf standardmäßigen Benchmarks wettbewerbsfähig im Vergleich zu modernsten Methoden und übertrifft andere Methoden bei extremen 3D-Posen und Blickwinkeleinstellungen deutlich.
Visualisierungsergebnisse: Visualisierungen aus Kameraperspektive und Seitenansicht demonstrieren die Rekonstruktionsleistung von HSMR und belegen seine Robustheit unter verschiedenen Blickwinkeln.