HSMR : nouvelle méthode pour reconstruire le squelette 3D et le maillage humain à partir d'une seule image 150

小编 · 2025-04-01

HSMR est une technique de vision par ordinateur et d'apprentissage profond qui reconstruit la structure du squelette et le maillage 3D d'un humain à partir d'images monoculaires ou multi-vues. Cette technologie trouve de nombreuses applications en réalité virtuelle, réalité augmentée, développement de jeux et analyse du mouvement.

HSMR : nouvelle méthode pour reconstruire le squelette 3D et le maillage humain à partir d'une seule image

Qu'est-ce que HSMR ?

HSMR est une technique de vision par ordinateur et d'apprentissage profond capable de récupérer la charpente osseuse et le modèle de maillage 3D du corps humain à partir d'images monoculaires ou multi-vues. Cette technologie trouve de nombreuses applications dans des scénarios tels que la réalité virtuelle, la réalité augmentée, le développement de jeux et l'analyse sportive.

HSMR 是什么？.webp

Méthode

Architecture du modèle : HSMR adopte une architecture basée sur Transformer, prenant en entrée une image unique du corps humain et produisant en sortie les paramètres de pose q et les paramètres de forme β du modèle SKEL.
Génération de données et entraînement :
En raison du manque de données d'entraînement suffisantes, les auteurs ont construit un pipeline générant des données pseudo-réelles et ont amélioré progressivement ces pseudo-étiquettes par le biais d'une optimisation itérative.
Pendant le processus d'entraînement, les estimations de HSMR sont optimisées pour s'aligner sur les points-clés 2D réels (SKELify), et les paramètres optimisés sont utilisés comme cibles de supervision pour l'entraînement ultérieur.
Précision biomécanique : Le modèle SKEL possède des degrés de liberté biomécaniquement plausibles, permettant une estimation plus réaliste des rotations articulaires et évitant les problèmes courants de violation des limites d'angles articulaires que l'on rencontre dans les méthodes traditionnelles.

HSMR：从单张图像重建人体3D骨架和网格模型的新方法.webp

Fonctionnalités et caractéristiques

Reconstruction de bout en bout à partir d'une seule image : HSMR peut récupérer directement les paramètres de la charpente osseuse du corps humain à partir d'une seule image, ce qui en fait la première méthode à offrir cette fonctionnalité.
Précision biomécanique : grâce au modèle paramétrique SKEL du corps humain, basé sur une conception biomécaniquement précise de la charpente osseuse, il fournit des estimations de rotation articulaire plus conformes à la physiologie humaine, évitant les rotations non naturelles et les imprécisions biomécaniques courantes dans les méthodes traditionnelles.
Génération de données pseudo-réelles et entraînement par optimisation itérative : pour résoudre le problème du manque de données d'entraînement, HSMR construit un pipeline générant des données pseudo-réelles et améliore progressivement ces pseudo-étiquettes par optimisation itérative afin d'augmenter la précision d'entraînement du modèle.
Architecture Transformer : utilise une architecture basée sur Transformer pour traiter l'image d'entrée et estimer les paramètres de pose et de forme du modèle SKEL, permettant ainsi de mieux capturer les caractéristiques complexes et les informations posturales de l'image.

Scénarios d'application

Réalité virtuelle et réalité augmentée : offre une expérience d'interaction plus réaliste pour les jeux, la formation et l'entraînement par simulation.
Analyse sportive et biomécanique : analyse les mouvements des athlètes, optimise les méthodes d'entraînement et la conception des équipements.
Diagnostic médical et rééducation : aide les médecins dans l'évaluation posturale et le diagnostic des maladies, et assiste les patients dans leur rééducation.

Résultats expérimentaux

Comparaison des performances : HSMR est compétitif par rapport aux méthodes de l'état de l'art sur les benchmarks standard, et surpasse significativement les autres méthodes dans des configurations de poses 3D et d'angles de vue extrêmes.
Résultats de visualisation : la qualité de reconstruction de HSMR est démontrée par des visualisations sous différents angles de caméra et angles latéraux, prouvant sa robustesse sous différents points de vue.