HSMR: nuevo método para reconstruir el esqueleto 3D y la malla de una persona a partir de una sola imagen 145

¿Qué es HSMR?

HSMR es una técnica de visión por computadora y aprendizaje profundo que puede recuperar la estructura del esqueleto humano y el modelo de malla tridimensional a partir de imágenes monoculares o multi-vista. Esta tecnología tiene aplicaciones muy amplias en escenarios como la realidad virtual, la realidad aumentada, el desarrollo de videojuegos y el análisis deportivo.

Método

• Arquitectura del modelo: HSMR adopta una arquitectura basada en Transformer, tomando como entrada una sola imagen del cuerpo humano y produciendo como salida los parámetros de postura q y los parámetros de forma β del modelo SKEL.

• Generación de datos y entrenamiento:

  Debido a la falta de suficientes datos de entrenamiento, los autores construyeron un flujo de trabajo para generar datos pseudo-reales, y a través de optimización iterativa fueron mejorando progresivamente estas pseudo-etiquetas.

  Durante el proceso de entrenamiento, se optimizan las estimaciones de HSMR para alinearse con los puntos clave 2D reales (SKELify), y los parámetros optimizados se utilizan como objetivos de supervisión para el entrenamiento posterior.

• Precisión biomecánica: El modelo SKEL posee grados de libertad biomecánicamente plausibles, lo que permite estimar las rotaciones articulares de manera más realista, evitando los problemas de violación de los límites angulares articulares comunes en los métodos tradicionales.

Características

• Reconstrucción end-to-end a partir de una sola imagen: HSMR puede recuperar directamente los parámetros del esqueleto humano a partir de una sola imagen, siendo el primer método en lograr esta funcionalidad.

• Precisión biomecánica: Mediante el uso del modelo paramétrico humano SKEL, que se basa en un diseño de esqueleto biomecánicamente preciso, puede proporcionar estimaciones de rotación articular más acordes con la fisiología humana, evitando las rotaciones antinaturales y las imprecisiones biomecánicas comunes en los métodos tradicionales.

• Generación de datos pseudo-reales y entrenamiento con optimización iterativa: Para abordar la escasez de datos de entrenamiento, HSMR construye un flujo de trabajo para generar datos pseudo-reales y mejora iterativamente estas pseudo-etiquetas con el fin de aumentar la precisión del entrenamiento del modelo.

• Arquitectura Transformer: Utiliza una arquitectura basada en Transformer para procesar las imágenes de entrada y estimar los parámetros de postura y de forma del modelo SKEL, lo que le permite capturar mejor las características complejas y la información de la postura humana presentes en la imagen.

Escenarios de aplicación

• Realidad virtual y realidad aumentada: Proporciona experiencias de interacción más realistas para juegos, formación y entrenamiento simulado.

• Análisis deportivo y biomecánica: Analiza los movimientos de los atletas para optimizar los métodos de entrenamiento y el diseño de equipos.

• Diagnóstico médico y rehabilitación: Asiste a los médicos en la evaluación postural y el diagnóstico de enfermedades, y ayuda a los pacientes en su rehabilitación.

Resultados experimentales

• Comparación de rendimiento: HSMR muestra un rendimiento competitivo frente a los métodos más avanzados en los benchmarks estándar, y supera significativamente a otros métodos en configuraciones extremas de postura 3D y puntos de vista.

• Resultados de visualización: Las visualizaciones desde la perspectiva de la cámara y desde una vista lateral muestran la efectividad de reconstrucción de HSMR, lo que demuestra su robustez bajo diferentes puntos de vista.

Enlaces relacionados

Página del proyecto:https://isshikihugh.github.io/HSMR/

Repositorio en Github:https://github.com/IsshikiHugh/HSMR

Huggingface:https://huggingface.co/spaces/IsshikiHugh/HSMR

Paper:https://arxiv.org/abs/2503.21751