HSMR: 단일 이미지에서 사람 3D 골격과 메쉬 모델을 복원하는 새로운 방법 149

小编 · 2025-04-01

HSMR은 단안 또는 다안 이미지로부터 사람의 골격 구조와 3D 메시 모델을 복원하는 컴퓨터 비전 및 딥러닝 기술입니다. 이 기술은 가상현실(VR), 증강현실(AR), 게임 개발, 동작 분석 등 다양한 분야에서 폭넓게 활용됩니다.

HSMR: 단일 이미지에서 사람 3D 골격과 메쉬 모델을 복원하는 새로운 방법

HSMR는 컴퓨터 비전과 딥러닝 기술로, 단안 또는 다안 이미지로부터 인체의 골격 구조와 3D 메쉬 모델을 복원할 수 있습니다. 이 기술은 가상현실(VR), 증강현실(AR), 게임 개발, 동작 분석 등 다양한 분야에서 폭넓게 활용됩니다.

HSMR 是什么？.webp

모델 아키텍처: HSMR은 Transformer 기반 아키텍처를 채택하여, 입력은 단일 인체 이미지이고 출력은 SKEL 모델의 포즈 파라미터 q와 형상 파라미터 β입니다.
데이터 생성 및 학습:
충분한 학습 데이터가 부족하기 때문에, 저자들은 의사-실제(pseudo-real) 데이터를 생성하는 파이프라인을 구축하고 반복 최적화를 통해 이러한 의사 레이블을 점진적으로 개선했습니다.
학습 과정에서 HSMR의 추정 결과를 최적화하여 실제 2D 키포인트(SKELify)에 정렬하고, 최적화된 파라미터를 이후 학습의 감독 목표로 사용합니다.
생체역학적 정확성: SKEL 모델은 생체역학적으로 타당한 자유도(DoF)를 가지며, 보다 현실적인 관절 회전 추정이 가능합니다. 이를 통해 기존 방법에서 흔히 발생하던 관절 각도 제한 위반 문제를 회피할 수 있습니다.

HSMR：从单张图像重建人体3D骨架和网格模型的新方法.webp

단일 이미지 기반 종단간(end-to-end) 복원: HSMR은 단일 이미지로부터 직접 인체 골격 파라미터를 복원할 수 있으며, 이러한 기능을 구현한 최초의 방법입니다.
생체역학적 정확성: 생체역학적으로 정확한 골격 설계를 기반으로 한 SKEL 파라메트릭 인체 모델을 채택하여, 인체의 생리학적 구조에 더 부합하는 관절 회전 추정을 제공합니다. 이를 통해 기존 방법에서 흔히 나타나는 부자연스러운 회전과 생체역학적 부정확성 문제를 회피할 수 있습니다.
의사-실제 데이터 생성 및 반복 최적화 학습: 학습 데이터 부족 문제를 해결하기 위해, HSMR은 의사-실제 데이터를 생성하는 파이프라인을 구축하고 반복 최적화를 통해 이러한 의사 레이블을 점진적으로 개선하여 모델의 학습 정밀도를 높입니다.
Transformer 아키텍처: Transformer 기반 아키텍처를 사용하여 입력 이미지를 처리하고 SKEL 모델의 포즈 파라미터와 형상 파라미터를 추정함으로써, 이미지의 복잡한 특징과 인체 자세 정보를 보다 정확하게 포착합니다.

성능 비교: HSMR은 표준 벤치마크 테스트에서 최첨단 방법과 경쟁력 있는 성능을 보이며, 극단적인 3D 자세 및 시점 설정 조건에서는 다른 방법보다 현저히 우수한 성능을 나타냅니다.
시각화 결과: 카메라 시점과 측면 시점의 시각화를 통해 HSMR의 복원 효과를 보여주며, 다양한 시점에서의 견고성(robustness)을 입증합니다.