HSMR：単一画像から人体の3Dスケルトンとメッシュモデルを復元する新手法 152

HSMR とは？

HSMR は、コンピュータビジョンとディープラーニング技術を用いた手法であり、単眼または多眼の画像から人体の骨格構造と三次元メッシュモデルを復元することができます。この技術は、バーチャルリアリティ（VR）、拡張現実（AR）、ゲーム開発、運動分析などのさまざまな場面で広く活用されています。

手法

• モデルアーキテクチャ：HSMR は Transformer ベースのアーキテクチャを採用しており、入力として単一の人体画像を受け取り、SKEL モデルの姿勢パラメータ q および形状パラメータ β を出力します。

• データ生成と学習：

  十分な学習データが不足しているため、著者らは擬似的にリアルなデータを生成するパイプラインを構築し、反復最適化によってこれらの擬似ラベルを段階的に改善しました。

  学習プロセスでは、実二次元キーポイントに整合するように HSMR の推定結果を最適化（SKELify）し、最適化されたパラメータを後続の学習における教師信号として使用しました。

• 生体力学的な正確性：SKEL モデルは生体力学的に妥当な自由度を持っているため、より現実的に関節回転を推定することができ、従来の手法でよく見られた関節角度の制約違反を回避できます。

機能と特徴

• エンドツーエンドの単一画像復元：HSMR は、単一の画像から直接人体の骨格パラメータを復元することができ、このような機能を実現した最初の手法です。

• 生体力学的な正確性：SKEL パラメトリック人体モデルを採用しており、このモデルは生体力学的に正確な骨格設計に基づいているため、人体の生理構造により適合した関節回転推定を提供し、従来の手法でよく見られた不自然な回転や生体力学的な不正確さの問題を回避できます。

• 擬似リアルデータの生成と反復最適化による学習：学習データ不足の問題を解決するために、HSMR は擬似的にリアルなデータを生成するパイプラインを構築し、反復最適化を通じてこれらの擬似ラベルを段階的に改善することで、モデルの学習精度を向上させています。

• Transformer アーキテクチャ：Transformer ベースのアーキテクチャを用いて入力画像を処理し、SKEL モデルの姿勢パラメータと形状パラメータを推定することで、画像中の複雑な特徴や人体姿勢情報をより適切に捉えることができます。

応用シーン

• バーチャルリアリティと拡張現実：ゲーム、トレーニング、シミュレーション訓練など、よりリアルなインタラクション体験を提供します。

• 動作分析と生体力学：アスリートのパフォーマンスを分析し、トレーニング方法や機器設計を最適化します。

• 医療診断とリハビリテーション：医師による姿勢評価や疾患診断を支援するとともに、患者のリハビリテーション訓練をサポートします。

実験結果

• 性能比較：HSMR は標準的なベンチマークテストにおいて最先端の手法と比較して競争力のある性能を持ち、特に極端な三次元姿勢や視点設定下では他の手法を大きく上回ります。

• 可視化結果：カメラ視点と側面視点からの可視化により HSMR の復元効果が示され、異なる視点におけるそのロバスト性が証明されました。

関連リンク

プロジェクトページ：https://isshikihugh.github.io/HSMR/

Githubリポジトリ：https://github.com/IsshikiHugh/HSMR

Huggingface：https://huggingface.co/spaces/IsshikiHugh/HSMR

論文：https://arxiv.org/abs/2503.21751