脚本プランナー▸ 
AIアプリ 
AIニュース MultiGO：単一画像からの高精細3D人体モデル生成を実現
小编 ·
MultiGO：単一画像からの高精細3D人体モデル生成を実現
MultiGOとは？
港科広チームのMultiGOソリューションは、階層的モデリング手法を用いて、1枚の画像から高忠実度の3D人体モデルを生成します。人体を基本的な体型から細部のテクスチャまで階層的に細分化することで、従来の3D再構築における細部表現の不足という問題を解決しました。この成果はCVPR 2025に採択されており、バーチャル試着、ゲームキャラクター生成、映画・テレビの特殊効果などの分野でも活用できます。三段階の幾何学習により深度推定誤差に対する耐性が強化され、表面の細部をサブミリメートルレベルまで復元できるため、実用的な価値は非常に高いです。
MultiGOの技術
三段階幾何学習フレームワーク
骨格強化モジュール：3Dフーリエ特徴を2D空間に投影し、SMPL-X人体メッシュを幾何学的事前情報として組み合わせることで、人体骨格のモデリングを強化します。フーリエ空間位置エンコーディングにより、3Dモデルと2D画像のセマンティックアラインメント能力が向上し、モデルはより正確に人体姿勢の特徴を捉えられるようになります。
関節強化戦略：訓練プロセス中に関節点の位置に摂動を加えることで、モデルの深度推定誤差に対するロバスト性を向上させます。この戦略は、深度知覚に影響するパラメータを集中的に調整することで、深度の曖昧さに起因する四肢位置の再構築の不正確さを回避します。
皺最適化モジュール：拡散モデルのノイズ除去に類似した手法を採用し、表面の皺を最適化可能なノイズパターンとして扱い、より精緻な高周波の細部を段階的に復元します。この革新的な手法により、MultiGOはサブミリメートル級の表面細部を生成可能となり、衣服の折り目などの高周波細部における従来手法の不足を効果的に補います。
高精度な細部復元
MultiGOは三段階の階層的モデリング戦略により、マクロな姿勢からミクロな細部まで、マルチスケールで精緻な再構築を実現します。実験結果によると、MultiGOはCustomHumanとTHuman3.0という2つのテストデータセットの両方で、業界をリードする性能指標を達成しています。
動作原理
SLEモジュールは3Dフーリエ特徴を入力画像の2D空間に投影し、ガウス再構築モデルが人体の形状に関する事前知識を利用して人体姿勢を正確に捉えられるようにします。JLA戦略は訓練時に制御された摂動を加えることで、推論時のモデルにおける深度誤差へのロバスト性を高め、人体関節の深度推定を改善します。WLRモジュールは粗いメッシュをガウスノイズとして扱い、再構築されたガウスの高品質なテクスチャを条件として皺を細化し、幾何的な細部を最適化します。
MultiGOの優位性
高忠実度3D人体再構築：単眼画像から高忠実度の3D人体モデルを生成でき、衣服の折り目や皮膚のテクスチャなどの細部の精緻な再構築をサポートします。
迅速な生成と調整：パーソナライズされた3Dバーチャルアバターの迅速な生成をサポートし、細部の柔軟な調整も可能なため、アート制作のリソースコストを大幅に削減します。
多様なシナリオへの適応：リアル感とマルチスケールの細部復元に対する要求が高く、かつ迅速な生成が必要なアプリケーションシナリオに適しています。
MultiGOの応用シナリオ
バーチャル試着とファッションEC：消費者が全身写真を1枚アップロードするだけで、高忠実度の3D人体モデルを生成でき、システムはさまざまな服装の着用効果を自動的にシミュレートできます。
ゲームとメタバース：写真1枚から、パーソナライズされた3Dバーチャルアバターを迅速に作成でき、階層構造により柔軟な調整が可能です。
映画・テレビの特殊効果とバーチャルプロダクション：特殊効果制作において、俳優の単視点写真だけで高精度の3Dモデルを再構築でき、モーションキャプチャやスタント合成に使用できます。階層設計により、後期制作で特定の階層のみを個別に編集することも可能です。
プロジェクトリンク
https://multigohuman.github.io/
