脚本プランナー▸ 
AIアプリ 
AIニュース LHM：Alibabaが発表した、1枚の画像からアニメーション可能な3D人体モデルを再現する技術
小编 ·
LHM：Alibabaが発表した、1枚の画像からアニメーション可能な3D人体モデルを再現する技術
LHMとは？
LHMは、アリババのTongyi Labが提案した、単一画像からアニメーション可能な3D人体モデルを復元するための技術です。単一画像からの3D人体復元に際して、幾何学的情報、外観、変形を分離する問題を解決します。分かりやすく言えば、写真を1枚提供するだけで、数秒で3D人体モデルを作成し、その人体モデルで様々な動作を行うことができ、衣服、髪、顔などの細部がよく保たれ、効果は非常にリアルに見えます。
LHMの技術的なハイライト
マルチモーダルTransformerアーキテクチャ：
マルチモーダルTransformerアーキテクチャを利用して、人体の位置特徴と画像特徴を効果的にエンコードします。
注意機構により、特に衣類の幾何学的形状とテクスチャなど、細部を保持します。
頭部特徴ピラミッドエンコーディング手法：
頭部領域のマルチスケール特徴を集約する、頭部特徴ピラミッドエンコーディング手法を提案します。
顔の同一性保持と細部復元能力を向上させます。
3Dガウシアン・スプラッティング（Gaussian Splatting）：
3D人体をガウシアン・スプラッティングとして表現し、リアルタイムでリアルなレンダリングと姿勢制御によるアニメーションをサポートします。
LHMの方法とフロー
入力画像：入力画像から身体と頭部の画像トークンを抽出します。
マルチモーダルTransformerによる融合：提案されたMultimodal Body-Head Transformer (MBHT) を用いて、3Dジオメトリの身体トークンと画像トークンを融合します。
ガウシアンパラメータへのデコード：注意機構に基づく融合処理の後、ジオメトリの身体トークンがガウシアンパラメータにデコードされます。
LHMの実験結果
高速復元：LHMは後処理なしに、単一画像からアニメーション可能な3D人体モデルを数秒で復元できます。
高精度と汎化能力：合成データセットと実世界のデータセットでの実験により、LHMは復元精度、汎化能力、アニメーションの一貫性において業界をリードするレベルに達していることが示されています。
顔と手の細部：LHMはリアルな顔と手の細部を生成でき、既存の手法を上回ります。
LHMの特徴
高速復元：LHMは後処理なしに、単一画像からアニメーション可能な3D人体モデルを数秒で復元できます。
高精度と汎化能力：合成データセットと実世界のデータセットでの実験により、LHMは復元精度、汎化能力、アニメーションの一貫性において業界をリードするレベルに達しています。
リアルタイムレンダリングとアニメーション制御：復元されたモデルはリアルタイムレンダリングと姿勢制御によるアニメーションをサポートし、没入型AR/VRなどのアプリケーションシナリオに適用できます。
LHMの応用シーン
メタバース：ユーザーにパーソナライズされた3Dバーチャルアバターを提供し、バーチャル世界の没入感を高めます。
映画制作：高品質な3Dキャラクターモデルを迅速に生成し、制作効率を向上させます。
ゲーム開発：リアルな3Dゲームキャラクターを作成し、ゲームの視覚効果を向上させます。
関連リンク
GitHubリポジトリ：https://github.com/aigc3d/LHM
プロジェクトページ：https://lingtengqiu.github.io/LHM/
