TaoAvatar：Alibabaによる高 fidelity・軽量な全身インタラクティブデジタルヒューマンプロジェクト 211

TaoAvatarとは？

TaoAvatarは、デジタルヒューマン技術の一つで、高忠実度かつ軽量な全身インタラクティブ技術です。3Dガウシアン・スプラッティング（3DGS）技術に基づいて開発されています。衣類の着た人体パラメトリックテンプレートを個別に作成し、ガウシアン点をそのテンプレートにバインドすることで外観を表現し、リアルな全身デジタルヒューマンの生成を実現しています。TaoAvatarの核となる強みは、モバイルデバイスやARデバイス上でリアルタイムに動作しながら、高解像度レンダリングと低いストレージ要件を維持できる点にあります。

TaoAvatarの機能

• 高忠実度レンダリング：TaoAvatarはリアルな3D全身デジタルヒューマン像を生成でき、低ストレージ要件を維持しながら高解像度レンダリングをサポートします。

• リアルタイムインタラクション：本技術はさまざまなモバイルおよびARデバイス上でリアルタイムに動作し、90 FPSの高フレームレートレンダリングをサポートします。Apple Vision Proなどの高精細ステレオデバイスにも対応しています。

• マルチシグナル駆動：TaoAvatarは表情、手の動き、体の姿勢など複数のシグナルによって駆動でき、豊かなインタラクション体験をサポートします。

• 軽量アーキテクチャ：複雑な非剛体変形を軽量なMLPネットワークに「ベイク」し、ブレンドシェイプによるディテール補正を組み合わせることで、TaoAvatarは高品質なレンダリングを維持しながら実行効率を大幅に向上させています。

TaoAvatarの応用

• eコマースライブ配信：TaoAvatarはリアルなバーチャル配信者の作成に使用できます。

• ホログラフィック通信：遠隔通信において、TaoAvatarはリアルなバーチャル像を生成できます。

• バーチャルエンタメ：ゲームやVRアプリケーションにおいて、TaoAvatarはパーソナライズされたバーチャルキャラクターを作成できます。

• モバイルデバイスおよびARデバイス：TaoAvatarはAndroid、MacBook、Apple Vision Proなど、さまざまなモバイルデバイスおよびARデバイス上での動作をサポートします。

TaoAvatarの使い方

1. データ準備：マルチビューのRGB動画シーケンスと対応するSMPLX登録情報が必要です。

2. テンプレート作成：ガウシアン点をSMPLX++テンプレートにバインドすることで、衣類の着た人体パラメトリックテンプレートを個別に作成します。

3. 学習と最適化：StyleUnetネットワークで事前学習を行い、その後知識蒸留技術を用いて非剛体変形を軽量なMLPネットワークにベイクします。

4. デプロイと実行：最適化されたモデルをターゲットデバイスにデプロイし、リアルタイムレンダリングとインタラクションをサポートします。

関連リンク

プロジェクト：https://pixelai-team.github.io/TaoAvatar/

論文：https://arxiv.org/pdf/2503.17032

モデル：https://huggingface.co/datasets/PixelAI-Team/TalkBody4D