Mnn3dAvatar:Alibabaがオープンソース化したライブコマース向け3Dデジタルヒューマンフレームワーク 65

小编 ·

Mnn3dAvatar:Alibabaがオープンソース化したライブコマース向け3Dデジタルヒューマンフレームワーク

Mnn3dAvatarは、Alibabaがオープンソース化した3Dデジタルヒューマンアーキテクチャで、軽量なMNNフレームワークをベースに開発されています。リアルタイムで表情をキャプチャして3Dバーチャルキャラクターにマッピングし、より生き生きと感じられるようにします。複雑なモデリング経験がなくても、開発者は素早く高品質な3Dデジタルヒューマンを作成できます。

Mnn3dAvatar:Alibabaがオープンソース化したライブコマース向け3Dデジタルヒューマンフレームワーク

Mnn3DAvatarとは?

Mnn3dAvatarは、阿里巴巴がオープンソース化した3Dデジタルヒューマンアーキテクチャであり、軽量なMNNフレームワークをベースに開発されています。リアルタイムで表情をキャプチャして3Dバーチャルキャラクターにマッピングできるため、キャラクターがよりリアルで魅力的になります。複雑なモデリングの経験がなくても、開発者は素早く精美的3Dデジタルヒューマンを作成できます。

tao_avatar_process_zh.webp

Mnn3dAvatarの技術原理

Mnn3dAvatarはMNNフレームワーク上に構築されており、3Dガウシアン再構築やai声紋駆動などの技術を組み合わせています。AIが高精度な顔のモーションキャプチャとリアルタイムレンダリングを実現し、音声、表情、ジェスチャーなど多様な駆動をサポートします。

技術的ハイライト

  • リアルタイム表情キャプチャ:ディープラーニングによりユーザーの表情を正確にキャプチャし、迅速に3Dキャラクターにマッピングします。ライブ配信、バーチャル会議などのシナリオに適しています。

  • 軽量デプロイ:MNNフレームワークの最適化駆動により、Mnn3dAvatarはハイエンドなハードウェアを必要とせず、多くのデバイス間で効率的に演算でき、開発门槛を大幅に下げます。

  • マルチモーダル対応:表情キャプチャのほか、テキスト生成や画像生成などのタスクもサポートしており、開発者に柔軟なインターフェースを提供します。

  • オープンソースエコシステム:阿里的オープンソースエコシステムの一部として、豊富なAPIおよびツールを含み、Android、iOSなどのプラットフォームアプリにシームレスに組み込むことができます。

Mnn3dAvatarの応用シナリオ

  • 带货ライブ配信:主播は3Dバーチャルキャラクターの状態でライブ配信が可能で、面白さとインタラクティブ性を高め、実在人物の出演頻度を下げます。Eコマースプラットフォームが差异化コンテンツを構築するのに適しています。

  • バーチャル展示とエンターテインメント:バーチャルアイドル、ゲームキャラクターアニメーション、バーチャル会議シーンにおける没入型の視覚体験を実現できます。

  • 教育研修:教育機関はこれを利用してバーチャル講師を作成し、オンライン授業のインタラクティブ性と魅力を向上させることができます。

Mnn3dAvatarのリリースによりMNNエコシステムが充実しました。2019年のオープンソース化以来、MNNは阿里巴巴内部で广泛应用されており、淘宝、天猫、釘釘など70以上の業務シーンで活用されています。また、阿里はもう一つの3Dデジタルヒューマン生成モデルLAM(Live Avatar Model)もオープンソース化しており、1枚の画像から迅速にインタラクティブな3Dデジタルヒューマンを生成することをサポートしています。

オープンソースアドレス:

https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md