Media2Face_云技派,专注ai人工智能! 88

人工知能の分野において、音声から正確な唇の動きを作成することは常に大きな課題でした。しかし今、ブレークスルーが訪れました——Media2Faceです。

Media2Faceは、音声・テキスト・画像というマルチモーダルな誘導による共言語顔アニメーション生成ツールです。音声、テキスト、画像入力による誘導を利用して人間の言語を自然に模倣し、Generalized Neural Parametric Face Assets（GNPFA、一般化神経パラメトリック顔アセット）を導入しています。これは、表情とアイデンティティを分離する効率的な代替空間です。次に、GNPFAを利用して、多数の動画から抽出された変分オートエンコーダを用いて、顔の幾何形状と画像を高度に一般化された表情マッピングに変換し、高品質な表情と正確な頭部姿勢を取得します。

高品質な4D顔データは限られているため、音声から3D顔アニメーションを合成することは難しい課題です。しかし、Media2Faceがあれば、あらゆる音声・画像・テキスト入力からリアルで表現力豊かな顔アニメーションをシームレスに生成できるようになりました。

Media2Faceは、音声に基づいて音声と同期した表現力豊かな3D顔アニメーションを生成できます。同時に、生成された顔アニメーションのより繊細な個別調整も可能で、たとえば「喜び」や「悲しみ」といった感情調整も行えます。さらに、Media2Faceは複数の種類の入力情報（音声、テキスト、画像）を理解し、これらの情報を顔アニメーション生成のガイダンスとして活用します。

Media2Faceの実際の応用例：

• 会話シーンの制作：作成したスクリプトに基づき、コンピュータが人物の対話アニメーションシーンを生成できます。

• スタイル化された顔アニメーションの制作：表情記号をコンピュータに与えれば、それに応じたアニメーションを創り出します。

• 感情豊かな歌唱：コンピュータは異なる言語で歌い、対応する感情を表現することもできます。

• パーソナライズされたアニメーション：最も驚くべき点は、人種、年齢、性別に応じた個別化された顔アニメーションを生成できることです。

• 映画・テレビ制作会社がMedia2Faceを利用して映画中のバーチャルキャラクターの顔アニメーションを生成します。

• バーチャル配信プラットフォームがMedia2Faceを活用してバーチャル配信者の表情生成を実現します。

• ゲーム開発会社がバーチャルキャラクターの設計にMedia2Faceを応用し、顔アニメーションを生成しています。

Media2Faceはどのように動作するのですか？

Media2Faceプロジェクトの動作原理は、いくつかの重要な技術とステップを伴い、音声から豊かな表情と感情を持つ3D顔アニメーションを合成することを可能にします。以下がプロジェクトの主なワークフローです：

1. 一般化神経パラメトリック顔アセット（GNPFA）：

まず、研究チームは特別なツール（GNPFA）を作成しました。これは大規模な表情データベースのようなものです。どのような表情が必要でも、このツールが見つけ出してくれるだけでなく、一人ひとりの顔アニメーションが唯一無二で他人と混同されないことを保証します。

このプロセスにより表情とアイデンティティの分離が実現され、異なるアイデンティティ間で同じ表情を変換することが可能になります。

その後、彼らはこのツールを用いて多数の動画を処理し、そこから高品質な表情と頭部動作を抽出しました。これにより、多様な顔アニメーションとそれに対応する感情・スタイルラベルを含む巨大なデータセットが構築されました。

2. マルチモーダル誘導によるアニメーション生成：

Media2Faceは、GNPFAの潜在空間内でアニメーション生成を行う拡散モデルを採用しており、このモデルは音声、テキスト、画像からのマルチモーダル誘導を受け取ることができます。

モデルは、音声特徴とCLIP潜在コードを条件として、表情潜在コードシーケンスのノイズバージョンおよび頭部運動コード（頭部姿勢）とともにデノイズ処理を行います。条件はランダムにマスクされ、ノイズ頭部運動コードとのクロスアテンションを通じて処理されます。

3. 表情と頭部姿勢の生成：

GNPFAを利用して多数の動画から高品質な表情と正確な頭部姿勢を抽出します。これによりM2F-Dデータセットが提示されます。これは、注釈付けされた感情とスタイルラベルを備えた、大規模で多様性に富んだスキャンレベルの共音声3D顔アニメーションデータセットです。

4. 表情とスタイルの微調整：

表情エンコーダーでキーフレームの表情潜在コードを抽出し、CLIPによって「喜び」や「悲しみ」などの各フレームのスタイルプロンプトを提供することで、ユーザーはアニメーションの強度和制御範囲を調整することができます。

これらの技術ステップを通じて、Media2Faceは音声と同期した表現力豊かな3D顔アニメーションを生成し、複雑な感情表現やスタイル変化をサポートします。バーチャルキャラクターの作成や、AIデジタルヒューマンのインタラクション体験の強化に強力なツールを提供します。大規模な実験により、Media2Faceは顔アニメーション合成において高忠実度を実現するだけでなく、3D顔アニメーションの表現力とスタイル適応性を広げることが示されています。