Audio2Photoreal：音声からリアルなバーチャルキャラを生成 220

Metaのaiが最近、爆弾のような技術を発表しました：Audio2PhotoRealは、オーディオから全身のリアルなバーチャルな人物像を生成します。複数人の会話の音声から、会話に対応したリアルな表情、完全な身体、手の動きを生成することができます。

これらの生成されたバーチャルな人物は、視覚的にリアルであるだけでなく、会話中における手や表情の詳細(指差し、手首の動き、肩をすくめる、笑顔、あざけりなど)を正確に反映することができます。

Audio2PhotoRealの動作原理：

Audio2PhotoRealは、ベクトル量子化のサンプル多様性と拡散による高周波ディテールという両方の利点を組み合わせ、よりダイナミックで表現力豊かな動作を生成します。

1、データセットの取得：まず、リアルな再構築を可能にする豊富な二人会話データセットを取得しました。

2、動作モデルの構築：プロジェクトは、顔動作モデル、ガイド付き姿勢予測器、身体動作モデルを含む複合動作モデルを構築しました。

3、顔動作の生成：事前学習済みの唇リグレッサーを使用して音声を処理し、顔動作に関連する特徴を抽出します。

条件付き拡散モデルを使用して、これらの特徴から顔動作を生成します。

4、身体動作の生成：音声を入力として、毎秒1フレームのベクトル量子化(VQ)ガイド姿勢を自己回帰的に出力します。オーディオとガイド姿勢を拡散モデルに入力し、毎秒30フレームの速度で高周波の身体動作を生成します。

5、バーチャルな人物のレンダリング：生成された顔と身体の動作を学習済みのバーチャルな人物レンダラーに渡し、リアルなバーチャルな人物を生成します。

6、結果の表示：最終的に表示されるのは、オーディオに基づいて生成された全身のリアルなバーチャルな人物であり、これらの人物は会話中の微妙な表情や手の動きを表現することができます。

Audio2Photorealプロジェクトアドレス：https://github.com/facebookresearch/audio2photoreal/

Audio2Photoreal論文アドレス：https://arxiv.org/pdf/2401.01885.pdf