Audio2Face：音声から3D顔アニメーションを生成 134

Audio2Faceは、AI駆動のアプリケーションで、音声から表現力豊かな3D顔アニメーションを生成します。Audio2Faceは、あらゆるナレーショントラックに合わせて3Dキャラクターのアニメーションを簡素化します。ゲーム、映画、リアルタイムのデジタルアシスタント向けのキャラクターアニメーションを作成する場合でも、単に楽しみのための場合でも、このアプリケーションを使用できます。インタラクティブなリアルタイムアプリケーションとして、または従来の顔アニメーション制作ツールとして使用できます。

Audio2Faceはどのように動作しますか？

Omniverse Audio2Face アプリケーションは、NVIDIA Research のオリジナル論文に基づいています。Audio2Face には「デジタルマーク」がプリインストールされています。これは3Dキャラクターモデルで、音声トラックでアニメーションを作成できるため、始めるのは簡単です。音声を選択してアプリケーションにアップロードするだけです。この技術は音声入力を事前学習済みのディープニューラルネットワークに入力し、ネットワークの出力がリアルタイムでキャラクターの顔アニメーションを駆動します。ユーザーはさまざまな後処理パラメータを編集して、キャラクターのパフォーマンスを編集することができます。その後、ネットワークの出力がキャラクタメッシュの3D頂点を駆動して顔アニメーションを作成します。このページで見ている結果は、ほとんどがAudio2Faceの生の出力であり、後処理パラメータの編集はほぼ行われていません。

Audio2Faceの実用例：

言語

Audio2Faceはあらゆる言語を簡単に処理できます。私たちは定期的に越来越多的言語を追加しています。英語、フランス語、イタリア語、ロシア語のテストをご覧ください。

Misty アニメーションチャットロボット

GTC Spring 2020 で披露された Misty は、実行時に Audio2Face によって駆動されるインタラクティブな天気ロボットです。リアルな人間メッシュからスタイル化されたキャラクタメッシュへのリターゲティングを実証し、インタラクティブなサービスエージェントとして使用しました。

Omniverse Machinima

Audio2Face は GeForce 30 シリーズの発表会で登場し、Omniverse Machinima のデモに登場しました。顔アニメーションは非常に複雑でコストがかかることが知られています。Audio2Face は詳細な顔アニメーションを自動化し、3D コンテンツ作成プロセスを民主化します。

顔

Audio2Face はあらゆる会話駆動型の音声トラックを使用し、最終的にはリアルからスタイル化されたものまで、あらゆる 3D 顔にリターゲットすることができます。デジタル マークから Rain にリターゲットするこちらのテストをご覧ください。

実験的なキャラクター

クリーチャーとエイリアン

この機能を使用すると、ファンタジー クリーチャーやエイリアンの顔アニメーションをリターゲットして駆動することができます。ここでは、デジタル マークがエイリアンのパフォーマンスを駆動しています。