Alibaba EMO：写真1枚と音声だけで話す・歌う動画を生成 289

アリババグループの智能計算研究院が発表した「EMO：Emote Portrait Alive」は、画像と音声だけで表情豊かなポートレート動画を生成できる画期的なAIです！生成される動画の長さは音声の長さに合わせて変動し、会話や歌の動画が驚くほどリアルに再現されます。任意の音声、任意のスピード、任意の画像に対応しています...

従来の手法とは異なり、EMOは音声から動画への直接的なアプローチを採用しており、中間の3Dモデルや顔 landmarks を必要としません。これにより、動画全体を通じてシームレスなフレーム遷移と一貫したアイデンティティの保持が実現され、非常に表現力豊かでリアルなアニメーションが生成されます。つまり、より滑らかな遷移とより自然な表情が実現します。

EMOはさらに、さまざまなスタイルの歌唱動画制作にも優れています！お気に入りのアーティストの画像1枚だけでミュージックビデオを作成することを想像してみてください！

EMO研究論文：https://arxiv.org/pdf/2402.17485.pdf

EMOオープンソースアドレス：https://humanaigc.github.io/emote-portrait-alive/

EMOの主な機能：

1、音声駆動によるポートレート動画生成：1枚の参照画像と音声入力（会話や歌唱など）を利用して、EMOは表情の変化や頭部の動きを伴うバーチャルポートレート動画を生成できます。つまり、ユーザーは静止画1枚と対応する音声ファイルを提供することで、話したり歌ったりするダイナミックな動画を作成できます。動画内の人物がどんな表情変化や頭部の動作を行っても、その基本特徴は参照画像に由来します。

2、表情豊かな動的レンダリングと頭部姿勢のサポート：EMOは動画内で自然かつ表情豊かな顔の動作を生成することを特に重視しており、微妙な表情や頭部の動きを捉えて、生き生きとした会話や歌の動画を生み出します。これにより、自然で生き生きとした顔アニメーションが生成され、動画のダイナミックさとリアリズムが向上します。

3、複数の言語とポートレートスタイルのサポート：この技術は特定の言語や音楽スタイルに限定されず、複数言語の音声入力を処理できるだけでなく、歴史上の人物、絵画作品、3Dモデル、AI生成コンテンツなど、多様なポートレートスタイルをサポートします。

4、高速リズム同期：EMOは、高速な歌詞や発話などのテンポの速い音声を処理でき、バーチャルポートレート動作と音声リズムの同期を維持できます。

5、俳優間の表現変換：EMOは異なる俳優間の表現変換を実現でき、ある俳優のバーチャルイメージが別の俳優や特定の音声パフォーマンスを模倣できるようにすることで、キャラクター描写の多様性と応用シナリオを広げます。

EMOの応用シナリオ：

• 即時の吹き替え作成

• 映画やビデオゲームのためのリアルで表情豊かなキャラクター制作

• 魅力的でインタラクティブな教育資料の開発

• バーチャルアシスタントに人間らしい外観と感覚を与える

• ビデオ通話をより魅力的でパーソナライズされたものにする

• より魅力的で記憶に残るマーケティングや広告動画の作成

実験結果は、EMOが説得力のある会話動画だけでなく、さまざまなスタイルの歌唱動画も制作可能であり、表現力とリアリズムの面で既存の最先端手法を明らかに上回ることを示しています。これは動画生成における新しい基準を確立し、未来に向けて非常に重要な意味を持ちます。