EchoMimic：Alipayが発表したオープンソースデジタルヒューマン 106

EchoMimicは、アリババグループのアントグループ支付宝が開発した、音声駆動型の肖像アニメーション生成ツールです。編集可能な特徴点条件により、リアルで自然なアニメーションを生成することができます。ユーザーは自身のニーズに応じてアニメーションの詳細を調整でき、バーチャル配信者や動画編集などに利用可能です。SadTalkerやMuseTalkよりも効果が高く、より豊かな表情とよりスムーズな動作を実現します。

EchoMimicは、人像の顔特徴と音声に基づいてキャラクターのリップシンクを行い、顔のランドマークと音声内容を組み合わせて、安定した自然な動画を生成することができます。

EchoMimicの機能：

• 音声駆動アニメーション：音声に基づいて人物肖像のアニメーション（歌や会話の動画など）を生成できます。

• 姿勢駆動アニメーション：姿勢データに基づいて人物肖像のアニメーションを生成できます。

• 音声と姿勢の混合駆動アニメーション：音声と姿勢データを同時に使用してアニメーションを生成できます。

• WebUIとGradioUI：グラフィカルなインターフェースを提供し、使いやすくなっています。

• 編集可能なランドマーク調整：ユーザーは特定の顔ランドマークを選択してアニメーションを制御でき、より高い柔軟性とカスタマイズ性を提供します。

• 多言語対応（中国語普通話、英語を含む）および複数スタイルをサポートし、歌などのシーンにも対応できます。

EchoMimicの応用：

• 肖像画像アニメーション：音声入力を使用して静止画像から動的動画を作成し、エンターテインメント、バーチャルアバター、デジタルコミュニケーションに使用できます。

• 安定性と自然さの向上：2つの入力を組み合わせることで、音声駆動方法の不安定さとキーポイント駆動方法の不自然さを克服します。

• カスタマイズ可能なアニメーション：ユーザーは特定の顔ランドマークを編集して、希望のアニメーション効果を実現できます。

ComfyUI EchoMimic：https://github.com/smthemex/ComfyUI_EchoMimic

EchoMimicプロジェクト：https://badtobest.github.io/echomimic.html

EchoMimic Github：https://github.com/BadToBest/EchoMimic

EchoMimicモデル：https://huggingface.co/BadToBest/EchoMimic

EchoMimicは、アリババグループのアントグループ支付宝端末技術部が開発した、音声入力によってリアルな肖像アニメーションを作成するための技術です。編集可能なランドマーク調整を使用してリアルな顔の動きと表情を実現し、高度にカスタマイズ可能で自然な外観のアニメーションを可能にします。