Follow-Your-Emoji：ポートレートアニメプロジェクト 227

Follow-Your-Emojiは、香港科技大学、テンセント Hunyuan、清華大学が共同で開発した拡散モデルベースのプロジェクトで、対象の表情や動作を参照ポートレートに適用し、アイデンティティ特徴、動作の一貫性、リアルさを保ちます。映像内の人物の顔特徴、特に顔の詳細や瞳孔の動きを抽出することで、新しい顔アニメーションを生成します。

写真を一枚与えるだけで、Follow-Your-Emojiはそれを生き生きとした顔アニメーションに変換し、微妙な表情変化も捉えることができます。

Follow-Your-Emojiは、単一の駆動映像または動作シーケンスを使って複数の異なる参照アバターをアニメーション生成することが可能です。各参照アバターは同じ動作シーケンスに従って同じ動作と表情変化を示します。また、単一の参照アバター＋複数の異なる駆動映像生成を使って複数のアニメーションを生成することもできます。各動作シーケンスは、同じ参照アバターに異なる動作と表情変化を引き起こします。

Follow-Your-Emojiの主な機能：

• アイデンティティ保持：アニメーション生成 과정에서、参照アバターのアイデンティティ特徴が失われないようにし、あなたのイメージが常に一貫していることを保証します。

• 表情の豊富さ：大幅な瞳孔運動をはじめ、大きく誇張された表情から微妙な表情まで、さまざま生成可能です。目の微妙な動きから誇張された表情変化まで対応します。

• スタイルの多様性：カートーン、現実的な人物、彫刻、動物風など、さまざまなスタイルのアバターアニメーションをサポートします。

• アニメーションの安定性と持続性：プログレッシブ生成戦略を採用し、長時間のアニメーションにおいても安定性と一貫性を確保します。

この技術の主な課題は、アニメーション処理中、常に参照アバターのアイデンティティ特徴が失われないようにしながら、目標とする表情を伝え、時間的な一貫性とリアルさを確保することです。

この問題を解決するために、Follow-Your-Emojiは2つの主要な技術を採用しています。ひとつは、アニメーションプロセスを指導する新しい明示的な動作信号——表情認識キーポイントを使用することです。このキーポイントは、推論過程における参照アバターと目標動作の正確な対応を確保し、誇張された表情（例えば瞳孔の大幅な動き）を表現する能力を強化すると同時に、アイデンティティ情報の漏洩を防ぎます。もうひとつは、表情と顔マスクを使用して、微妙な表情変化や参照アバターの外観再現におけるモデルの能力を向上させる、顔の詳細な粒度の損失関数を提案したことです。

Follow-Your-Emojiは、ポートレートアニメーション制作を必要とする専門家や愛好家、アニメーションデザイナー、映像制作者、ゲーム開発者などに非常に適しています。

論文アドレス：https://arxiv.org/html/2406.01900v1

Follow-Your-Emojiプロジェクトアドレス：https://follow-your-emoji.github.io/