FantasyTalking：Alibabaが発表した1枚の静止肖像からリアルな喋る肖像を生成するツール 56

FantasyTalkingとは？

FantasyTalkingは、Alibabaが開発したバーチャルキャラクターアニメーション生成ツールで、1枚の静止ポートレートからリアルな動的なしゃべりポートレートを生成できます。二段階の音声-視覚アライメント戦略を採用し、口の動きと音声の精密な同期を実現すると同時に、顔に焦点を当てたクロスアテンションモジュールとモーション強度変調モジュールを通じて、自然で多様なアニメーションを生成します。ゲーム、映画、仮想現実に応用することで、高品質なバーチャルキャラクターアニメーションを迅速に生成できます。

FantasyTalkingの技術原理

• 二段階音声-視覚アライメント戦略：第一段階では、セグメントレベルのトレーニング方式を採用し、参照ポートレート、コンテキストオブジェクト、背景を含むシーン全体の音声駆動による動的アライメントを行い、一貫した全体的なモーションを確立します。第二段階では、唇追跡マスクを通じてフレームレベルで唇の動きを微調整し、音声信号との精密な同期を確実にします。

• 顔に焦点を当てたクロスアテンションモジュール：一般的に使用される参照ネットワークに代わるもので、動画内の顔の一貫性を効果的に維持します。

• モーション強度変調モジュール：表情や身体の動きの強度を明確に制御し、ポートレートのリップモーションに限定されない、より自然で多様なアニメーションを実現します。

FantasyTalkingの主な機能

• 口の動きの同期：入力された音声とバーチャルキャラクターの口の動きを正確に認識・同期し、キャラクターが話すときの口の動きを音声内容と完全に一致させます。

• 顔の動きの生成：音声の内容や感情情報に基づいて、まばたき、しかめっ面、笑顔などの豊かな表情を生みます。

• 全身の動きの生成：シーンやシナリオのニーズに応じて、歩行、走行、ジャンプなどの全身動作を生成します。

FantasyTalkingの中核的優位性

• 高いリアリティ：先進的な人工知能アルゴリズムとディープラーニング技術を活用し、生成されたバーチャルキャラクターアニメーションは、外観、動作、表情のすべてにおいて実在の人間と区別がつきません。

• 柔軟性と使いやすさ：シンプルで直感的なユーザーインターフェースと豊富なAPIインターフェースを提供し、複数の入力フォーマットと出力フォーマットをサポートしているため、ユーザーは迅速に使い始めて自分のプロジェクトに統合できます。

• 高効率と安定性：最適化されたアルゴリズムと高効率なコンピューティングアーキテクチャを採用しており、短時間で高品質なバーチャルキャラクターアニメーションを生成できると同時に、システムの安定性と信頼性を保証します。

FantasyTalkingの応用シナリオ

• ゲーム開発：ゲームキャラクターの会話アニメーションや戦闘アニメーションなどの生成に使用でき、ゲームの視覚効果とインタラクティブ性を向上させます。

• 映画制作：制作チームがバーチャルキャラクターの演技アニメーションや特殊効果アニメーションなどを迅速に生成できるよう支援し、制作コストと時間コストを削減します。

• 仮想現実と拡張現実：仮想現実および拡張現実アプリケーション向けに、バーチャルキャラクターのインタラクティブアニメーションや誘導アニメーションなどを生成し、没入感とユーザー体験を向上させます。

プロジェクト公式サイト：https://fantasy-amap.github.io/fantasy-talking/

Githubリポジトリ：https://github.com/Fantasy-AMAP/fantasy-talking

arXiv論文：https://arxiv.org/pdf/2504.04842