MoCha：Metaが発表した映画品質の話すキャラクター生成を実現する初のDiTモデル 134

MoChaとは？

MoChaは、Metaとトロント大学が共同で開発したaiモデルであり、音声またはテキスト入力に基づいて、完全な人物像を伴う高品質なキャラクターアニメーション動画を生成することができます。生成される動作は连贯してスムーズであり、複数キャラクターの対話にも対応しており、映画レベルの対話キャラクター生成を実現した初のDiTモデルです。

MoChaの機能特徴

• 音声駆動のキャラクターアニメーション生成：ユーザーが音声を入力すると、MoChaは音声内容に同期したキャラクターの口の動き、表情、ジェスチャー、身体の動きを生成できます。

• テキスト駆動のキャラクターアニメーション生成：ユーザーがテキストスクリプトのみを入力すると、MoChaが自動的に音声を合成し、それをもとにキャラクターの完全な口の動きと動作を生成します。

• 複数キャラクターの交互対話生成：MoChaは構造化されたプロンプトテンプレートとキャラクターラベルを提供し、対話のターンを自動的に識別して、キャラクター間の「やり取り」のような自然な対話表現を実現します。

• 多様な応用シーンに対応：バーチャル主播、アニメーション・映像制作、教育コンテンツ制作、デジタルヒューマンカスタマーサービス、デジタル遺産などが含まれます。

MoChaの優位性

• 映画級に近い生成コンテンツ：従来の「Talking Head」技術とは異なり、MoChaは全身アニメーションを生成でき、キャラクターの動きをより自然にします。

• 創作门槛の低下：モーションキャプチャ機器や3Dモデリングの経験が不要で、コンテンツ制作のハードルを下げます。

MoChaの応用：

• バーチャル主播：日常VlogやキャラクターQ&Aの自動生成

• アニメーション・映像制作：AIによる自動配音＋自動アニメーションで制作コストを削減

• 教育コンテンツ制作：AI教師キャラクターによる講義やインタラクション

• デジタルヒューマンカスタマーサービス：人に近い企業カスタマーサービスやコンサルティングキャラクター

• デジタル遺産：歴史上の人物や故人のための動的映像制作

関連リンク

プロジェクトホームページ： https:// congwei1230.github.io/MoCha/

論文： https:// arxiv.org/pdf/2503.23307