Phantom：クロスモーダル整列による主体一貫性動画生成システム 137

Phantomはバイトダンスが開発した新しい動画生成ツールで、顔の参照画像に基づいて動画を生成します。このプロセスにおいて、参照顔の特徴（顔の輪郭、五官の比率、表情など）を正確に保持しながら、非常に生き生きとした動画コンテンツを制作することができます。

Phantomの特長は、動画生成時に個人の特徴を厳密に保持できる点です。例えば、ユーザーが自分の写真を提供すると、Phantomが生成する動画では人物像が変形、歪んだり、他の要素と衝突したりすることはありません。この特性により、ユーザーにパーソナライズされた動画を制作する新たな道が開かれました。

Phantomの製品機能：

アイデンティティ保持型動画生成

• 顔の参照画像を通じて動画を生成し、主体のアイデンティティ特徴（顔、姿勢など）を厳密に保持します。

• プロンプトに基づいて主体とマッチする動画コンテンツ（動作、シーン変化など）を動的に生成することをサポートします。

単一参照主体の動画生成

• 物体：参照図内の物品の形態と位置を正確に再現します。

• アパレル／仮想キャラクター：衣服のテクスチャ、色、仮想キャラクターの動きの一貫性を維持します。

• 動物：動物の行動とインタラクションのロジックをシミュレートします。

複数参照主体の動画生成

• 集団シーン：複数人の協調動作や会話の動的生成。

• 商品展示：さまざまなシーンにおける商品の回転、試用効果。

• バーチャル試着：ユーザーが画像をアップロードすると、バーチャルな着替え、試着効果の動画を生成します。

Phantomの技術的優位性：

• 高い一貫性：主体の特徴やディテール要素が動画内で安定して保持されます。

• 柔軟な入力：単一または複数の画像参照をサポートし、ユーザーの利用ハードルを下げます。

• モダリティ間の整合：画像とテキスト記述の正確なマッチングを実現し、生成効果を向上させます。

Phantomの応用シーン：

コンテンツ制作分野

• ショート動画生成：パーソナライズされたショート動画（バーチャル主播、ドラマ短編など）を迅速に生成。

• 広告マーケティング：製品のダイナミックなデモ動画を生成し、Eコマースやソーシャルメディアのプロモーションに適応。

垂直業界のアプリケーション

• 教育／トレーニング：仮想キャラクターによる教育動画を作成し、インタラクティブ性を強化します。

• 映画・エンターテインメント：低コストのアニメーションエフェクトや仮想シーンの生成を補助します。

• 医療／科学研究：手術プロセスや科学実験のビジュアルデモンストレーションをシミュレートします。

ユーザーのパーソナライズされたニーズ

• バーチャル試着：ユーザーが自撮り写真をアップロードすると、服装やアクセサリーの試着効果を生成します。

• デジタル分身：個人の写真に基づいてバーチャルなアバターを作成し、動的なインタラクションを行います。

Phantomの技術的ブレークスルーは、異なるタイプのデータ間の関連性（画像とシーン記述など）を分析することで実現されており、新世代の画像生成技術を研究開発し、生成される映像によりリアルに近い質感を呈现します。たとえ1枚の静止写真しか提供しなくても、この技術によりバーチャルなアバターを自然に動かすことができます——異なるシーンにおける人物の動作変化をシミュレートすることや、複数のバーチャルキャラクターがインタラクションする（複数人での対話や商品の組み合わせ展示など）こと、さらには「ユーザーが写真をアップロードするだけで試着できる」効果を実現すること、これらすべてが魔法のように直感的になります。

この技術特性は、ダイナミックなデモンストレーションが必要なシーンに特に適しています：ライブ配信で服地の質感をリアルタイムに展示すること、教育動画で歴史上の人物を「蘇らせて」知識を解説させること、あるいは広告動画で製品に自動で使用方法のデモンストレーションを行わせることなど、従来は複雑な制作が必要だった工程が、より簡単な方法で効率的に実現できるようになります。

GitHub：https://github.com/Phantom-video/Phantom

論文：https://arxiv.org/abs/2502.11079