脚本プランナー▸ 
AIアプリ 
AIニュース MAGREF：ByteDanceが発表したマルチ主体の動画生成ツール
小编 ·
MAGREF：ByteDanceが発表したマルチ主体の動画生成ツール
MAGREFはバイトダンスが発表した多主体動画生成ツールで、ユーザーは1枚の参照画像だけで一貫性の高い動画を生成できます。単一主体でも複数主体のシーンでも対応可能です。マスク誘導とチャネル連結メカニズムにより、従来の動画生成でよくあるアイデンティティの混同や動作の不整合問題を解決します。MAGREFは人物、物体、背景の多様な組み合わせを実現し、生成動画におけるアイデンティティの安定性と構造的一貫性を保証します。
コア機能
多主体一貫性生成：参照画像は1枚だけで、人物や物体の一貫性が高い動画を生成できます。複数人物が同じ画面に登場しても「顔が混ざる」状況にはなりません。たとえば、アインシュタインがバイクに乗る動画や、ニュートンが筆を振るって絵を描く動画を生成できます。人物の顔立ちや服装は各フレームで一貫して保たれ、違和感なく描画されます。
多様な参照画像処理：マスク誘導とチャネル連結メカニズムにより、モデルの複雑性を増やさずに多様な参照画像を処理できます。単独パフォーマンス、複数人のインタラクション、人物と物体・背景の組み合わせなど、いずれも安定感のある調和の取れた動画を生成可能です。
マルチモーダル入力と生成：異なるテキストプロンプトに基づいて「1つの画像から多様な表情」を実現できます。入力が誰の時代やスタイルの人物であっても、抽象的であっても、その特徴を正確に再現し、テキスト指示に応じて異なる動作、環境、光影効果を生成します。たとえば、人物画像、物体画像、背景画像を入力し、説明文を追加すれば、これら3種類の要素を含む完全な動画を生成でき、人物と物体のインタラクションは自然に、シーンに違和感なく描かれます。
技術実装
データ処理フロー：高品質で構造が明確な動画学習サンプルを構築するため、3段階のデータ処理フローを採用しています。第1段階は、元の動画から意味的に一貫したセグメントを抽出し、低品質サンプルをフィルタリングして、各セグメントに構造化テキストを生成します。第2段階は、タグ抽出とセマンティックセグメンテーションを通じて動画内の重要な物体を識別し、後処理で精緻なマスクを取得します。第3段階は、動画内の人物のアイデンティティを検出して割り当て、高品質な顔画像を選別して参照画像構築に用い、学習プロセスにおけるアイデンティティの一貫性を確保します。
重要メカニズム
領域認識型動的マスク：ディープラーニングの注意機構に基づき、モデルに「動的視覚知覚」能力を持たせます。セマンティックセグメンテーションアルゴリズムにより動画内の重要な領域を正確に識別し、入力プロンプトに基づいて異なる主体のマスク重みをリアルタイムに調整します。これにより、参照画像の数や順序が異なっても、システムは一貫した構造、混同しないアイデンティティ、明確な関係性を維持できます。
ピクセル単位チャネル連結：画像生成の基盤技術において、チャネル次元（RGBチャネル + 特徴チャネル）で情報融合を行います。畳み込みニューラルネットワークで参照画像の外観特徴を抽出し、チャネルレベルで生成シーンの特徴マップと連結することで、肌の色、髪型などの詳細が参照画像と高度に一致します。同時に、正規化処理により異なるシーンの照明パラメータをバランスさせ、明暗差による主体と背景の分離感を回避します。また、人物ポートレート、物体画像、環境写真を同時入力することができ、チャネルレベルの融合により論理的に整合したモダリティ横断シーンを生成します。
応用シーン
映像制作：映像制作の前期準備とエフェクトプロセスを再構築できます。たとえば脚本段階では、動的ストーリーボードを生成し、監督はシーンの色调やキャラクターの動きをリアルタイムに調整できます。また、一部のグリーンバック撮影ニーズも置き換えられます。たとえば歴史劇では、わずかな兵士の参照画像を入力するだけで、古代の衣装や陣形に合った集団行軍動画を批量生成できます。
ゲーム開発：ゲームコンテンツの反復を加速し、没入感を向上させます。ゲームキャラクターモデル画像に基づいて、異なるプロット進行時点の表情や動作動画を迅速に生成できます。また、町中でのNPCの日常活動を自動生成でき、フレーム単位の手動アニメーション調整が不要になります。
広告マーケティング：個別最適コンテンツの「量産エンジン」として、同じ商品に対して数百種類の使用シーン動画を生成でき、ソーシャルメディアの断片的な配信ニーズに応えます。また、有名人の肖像に基づいて複数バージョンの広告素材を生成でき、実写撮影のスケジュール制約や著作権問題を回避できます。
プロジェクトリンク
プロジェクトページ：https://magref-video.github.io/magref.github.io/
Github：https://github.com/MAGREF-Video/MAGREF
論文：https://arxiv.org/pdf/2505.23742
