DreamActor-M1：ByteDance推出的した、人物写真をモーション動画に置き換えるフレームワーク 117

DreamActor-M1とは？

DreamActor-M1はバイトダンスが発表した、拡散トランスフォーマー（DiT）に基づく人間画像アニメーションフレームワークです。RunwayのAct oneに類似しており、1枚の参照画像を与えると、DreamActor-M1は動画から捉えた人間の動作を模倣し、複数のスケール（ポートレートから全身アニメーションまで）で表現力豊かでリアルな動画を生成します。また、他のフレームワークが抱える表情や動作の細かさの不足、長尺動画における細部の不一致や破綻といった問題も解決し、さまざまな動作スタイルに対応し、Act-One、Animate Everyone、SkyReels-A1よりも優れたパフォーマンスを発揮します。

DreamActor-M1の主な機能

• 静止画から映像へ：1枚の静止写真と1本の参照動作動画を組み合わせることで、写真内の人物を動画シーンにシームレスに置き換え、表情が細かく、動作が自然で、高画質な映像を生成します。

• 精緻な制御：陰的顔表現、3Dヘッドスフィア、3Dボディスケルトンなどの制御信号を組み合わせたハイブリッドガイダンス機構を採用し、人物の表情や身体動作を正確に制御します。

• 柔軟な動作転移：顔表情や頭部動作など、一部分の動作のみを伝達することも可能です。

• 顔アニメーションのサポート：音声駆動の顔アニメーションにも拡張でき、複数言語に対応したリップシンクを実現します。

• 形状認識アニメーション：骨格長調整技術により、形状に適応したアニメーション生成を実現します。

• 多様なスタイルサポート：さまざまなキャラクターや動作スタイルに対して高い堅牢性を持ちます。

• 複数視点サポート：異なる頭部姿勢の下でもアニメーション結果を生成できます。

DreamActor-M1の技術原理

• ハイブリッドガイダンス機構：陰的顔表現、3Dヘッドスフィア、3Dボディスケルトンなどの制御信号を組み合わせることで、生成されるアニメーションの細部における高いリアリティを確保しつつ、全体的な調和と滑らかさを維持します。

• マルチスケール適応性：段階的な学習戦略により、さまざまな身体姿勢や異なる解像度の画像を処理でき、ポートレートから全身ビューへの変換をサポートします。

• 長期時間的一貫性：連続フレームの動作パターンと視覚的参照を統合することで、複雑な動作における未観測領域の時間的な一貫性を確保します。

• 顔アニメーションと音声サポート：音声駆動の顔アニメーションをサポートし、複数言語のリップシンクを実現します。

DreamActor-M1の活用シーン

• 映像制作：バーチャルキャラクターのアニメーション生成に。

• 広告業界：動的な人物広告の作成に。

• ビデオゲーム：ゲーム内キャラクターアニメーションの生成に。

• バーチャル配信者：バーチャル配信者により自然でリアルなアニメーション効果を提供。

プロジェクトのリンク

プロジェクト公式サイト：https://grisoon.github.io/DreamActor-M1/

arXiv技術論文：https://arxiv.org/pdf/2504.01724