MimicMotion：モーション動画生成プロジェクト 128

騰訊と上海交通大学が共同で開発したMimicMotionは、任意の長さとあらゆる動作ガイダンスを持つ高品質な動画生成フレームワークで、詳細豊かでリアルな人間の動作動画を生成でき、任意の長さの動画コンテンツを生成可能で、動作、ポーズ、動画スタイルなどを含む動画内容を正確に制御できます。

アリババの通義舞王に似ていますが、効果はアリババの通義舞王よりもはるかに優れているように見えます。MimicMotionは顔の特徴と口唇同期をサポートしており、ダンス動画だけでなくデジタルヒューマンの作成も可能です。

近年、生成系の人工知能は画像生成分野で大きな進展を遂げ、さまざまなアプリケーションを生み出しました。しかし、動画生成は制御性、動画の長さ、詳細の豊かさなどさまざまな側面で依然として相当な課題に直面しており、この技術応用と普及を妨げています。本研究では、MimicMotionと呼ばれる制御可能な動画生成フレームワークを提案します。これは、あらゆる動作ガイダンスの下で、任意の高品質な動画を生成することができます。以前の手法と比較して、本手法には以下の特徴があります。

いくつかの亮点があります。

まず、置信度（confidence）を考慮した姿勢ガイダンスにより時間的な平滑性を実現し、これにより大規模な訓練データを通じてモデルの一貫性と流暢性を強化することができます。

次に、姿勢の置信度に基づく領域損失の増幅により、画像の歪みが大幅に軽減され、生成される画像の歪みや変形を顕著に減少させることができます。

最後に、流暢な長尺動画を生成するために、漸進的な潜在融合戦略を提案します。この方法により、許容可能な計算リソースの消費の下で、任意の長尺動画の生成を実現することができます。

多くの実験とユーザー研究を通じて、MimicMotionは複数の側面でアリババの通義舞王の手法よりも明らかな改善を達成しました。

MimicMotionコード：https://github.com/Tencent/MimicMotion

MimicMotion ComfyUIバージョン：https://github.com/aiFSH/ComfyUI-MimicMotion