Motionshop：動画内のキャラクターを3Dアバターに置き換えるツール 120

Motionshopは、aiキャラクターアニメーションツールであり、高度な動画処理と3Dレンダリング技術により、Motionshopは動画内の人物を自動検出し、3Dカートゥーンキャラクターモデルに置き換えて、面白いAI動画を生成できます。同時に動画内の他のシーンや人物は変更されず、置き換えられた3Dキャラクターは元動画内の人物の動作を完全に再現し、動作が一貫して保たれます。

Motionshopプロジェクトホームページ：https://aigc3d.github.io/motionshop/

Motionshopの技術原理：

1、動画処理と背景抽出： 動画処理技術を利用して、元の動画から人物を分離し、人のいない背景を残します。このステップには、背景の完全性と一貫性を確保するための複雑な画像分析と処理が含まれます。

キャラクター検出： Motionshopは、テキスト情報と既存のクローズドセット検出器を緊密に融合するトランスフォーマーベースのフレームワークを使用し、ゼロショットオブジェクト検出を実現します。

セグメンテーションと追跡： ターゲットの検出に成功した後、動画オブジェクトセグメンテーション追跡方法でピクセルレベルのターゲット領域を追跡します。

インペインティング： 動画内の残りの画像領域は、動画インペインティング技術によって完成されます。これには、再帰的フロー補完、画像と特徴領域のデュアルドメイン伝播などが含まれます。

2、姿勢推定： このステップでは、姿勢推定技術を使用して動画内の人物の動作を分析します。これには、人体動作のキャプチャと分析、CFFS法を使用した安定した人体姿勢の推定、およびSMPL人体モデルによる3D人体の表現が含まれます。

3、3Dカートゥーンキャラクターアニメーション生成： 推定された姿勢と動作に基づいて、対応する3Dアニメーションキャラクターを生成します。このプロセスでは、3Dモデルの動作が元動画内の人物の動作と一致することを確認する必要があります。

4、照明推定： 3Dモデルをより自然に元の動画の背景に溶け込ませるために、動画内の照明条件を推定し、3Dモデルに対応する照明処理を行います。

5、高性能レンダリング： Motionshopは、TIDEのような高性能レイトレーシングレンダラーを使用して3Dカートゥーンキャラクターモデルをレンダリングし、高いリアルさと視覚効果を保証します。

6、動画合成： 最後に、Motionshopはレンダリングされた3Dカートゥーンキャラクターを人のいない背景動画に合成し、最終的な動画結果を生成します。

Motionshopの使用方法：

動画を1本アップロードすると、AIが動画内の動作主体となる人物を自動識別し、ワンクリックで面白い3Dキャラクターモデルに置き換えて、ユニーク AI動画を生成します。

ステップ1：人物が完全に映っている動画をアップロードします（人物が完全であること、動画の長さは15秒以内であることを確認してください）。

ステップ2：動画で置き換える人物を選択します（自動選択）。

ステップ3：置き換える仮想キャラクターモデルを選択し、生成をクリックします。10分待つと結果が生成されます。

Motionshopは基本的にWonder Studioの代替として機能します。Wonder Studioは、現実のシーンの人物をCGキャラクターに自動的に変換・代替でき、アニメーション、照明、合成も可能です。