StereoCrafter：Tencentが開発した2D動画を3D動画に変換するオープンソースフレームワーク 125

StereoCrafterは、テンセントaiラボが開発した、通常の2D動画を没入型の立体3D動画に変換できるオープンソースのフレームワークです。

StereoCrafterのフレームワークは、主に2つのステップで構成されています：深度に基づく動画スプラッティングとステレオ動画修復。まず、深度推定によって入力のシングルビュー動画から深度情報を抽出し、その情報を利用して動画のワーピングとオクルージョンマスクの生成を行います。次に、ステレオ動画修復モデルを使用してワーピングされた動画の空白領域を埋め、右視点動画を合成します。この方法は、生成される3D動画の品質を向上させるだけでなく、さまざまな長さと解像度の動画入力に対する柔軟性と適応性も確保しています。

さらに、StereoCrafterは映画、ビデオブログ、3Dカートゥーン、AI生成コンテンツ（AIGC）動画など、複数の動画ソースをサポートしており、その応用範囲をさらに広げています。StereoCrafterの設計目的は、特に没入体験の分野において、増加する3Dコンテンツの需要に対応し、ユーザーにより豊かな視覚体験を提供することです。

StereoCrafterの主な機能：

• 動画変換：StereoCrafterは、あらゆる2D動画を高品位の立体3D動画に変換でき、3DメガネやApple Vision Proなど、複数の表示デバイスをサポートします。

• 深度推定：StereoCrafterは深度推定技術を通じて動画内の深度情報を解析し、リアルな3D効果を生成します。

• 動画修復：StereoCrafterにはステレオ動画修復機能も含まれており、動画内のオクルージョンやその他の視覚的問題を処理し、生成される動画が高品質で一貫性のあるものとなることを保証します。

• 複数フォーマットサポート：生成される動画は、赤青、VR、または左右フォーマットで出力でき、さまざまな視聴ニーズやデバイスに適応します。

• 高い効率：StereoCrafterは最適化されており、動画を迅速に処理することができます。

StereoCrafterの応用シナリオ

StereoCrafterは映画、ビデオブログ、3Dアニメーション、AIGC動画など、さまざまな動画ソースに適しており、3Dメガネ、Apple Vision Pro、3Dモニターなどのデバイスで立体効果を提供できます。

• 映画制作：映画や動画制作において、StereoCrafterはクリエイターが従来の2D映像を3Dバージョンに変換するのに役立ちます。

• ビデオブログとコンテンツ制作：コンテンツクリエイターは、StereoCrafterを利用して自分の2D動画コンテンツを3Dに変換できます。

• 教育とトレーニング：教育分野では、立体動画がより没入感のある学習体験を提供します。

• バーチャルリアリティと拡張現実：StereoCrafterが生成する3D動画は、VRやARアプリケーションに使用できます。

StereoCrafterを使用した動画変換のステップと方法：

1. 準備作業

開始する前に、以下の準備ができていることを確認してください：

• モノラル動画素材：変換したい2D動画を選択し、動画の品質が要件に適合していることを確認します。

• ソフトウェアのインストール：StereoCrafterの公式ウェブサイトにアクセスし、必要なソフトウェアまたはモデルをダウンロードしてインストールします。

2. 深度推定

StereoCrafterの深度推定機能を使用して、動画の深度情報を生成します。このステップは、2D動画を3D動画に変換するための鍵となります。具体的な手順は以下の通りです：

• 動画素材をStereoCrafterにインポートします。

• 深度推定アルゴリズムを実行し、動画の深度マップを生成します。これらの深度マップは、その後の3D再構築に使用されます。

3. 動画のリマッピング

深度情報を取得した後、動画のリマッピング処理を行います：

• 深度情報に基づいて動画の再マッピングを行い、オクルージョン情報を抽出すると同時に動画変換を行います。

• このステップにより、変換プロセス中、物体のオクルージョン関係が正しく処理されることが保証されます。

4. ステレオ動画修復

リマッピングが完了した後、ステレオ動画の修復を行います：

• 事前学習済みの安定動画拡散モデルを使用して、生成されたステレオ動画を修復し、動画の品質と一貫性を確保します。

• このステップにより、発生する可能性のあるアーティファクトや不連続な境界を除去できます。

5. 出力と再生

• 最後に、生成された3D動画を出力します：

• 適切な出力フォーマット（赤青、VR、左右フォーマットなど）を選択して、さまざまな3D表示デバイスで再生できるようにします。

• Apple Vision Proなどのデバイスで生成された動画を再生し、没入型の視聴体験を楽しむことができます。

以上のステップにより、StereoCrafterを使用して通常の2D動画を高品質な立体3D動画に正常に変換できます。

StereoCrafterプロジェクトホームページ：https://stereocrafter.github.io/

Githubコードリポジトリ：https://github.com/TencentARC/StereoCrafter

ArXiv技術論文：https://arxiv.org/pdf/2409.07447