脚本プランナー▸ 
AIアプリ 
AIニュース ReCamMaster：単一動画から新しい視点と動きの軌跡を生成するフレームワーク
小编 ·
ReCamMaster：単一動画から新しい視点と動きの軌跡を生成するフレームワーク
ReCamMasterとは？
ReCamMasterは、浙江大学、快手科技、香港中文大学、華中科技大学の研究チームによって共同開発された、単一の動画から新しい視点と運動軌跡を持つ動画を生成するフレームワークです。カメラの軌跡を再定義することで、単一の動画から新しい視点と運動軌跡を持つ映像コンテンツを生成することができます。この技術の核心は、事前学習済みのテキストから動画生成モデルを利用し、精心に設計された動画条件付けメカニズムを通じて、高品質な動画再レンダリングを実現することにあります。
ReCamMasterの機能特徴
カメラ軌跡の制御：パン（平行移動）、回転、ズームなどの複雑な軌跡をサポートし、ユーザーがカスタムのカメラ動作を定義できます。
高品質な動画生成：動画の動的同期性と複数フレームの一貫性を維持し、高品質な動画を生成します。
大規模データセットのサポート：Unreal Engine 5で構築された多カメラ同期動画データセットを使用し、多様性のあるシーンとカメラ動作をカバーします。
革新的な動画条件付けメカニズム：フレーム次元の条件付け連結技術により、生成される動画の品質を大幅に向上させます。
ReCamMasterの応用シーン
動画安定化：不安定な動画をスムーズな動画に変換し、元のシーンと動作を保持します。
動画の超解像と拡張：動画の解像度と視野範囲を向上させます。
自動運転とロボット視覚：多視点データ拡張を提供し、モデルの汎化能力を強化します。
動画制作とポストプロダクション：動画のカメラ軌跡を再定義し、新しい視覚効果を生み出します。
ReCamMasterの使用方法
動画を入力：単一視点の入力動画を提供します。
軌跡を選択：カメラの軌跡を選択またはカスタマイズします（パン、回転、ズームなど）。
動画を生成：システムが定義された軌跡に基づいて新しい視点の動画を生成し、結果をメールで送信します。
バッチ処理：バッチ処理や比較テストが必要な場合は、プロジェクトチーム（jianhongbai@zju.edu.cn）にお問い合わせください。
GitHubリポジトリ：https://github.com/KwaiVGI/ReCamMaster
プロジェクトホームページ：https://jianhongbai.github.io/ReCamMaster/
論文：https://arxiv.org/abs/2503.11647
