ReCamMaster : un cadre pour générer de nouvelles vues et trajectoires de mouvement à partir d'une seule vidéo 136

Qu'est-ce que ReCamMaster ?

ReCamMaster est un cadre développé conjointement par des équipes de recherche de l'Université du Zhejiang, de Kuaishou Technology, de l'Université chinoise de Hong Kong et de l'Université des sciences et technologies de Huazhong, permettant de générer de nouveaux angles de vue et des vidéos avec trajectoires de mouvement à partir d'une seule vidéo. Il peut générer du contenu vidéo avec de nouveaux angles de vue et trajectoires de mouvement à partir d'une seule vidéo en redéfinissant la trajectoire de la caméra. Le cœur de cette technologie réside dans l'utilisation d'un modèle pré-entraîné de génération vidéo à partir de texte, ainsi que dans un mécanisme de conditionnement vidéo soigneusement conçu, permettant un rendu vidéo de haute qualité.

Fonctionnalités et caractéristiques de ReCamMaster

• Contrôle de la trajectoire de la caméra : prend en charge diverses trajectoires complexes telles que le panoramique, la rotation et le zoom, permettant aux utilisateurs de personnaliser les mouvements de la caméra.

• Génération vidéo de haute qualité : maintient la synchronisation dynamique et la cohérence multi-frames de la vidéo, produisant des vidéos de haute qualité.

• Prise en charge de jeux de données à grande échelle : utilise un jeu de données vidéo multi-caméras synchronisées construit avec Unreal Engine 5, couvrant des scènes et des mouvements de caméra variés.

• Mécanisme innovant de conditionnement vidéo : améliore considérablement la qualité des vidéos générées grâce à une technique de concaténation de conditions au niveau des frames.

Cas d'utilisation de ReCamMaster

• Stabilisation vidéo : convertit les vidéos instables en vidéos fluides tout en préservant la scène et l'action d'origine.

• Super-résolution et extension vidéo : améliore la résolution vidéo et élargit le champ de vision.

• Vision pour la conduite autonome et les robots : fournit une augmentation de données multi-vues, renforçant la capacité de généralisation des modèles.

• Création vidéo et post-production : redéfinit la trajectoire de la caméra dans les vidéos, créant de nouveaux effets visuels.

Comment utiliser ReCamMaster

1. Saisir la vidéo : fournissez une vidéo d'entrée à vue unique.

2. Choisir la trajectoire : sélectionnez ou personnalisez la trajectoire de la caméra (par exemple, panoramique, rotation, zoom, etc.).

3. Générer la vidéo : le système générera une vidéo avec un nouvel angle de vue en fonction de la trajectoire définie et enverra le résultat par e-mail.

4. Traitement par lots : pour le traitement par lots ou les tests comparatifs, contactez l'équipe du projet (jianhongbai@zju.edu.cn).

Dépôt GitHub :https://github.com/KwaiVGI/ReCamMaster

Page du projet :https://jianhongbai.github.io/ReCamMaster/

Article :https://arxiv.org/abs/2503.11647