StereoCrafter : framework open source de Tencent pour convertir des vidéos 2D en 3D 132

StereoCrafter est un framework open-source développé par le laboratoire AI de Tencent, capable de convertir des vidéos 2D classiques en vidéos stéréoscopiques 3D immersives.

L'architecture de StereoCrafter se compose de deux étapes principales : le video splatting basé sur la profondeur et l'inpainting vidéo stéréo. Tout d'abord, les informations de profondeur sont extraites de la vidéo monoculaire d'entrée par estimation de la profondeur, puis utilisées pour déformer la vidéo et générer des masques d'occlusion. Ensuite, un modèle d'inpainting vidéo stéréo comble les zones vides de la vidéo déformée afin de synthétiser la vue droite. Cette approche améliore non seulement la qualité de la vidéo 3D générée, mais garantit également flexibilité et adaptabilité pour des entrées vidéo de différentes longueurs et résolutions.

De plus, StereoCrafter prend en charge plusieurs sources vidéo, notamment les films, les vlogs, les dessins animés 3D et les contenus générés par IA (AIGC), élargissant ainsi son champ d'application.StereoCrafter est conçu pour répondre à la demande croissante de contenu 3D, en particulier dans le domaine des expériences immersives, offrant aux utilisateurs une expérience visuelle plus riche.

Principales fonctionnalités de StereoCrafter :

• Conversion vidéo : StereoCrafter peut convertir toute vidéo 2D en vidéo stéréo 3D haute fidélité, et prend en charge divers dispositifs d'affichage tels que les lunettes 3D et l'Apple Vision Pro.

• Estimation de la profondeur : StereoCrafter utilise des techniques d'estimation de la profondeur pour analyser les informations de profondeur de la vidéo et générer ainsi des effets 3D réalistes.

• Inpainting vidéo : StereoCrafter intègre également une fonctionnalité d'inpainting vidéo stéréo, capable de gérer les occlusions et autres problèmes visuels, garantissant une vidéo générée de haute qualité et cohérente.

• Prise en charge de plusieurs formats : les vidéos générées peuvent être exportées en formats rouge/bleu, VR ou côte à côte, pour s'adapter à différents besoins de visionnage et appareils.

• Haute performance : StereoCrafter a été optimisé pour traiter rapidement les vidéos.

Cas d'utilisation de StereoCrafter

StereoCrafter convient à de nombreuses sources vidéo telles que les films, les vlogs, les animations 3D et les vidéos AIGC, et permet de restituer des effets stéréoscopiques sur des appareils comme les lunettes 3D, l'Apple Vision Pro et les écrans 3D.

• Production cinématographique : dans la production de films et de vidéos, StereoCrafter aide les créateurs à transformer des œuvres 2D traditionnelles en versions 3D.

• Vlogs et création de contenu : les créateurs de contenu peuvent utiliser StereoCrafter pour convertir leurs vidéos 2D en 3D.

• Éducation et formation : dans le domaine éducatif, les vidéos stéréoscopiques offrent une expérience d'apprentissage plus immersive.

• Réalité virtuelle et réalité augmentée : les vidéos 3D générées par StereoCrafter peuvent être utilisées dans des applications VR et AR.

Étapes et méthodes pour convertir des vidéos avec StereoCrafter :

1. Préparation

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Ressources vidéo monoculaires : choisissez la vidéo 2D que vous souhaitez convertir et veillez à ce que sa qualité soit conforme aux exigences.

• Installation du logiciel : rendez-vous sur le site officiel de StereoCrafter, téléchargez et installez le logiciel ou les modèles nécessaires.

2. Estimation de la profondeur

Utilisez la fonction d'estimation de la profondeur de StereoCrafter pour générer les informations de profondeur de la vidéo. Cette étape est essentielle pour convertir une vidéo 2D en vidéo 3D. Les étapes détaillées sont les suivantes :

• Importez vos ressources vidéo dans StereoCrafter.

• Lancez l'algorithme d'estimation de la profondeur pour générer les cartes de profondeur de la vidéo. Ces cartes serviront ensuite à la reconstruction 3D.

3. Re-texturage vidéo

Une fois les informations de profondeur obtenues, effectuez le re-texturage de la vidéo :

• Re-texturez la vidéo en vous appuyant sur les informations de profondeur, en extrayant les informations d'occlusion tout en transformant la vidéo.

• Cette étape garantit que les relations d'occlusion entre les objets sont correctement traitées durant la conversion.

4. Inpainting vidéo stéréo

Une fois le re-texturage terminé, procédez à l'inpainting de la vidéo stéréo :

• Utilisez un modèle pré-entraîné de diffusion vidéo stable pour restaurer la vidéo stéréo générée et garantir sa qualité et sa cohérence.

• Cette étape permet d'éliminer les artefacts et les discontinuités de bord qui pourraient apparaître.

5. Sortie et lecture

• Enfin, exportez la vidéo 3D générée :

• Choisissez un format de sortie approprié (rouge/bleu, VR ou côte à côte) pour la lecture sur différents dispositifs d'affichage 3D.

• Vous pouvez lire la vidéo générée sur des appareils tels que l'Apple Vision Pro et profiter d'une expérience visuelle immersive.

En suivant ces étapes, vous pouvez utiliser StereoCrafter pour convertir avec succès une vidéo 2D classique en vidéo stéréo 3D de haute qualité.

Page officielle du projet StereoCrafter :https://stereocrafter.github.io/

Dépôt GitHub :https://github.com/TencentARC/StereoCrafter

Article technique sur ArXiv :https://arxiv.org/pdf/2409.07447