StereoCrafter: Open-Source-Framework von Tencent zur Umwandlung von 2D- in 3D-Videos 127

StereoCrafter ist ein von Tencent ai Lab entwickeltes Open-Source-Framework, das gewöhnliche 2D-Videos in immersive stereoskopische 3D-Videos umwandelt.

Das StereoCrafter-Framework besteht aus zwei Hauptschritten: tiefenbasiertes Video-Splatting und stereoskopische Videoreparatur. Zunächst werden durch Tiefenschätzung Tiefeninformationen aus dem eingegebenen Video aus Einzelansicht extrahiert, und diese Informationen werden zur Verformung des Videos und zur Erzeugung von Verdeckungsmasken verwendet. Anschließend füllt ein stereoskopisches Videoreparaturmodell die Lückenbereiche im verformten Video, um das rechte Ansichtsvideo zu synthetisieren. Diese Methode verbessert nicht nur die Qualität der erzeugten 3D-Videos, sondern gewährleistet auch Flexibilität und Anpassungsfähigkeit bei Videoeingaben unterschiedlicher Länge und Auflösung.

Darüber hinaus unterstützt StereoCrafter verschiedene Videoquellen, darunter Filme, Video-Blogs, 3D-Cartoons und KI-generierte Inhalte (AIGC)-Videos, was den Anwendungsbereich weiter erweitert. StereoCrafter wurde entwickelt, um die wachsende Nachfrage nach 3D-Inhalten zu erfüllen, insbesondere im Bereich immersiver Erlebnisse, und bietet den Nutzern ein noch reichhaltigeres visuelles Erlebnis.

Die Hauptfunktionen von StereoCrafter:

• Videoumwandlung: StereoCrafter kann jedes 2D-Video in ein hochauflösendes stereoskopisches 3D-Video umwandeln und unterstützt verschiedene Anzeigegeräte wie 3D-Brillen und Apple Vision Pro.

• Tiefenschätzung: StereoCrafter nutzt Tiefenschätzungstechnologie, um die Tiefeninformationen im Video zu analysieren und so realistische 3D-Effekte zu erzeugen.

• Videoreparatur: StereoCrafter verfügt außerdem über eine stereoskopische Videoreparaturfunktion, die Verdeckungen und andere visuelle Probleme im Video behandelt und sicherstellt, dass die erzeugten Videos eine hohe Qualität und Kohärenz aufweisen.

• Unterstützung mehrerer Formate: Die erzeugten Videos können in Rot-Blau-, VR- oder Links-Rechts-Format ausgegeben werden, um unterschiedlichen Anzeigeanforderungen und Geräten gerecht zu werden.

• Hohe Leistung: StereoCrafter ist optimiert, um Videos schnell zu verarbeiten.

Anwendungsszenarien von StereoCrafter

StereoCrafter eignet sich für verschiedene Videoquellen wie Filme, Video-Blogs, 3D-Animationen und AIGC-Videos und kann stereoskopische Effekte auf Geräten wie 3D-Brillen, Apple Vision Pro und 3D-Monitoren darstellen.

• Filmproduktion: In der Film- und Videoproduktion kann StereoCrafter Kreatoren dabei helfen, traditionelle 2D-Filme in 3D-Versionen umzuwandeln.

• Video-Blogs und Content-Erstellung: Content-Ersteller können StereoCrafter nutzen, um ihre 2D-Videoinhalte in 3D umzuwandeln.

• Bildung und Training: Im Bildungsbereich können stereoskopische Videos ein noch intensiveres Lernerlebnis bieten.

• Virtuelle Realität und erweiterte Realität: Die von StereoCrafter erzeugten 3D-Videos können für VR- und AR-Anwendungen verwendet werden.

Schritte und Methoden zur Videoumwandlung mit StereoCrafter:

1. Vorbereitung

Bevor Sie beginnen, stellen Sie sicher, dass Sie folgende Vorbereitungen getroffen haben:

• Monoskopisches Videomaterial: Wählen Sie das 2D-Video aus, das Sie umwandeln möchten, und stellen Sie sicher, dass die Videoqualität den Anforderungen entspricht.

• Softwareinstallation: Besuchen Sie die offizielle Website von StereoCrafter, laden Sie die benötigte Software oder das Modell herunter und installieren Sie es.

2. Tiefenschätzung

Verwenden Sie die Tiefenschätzungsfunktion von StereoCrafter, um die Tiefeninformationen des Videos zu erzeugen. Dieser Schritt ist der Schlüssel zur Umwandlung von 2D-Videos in 3D-Videos. Die einzelnen Schritte sind wie folgt:

• Importieren Sie Ihr Videomaterial in StereoCrafter.

• Führen Sie den Tiefenschätzungsalgorithmus aus, um Tiefenkarten des Videos zu erzeugen. Diese Tiefenkarten werden für den anschließenden 3D-Aufbau verwendet.

3. Video-Remapping

Nachdem Sie die Tiefeninformationen erhalten haben, führen Sie das Video-Remapping durch:

• Basierend auf den Tiefeninformationen wird das Video neu gemappt, wobei Verdeckungsinformationen extrahiert und gleichzeitig Videotransformationen durchgeführt werden.

• Dieser Schritt stellt sicher, dass die Verdeckungsbeziehungen zwischen Objekten während der Umwandlung korrekt verarbeitet werden.

4. Stereoskopische Videoreparatur

Nach Abschluss des Remappings führen Sie die stereoskopische Videoreparatur durch:

• Verwenden Sie ein vortrainiertes Stable Video Diffusion-Modell, um die erzeugten stereoskopischen Videos zu reparieren und die Qualität sowie Kohärenz des Videos sicherzustellen.

• Dieser Schritt kann mögliche Artefakte und inkonsistente Übergänge beseitigen.

5. Ausgabe und Wiedergabe

• Abschließend wird das erzeugte 3D-Video ausgegeben:

• Wählen Sie ein geeignetes Ausgabeformat (wie Rot-Blau, VR oder Links-Rechts), um das Video auf verschiedenen 3D-Anzeigegeräten wiederzugeben.

• Sie können die erzeugten Videos auf Geräten wie Apple Vision Pro abspielen und ein immersives Seherlebnis genießen.

Mithilfe der oben genannten Schritte können Sie mit StereoCrafter gewöhnliche 2D-Videos erfolgreich in hochwertige stereoskopische 3D-Videos umwandeln.

StereoCrafter Projektseite:https://stereocrafter.github.io/

Github-Repository:https://github.com/TencentARC/StereoCrafter

ArXiv-Technisches Paper:https://arxiv.org/pdf/2409.07447