ReCamMaster: ein Framework zur Erzeugung neuer Ansichten und Bewegungstrajektorien aus einem einzigen Video 127

Was ist ReCamMaster?

ReCamMaster ist ein von einem Forschungsteam der Zhejiang-Universität, Kuaishou Technology, der Chinesischen Universität Hongkong und der Huazhong-Universität für Wissenschaft und Technik gemeinsam entwickeltes Framework zur Erzeugung von Videos mit neuen Perspektiven und Bewegungsabläufen aus einem einzelnen Video. Es kann Videomaterial mit neuen Blickwinkeln und Bewegungstrajektorien aus einem einzelnen Video erzeugen, indem es die Kamerabahn neu definiert. Das Kernstück dieser Technologie ist die Nutzung eines vortrainierten Text-zu-Video-Generierung-Modells in Kombination mit einem sorgfältig konzipierten Videokonditionierungsmechanismus, um ein hochwertiges Video-Rendering zu ermöglichen.

Funktionsmerkmale von ReCamMaster

• Kamerabahnsteuerung: Unterstützt komplexe Trajektorien wie Schwenken, Drehen und Zoomen; Benutzer können die Kamerabewegung individuell anpassen.

• Hochwertige Videoerzeugung: Bewahrt die dynamische Synchronisation und die Konsistenz über mehrere Frames hinweg und erzeugt Videos in hoher Qualität.

• Unterstützung durch umfangreiche Datensätze: Verwendet einen mit Unreal Engine 5 erstellten, multikamerasynchronisierten Videodatensatz, der vielfältige Szenen und Kamerabewegungen abdeckt.

• Innovativer Videokonditionierungsmechanismus: Verbessert die Qualität der erzeugten Videos durch eine Bedingungsverkettung auf Frame-Ebene deutlich.

Anwendungsszenarien von ReCamMaster

• Videostabilisierung: Wandelt instabile Videos in ruhige, flüssige Videos um und bewahrt dabei die ursprüngliche Szene und Aktion.

• Video-Superauflösung und Outpainting: Steigert die Videoauflösung und erweitert das Blickfeld.

• Autonomes Fahren und Roboter-Vision: Bietet Datenerweiterung mit mehreren Perspektiven und verbessert die Generalisierungsfähigkeit von Modellen.

• Videoproduktion und Postproduktion: Definiert die Kamerabahn eines Videos neu und schafft so neue visuelle Effekte.

Verwendung von ReCamMaster

1. Eingabevideo: Stellen Sie ein Eingabevideo aus einer einzelnen Perspektive bereit.

2. Trajektorie auswählen: Wählen Sie eine Kamerabahn aus oder definieren Sie sie selbst (z. B. Schwenken, Drehen, Zoomen usw.).

3. Video erzeugen: Das System erstellt anhand der definierten Trajektorie ein Video aus neuer Perspektive und sendet das Ergebnis per E-Mail.

4. Stapelverarbeitung: Für Stapelverarbeitung oder Vergleichstests können Sie das Projektteam kontaktieren (jianhongbai@zju.edu.cn).

GitHub-Repository:https://github.com/KwaiVGI/ReCamMaster

Projekt-Hauptseite:https://jianhongbai.github.io/ReCamMaster/

Paper:https://arxiv.org/abs/2503.11647