CineMaster: 3D-bewusstes und steuerbares Text-zu-Video-Framework von Kuaishou 180

CineMaster ist ein kürzlich von Kuaishou vorgestelltes, neuartiges Text-zu-Video-Generierungsframework. Es handelt sich um ein gemeinsam von der Dalian University of Technology, der Chinese University of Hong Kong und Kuaishou Technology veröffentlichtes, 3D-wahrnehmendes und steuerbares Text-zu-Video-Generierungsframework. CineMaster ermöglicht es Benutzern, über eine mit professionellen Filmregisseuren vergleichbare kreative Leistungsfähigkeit zu verfügen, Objekte in der Szene präzise zu platzieren, Objekte und Kameras im 3D-Raum frei zu steuern und das Layout jeder einzelnen Frame intuitiv zu gestalten. Es wird als die Video-Version von ControlNet gepriesen.

CineMaster ermöglicht es Benutzern, die Objektposition und Kamerabewegung präzise über mehrere Steuersignale zu kontrollieren, wodurch die Flexibilität und Genauigkeit der Videogenerierung optimiert wird.

Das heißt, CineMaster erlaubt es Benutzern, Steuersignale wie Tiefenkarten, Kameratrajektorien und Objektbeschriftungen einzugeben, um bei der Videogenerierung die kreativen Ideen der Benutzer besser umzusetzen. Es findet Anwendung in der Animationsproduktion, der Entwicklung von Videospielen sowie in anderen Bereichen, die eine präzise Steuerung visueller Elemente erfordern.

Hauptfunktionen von CineMaster:

• Präzise Platzierung von Objekten in der Szene: Benutzer können die Position von Objekten und die Bewegung der Kamera im 3D-Raum frei anpassen und so eine hochgradig steuerbare Videogenerierung realisieren.

• Intuitives Design des Layouts jeder Frame: Über eine interaktive Oberfläche können Benutzer die Rendering-Effekte in Echtzeit in der Vorschau ansehen und jede Frame des Videos schrittweise optimieren.

• Bedingte signalgesteuerte Videogenerierung: Mithilfe von Tiefenkarten, Kameratrajektorien und Objektkategorie-Beschriftungen wird das Diffusionsmodell angeleitet, Videoinhalte zu erzeugen, die den Designabsichten der Benutzer entsprechen.

• Einführung eines Semantik-Layout-Injektionsmoduls und eines Kamera-Adapters: Stellt sicher, dass die generierten Videoinhalte sowohl semantisch als auch visuell den 3D-Designabsichten der Benutzer entsprechen, und unterstützt komplexe Kamerabewegungen.

Highlights von CineMaster:

• Zweistufiger Arbeitsablauf: In der ersten Phase werden 3D-wahrnehmende Steuersignale erstellt, in der zweiten Phase wird das Video auf Basis der Bedingungssignale generiert.

• Semantisches Layout-Steuernetzwerk: Kombiniert 3D-Raumlayout mit semantischen Informationen, um die Position jeder Entität präzise zu steuern.

• Kamera-Adapter: Injiziert die Kamerapose über Residualverbindungen in den Generierungsprozess und unterstützt komplexe Kamerabewegungen.

Technologie von CineMaster:

• Automatisierte Datenannotierungspipeline: Umfasst Instanzsegmentierung, Tiefenschätzung, Berechnung von 3D-Punktwolken und Bounding Boxes, Entitätstracking sowie Anpassung der 3D-Bounding Boxes.

• Experimente und Ergebnisse: In drei typischen Szenarien übertrifft CineMaster die Leistung bestehender SOTA-Methoden bei Weitem und ermöglicht eine präzise Steuerung von Objekten und Kamerabewegungen.

Anwendungen von CineMaster:

• Kreative Videos: Hilft Kreativen, individuellere Videowerke zu erstellen.

• Werbung und Promotion: Bietet präzise und innovative Werkzeuge für die Erstellung von Werbevideos.

• Bildung und Training: Erhöht durch 3D-Modelle und animierte Szenen die Attraktivität von Bildungsinhalten.

• Filmproduktion: Bietet neue technische Unterstützung für die Produktion von Film- und Fernsehinhalten.

CineMaster hat einen erheblichen Einfluss auf zahlreiche Bereiche wie Content-Erstellung, Werbeproduktion, Film-Spezialeffekte und Online-Bildung und ermöglicht es auch Laien, Videos mit cinematografischen visuellen Effekten zu erstellen.

Projekt-URL: https://cinemaster-dev.github.io/