SketchVideo: steuerbare Methode zur Videoerzeugung und -bearbeitung auf Skizzenbasis 77

Was ist SketchVideo?

SketchVideo ist ein Open-Source-Projekt zur steuerbaren Videoerzeugung und -bearbeitung auf Basis von Strichzeichnungen, das von Forschern der University of Chinese Academy of Sciences, der Hong Kong University of Science and Technology und dem Kling-Team von Kuaishou entwickelt wurde. Es stützt sich auf drei zentrale Technologien – intelligente Bewegungsvorhersage, multimodale Steuerung und Echtzeit-Rendering –, um die Erstellung von Animationen zu erleichtern. Dieses Projekt ist in Bereichen wie Marketing, Bildung und persönlicher kreativer Präsentation sehr nützlich. Es kann das Publikum fesseln, Resonanz erzeugen und gilt als Vertreter einer neuen Form von Videos.

Funktionsmerkmale von SketchVideo

• Videoerzeugung: Der Benutzer muss nur eine Einzel- oder Doppelbild-Strichzeichnung bereitstellen und diese mit Textaufforderungen kombinieren, und SketchVideo kann hochwertige Videos erzeugen. Beispielsweise kann eine einfache Umrisszeichnung eines Tieres mit der Textbeschreibung „im Wald rennen“ ein Video erzeugen, in dem das Tier durch den Wald läuft.

• Videobearbeitung: Nachdem ein reales Video vorgegeben wurde, kann der Benutzer den Bearbeitungsbereich festlegen und Strichzeichnungen für lokale Änderungen anfertigen. Ändert man beispielsweise in einem Personenvideo die Frisur, passt sich die neu erzeugte Frisur natürlich an die Kopfbewegungen der Person an.

• Dynamische Steuerung: Unterstützt Bewegungsinterpolation und -extrapolation; durch das Zeichnen von Strichzeichnungen für verschiedene Keyframes können Benutzer den Bewegungszustand von Objekten steuern.

• Detailerhaltung: Bei der Videobearbeitung bleiben die Details in den nicht bearbeiteten Bereichen erhalten, sodass das bearbeitete Video visuell natürlich und kohärent wirkt.

• Effiziente Erzeugung: Durch den Einsatz von Speicheroptimierungstechniken werden hochwertige Videos schnell erzeugt. Beispielsweise benötigt das SketchGen-Modell auf einer A100-GPU etwa 95 Sekunden, um ein Einzelbild-Video zu erzeugen.

Technische Prinzipien von SketchVideo

• Skizzen-Bedingungsnetzwerk: Basierend auf dem DiT-Videoerzeugungsmodell wird ein spezielles Skizzen-Bedingungsnetzwerk entworfen. Dieses Netzwerk enthält mehrere Skizzen-Steuerungsblöcke, die die Residualmerkmale der übersprungenen DiT-Blöcke vorhersagen und Steuersignale in Merkmale verschiedener Ebenen einspeisen.

• Aufmerksamkeitsmechanismus zwischen Frames: Durch die Berechnung der Beziehung zwischen den verborgenen Merkmalen aller Frames und den verborgenen Merkmalen der Steuerungsframes werden die Skizzenbedingungen auf den Keyframes auf alle Videoframes übertragen, um eine raumzeitliche Propagation der Skizzenmerkmale zu realisieren.

• Video-Insertionsmodul: In Aufgaben der Videobearbeitung analysiert dieses Modul die Beziehung zwischen der eingegebenen Skizze und dem Originalvideo und erzeugt Inhalte, die räumlich und zeitlich mit dem Originalvideo konsistent sind.

• Latente Fusionstechnik: Während der Inferenz werden auf Basis der DDIM-Inversion Rauschlatenten des Eingabevideos erzeugt. In den nicht bearbeiteten Bereichen werden diese Latenten ersetzt, um die Details des Originalvideos zu bewahren.

• Hybride Trainingsstrategie: Bild- und Videodaten werden kombiniert für das Training verwendet. Zunächst werden Bild- und Videodaten genutzt, um die Konvergenz zu beschleunigen und das Problem begrenzter Videodaten zu lösen; anschließend werden mit den Videodaten die zeitliche Kohärenz weiter optimiert.

Vorteile von SketchVideo

• Niedrigere Einstiegshürde für die Kreation: Auch normale Benutzer ohne Fachkenntnisse oder besondere Fähigkeiten können mithilfe von Skizzen und Texten mühelos Videos erstellen, wodurch das kreative Potenzial jedes Einzelnen geweckt wird.

• Präzise Steuerung der Details: Durch das Skizzen-Bedingungsnetzwerk, das Steuersignale auf verschiedenen Merkmalsebenen vorhersagt und einspeist, können sämtliche Details – von Form und Position eines Objekts bis hin zum Gesamtlayout der Szene – fein gezeichnet und dargestellt werden.

• Effizient und komfortabel: Durch das auf DiT basierende Videoerzeugungsmodell und die innovative Integration von Skizzen-Steuerungsblöcken sowie dem Aufmerksamkeitsmechanismus zwischen Frames wird eine qualitativ hochwertige Ausgabe bei gleichzeitiger effizienter Speicheroptimierung gewährleistet, sodass Videos schnell erzeugt und Kreativzeit gespart wird.

Anwendungsszenarien von SketchVideo

• Film- und TV-Produktion: Kann zur schnellen Erzeugung von Animationsvideos sowie zum Hinzufügen visueller Effekte oder zur Modifikation von Szenen in Film- und TV-Sequenzen verwendet werden.

• Erstellung von Kurzvideos: Kreative können problemlos personalisierte Kurzvideos erstellen, etwa handgezeichnete Animationsgeschichten oder kreative Werbespots.

• Virtuelle Simulation: Beim Aufbau virtueller Szenen lassen sich mithilfe von Strichzeichnungen dynamische virtuelle Umgebungen schnell erzeugen, die in der Spieleentwicklung, für virtuelle Schulungen und in weiteren Bereichen eingesetzt werden.

Projektinformationen

Paper:https://arxiv.org/abs/2503.23284

Projekt-Webseite:http://geometrylearning.com/SketchVideo

GitHub-Repository:https://github.com/IGLICT/SketchVideo