Tora: KI-Videogenerierungs-Framework von Alibaba 138

Alibaba Tora-Video ist ein von Alibaba vorgestelltes KI-Video-Generierungsframework, das auf der Technologie des Trajectory-oriented Diffusion Transformer (DiT) basiert. Es kann Text-, Bild- und Trajektoriebedingungen verschmelzen, um hochwertige, physikalisch konsistente dynamische Videos zu erzeugen.

Hauptfunktionen und Merkmale von Tora:

Trajektorieorientierte Video-Generierung: Tora kann Videos basierend auf vorgegebenen Trajektorien generieren und gewährleistet dabei Konsistenz und Genauigkeit der Bewegung. Der Trajectory Extractor (TE) wandelt die eingegebenen Trajektorien in hierarchische räumlich-zeitliche Bewegungsblöcke um, die mit dem latenten Raum des Videoinhalts übereinstimmen.

Integration multimodaler Eingaben: Tora unterstützt die gleichzeitige Eingabe von Text-, Bild- und Trajektoriebedingungen und ermöglicht so eine mehrdimensionale Steuerung der Videoinhalte. Das bedeutet, dass Nutzer Videos durch Textbeschreibungen, Bilder oder Bewegungspfade von Objekten erzeugen können.

Hochauflösende Videoausgabe: Tora kann hochauflösende Videos mit bis zu 204 Frames in 720p erzeugen und gewährleistet dabei eine hohe Videoqualität. Dadurch sind die generierten Videos nicht nur bildlich klar, sondern auch in ihren Bewegungen flüssig.

Simulation physikalischer Weltdynamiken: Die von Tora erzeugten Videobewegungen entsprechen den physikalischen Dynamiken der realen Welt, wie z. B. Schwerkraft und kinetischen Prinzipien. Durch den Spatial-Temporal DiT kann Tora Videodaten verarbeiten und Videos mit kohärenten Bewegungen verstehen und generieren.

Flexible Inhaltserstellung: Tora unterstützt die Generierung von Videos unterschiedlicher Länge, Seitenverhältnisse und Auflösungen und deckt damit vielfältige kreative Anforderungen ab. Ob Kurz- oder Langvideo, ob Standard-Seitenverhältnis oder benutzerdefiniert – Tora passt sich an.

Motion-guidance Fuser (MGF): Diese Komponente ist dafür verantwortlich, die vom Trajectory Extractor erzeugten räumlich-zeitlichen Bewegungsblöcke in das DiT-Modell zu integrieren, um sicherzustellen, dass die generierten Videoinhalte den vorgegebenen Trajektorien und Dynamiken folgen. Der MGF integriert Bewegungspatches über adaptive Normalisierungsschichten in die DiT-Blöcke und ermöglicht so eine präzise Steuerung der Videodynamik.

Zweistufige Trainingsstrategie: Damit Tora Bewegungen besser verstehen und erzeugen kann, wird ein zweistufiger Trainingsprozess eingesetzt. Zunächst wird mit dichtem optischen Fluss trainiert, anschließend mit spärlichen Trajektorien feinjustiert, um die Flexibilität und Genauigkeit der Bewegungskontrolle zu verbessern.

Datenvorverarbeitung: Vor dem Training muss Tora die Videodaten aufbereiten, z. B. lange Videos anhand von Szenenerkennung in kurze Segmente aufteilen und anschließend anhand von ästhetischen Bewertungen sowie Bewegungsergebnissen geeignete Trainingssegmente auswählen.

Hauptfunktionsmodule von Tora

Trajectory Extractor (TE): Wandelt eingegebene Trajektorien in hierarchische räumlich-zeitliche Bewegungsblöcke um, die mit dem latenten Raum des Videoinhalts übereinstimmen.

Spatial-Temporal DiT: Kombiniert räumliche und zeitliche Selbstaufmerksamkeitsmechanismen, verarbeitet Videodaten und ermöglicht es dem Modell, Videos mit kohärenten Bewegungen zu verstehen und zu generieren.

Motion-guidance Fuser (MGF): Verantwortlich für die Integration der vom Trajectory Extractor erzeugten räumlich-zeitlichen Bewegungsblöcke in das DiT-Modell, um sicherzustellen, dass die generierten Videoinhalte den vorgegebenen Trajektorien und Dynamiken folgen.

Anwendungsszenarien von Tora:

Film- und Fernsehproduktion: In der Film- und Serienproduktion kann Tora zur Erzeugung von Spezialeffektszenen eingesetzt werden, um durch Trajektoriekontrolle komplexe dynamische Bilder zu generieren und so Produktionskosten und -zeit zu reduzieren.

Animation: Automatische Generierung von Animationssequenzen aus Skripten, die Animatoren als dynamische Vorentwürfe dienen und den kreativen Prozess beschleunigen.

Virtual Reality (VR) und Augmented Reality (AR): Erzeugung dynamischer Umgebungen, die mit dem Nutzer interagieren, und Bereitstellung realistischer visueller Effekte für VR- und AR-Anwendungen.

Spieleentwicklung: Schnelle Generierung von Spielumgebungen und Charakteranimationen zur Steigerung der Effizienz im Game Design.

Zugriffsmöglichkeiten auf Tora:

Tora Projekt-Website: https://ali-videoai.github.io/tora_video/

Tora GitHub-Repository: https://github.com/ali-videoai/Tora

Tora arXiv-Technische Abhandlung: https://arxiv.org/pdf/2407.21705

Insgesamt ist die von Tora erzeugte Videoqualität sehr hoch. Es kann hochauflösende Videos von 10 bis 60 Sekunden erzeugen und liefert hervorragende Ergebnisse bei unterschiedlichen Auflösungen und Seitenverhältnissen. Die Videos von Tora sind nicht nur flüssig, sondern simulieren auch die Bewegungen der physikalischen Welt detailliert. Auch die Trajektoriekontrollfunktion von Tora wird von den Nutzern sehr geschätzt.