Wonder Journey_云技派,专注ai人工智能! 85

Wonder Journey benötigt nur 1 Bild oder eine Textbeschreibung, um 3D-Szenenanimationen zu erstellen. Es handelt sich um ein modulares Framework zur Generierung permanenter Szenen, das von der Stanford University und Google gemeinsam entwickelt wurde und ein bahnbrechendes Projekt darstellt.

Wonder Journey URL-Einstiegspunkt:https://kovenyu.com/wonderjourney

Im Gegensatz zu früheren Arbeiten zur Ansichtsgenerierung, die sich auf einzelne Szenentypen konzentrierten, beginnen wir mit einem beliebigen, vom Benutzer angegebenen Ausgangspunkt (durch Textbeschreibung oder Bild) und erzeugen eine lange Reihe unterschiedlicher, aber kohärent verbundener 3D-Szenen, die eine Reise bilden. Wir nutzen LLMs, um Textbeschreibungen der Szenen entlang dieser Reise zu generieren, eine textgesteuerte Punktwolken-Generierungspipeline zur Erstellung fesselnder und kohärenter 3D-Szenen, von denen jede vielfältig und eng miteinander verbunden ist, sowie ein großes VLM zur Validierung der generierten Szenen. Wir präsentieren beeindruckende, vielfältige visuelle Effekte über verschiedene Szenentypen und Stile hinweg und schaffen so eine imaginäre „Wonder Journey".

Das Besondere an Wonder Journey ist, dass es flexibel von jedem beliebigen Ausgangspunkt aus gestartet werden kann, sei es ein Bild oder eine Textbeschreibung. Dies eröffnet eine „Wonder Journey" – eine Reihe von 3D-Szenen entlang einer Kamerabahn, die vielfältige, aber miteinander verbundene Landschaften zeigen.

Ausgehend von einem beliebigen Punkt (durch Text oder Bild angegeben) generiert Wonder Journey eine Reihe vielfältiger, aber kohärent verbundener 3D-Szenen entlang einer Kamerabahn (d. h. eine „Wonder Journey"). Wir verwenden Hin- und Her-Kamerabahnen, um die „Wonder Journey" zu rendern.

Wonder Journey kann langformatige „Wonder Journeys" synthetisieren. Bewegen Sie den Mauszeiger über das Video, um die automatische Wiedergabe anzuhalten.

Ausgehend von derselben Position kann Wonder Journey eine Reihe vielfältiger „Wonder Journeys" generieren, die an unterschiedlichen Zielen enden. Wir verwenden die Trajektorie der Kameraposition, um jedes der folgenden Videos zu rendern. Bewegen Sie den Mauszeiger über das Video, um die automatische Wiedergabe anzuhalten.

Wonder Journey kann auch gesteuerte Wonder Journeys auf Basis einer Reihe von Textbeschreibungen generieren, wie z. B. Gedichte, Haikus und Zusammenfassungen von Geschichten. Bewegen Sie den Mauszeiger über das Video, um die automatische Wiedergabe anzuhalten.Diese Funktion ermöglicht es dem Benutzer, die thematische Richtung und den Verlauf der Reise zu beeinflussen, sodass sie nicht nur ein Werkzeug zur Erkundung ist, sondern auch zum Erzählen von Geschichten und zum künstlerischen Ausdruck dient.