Wan 2.1: Open-Source-Videogenerierungsmodell von Tongyi Wanxiang 255

Das Tongyi Wanxiang Team stellt Wan 2.1 (万相 2.1) vor, das neueste Video-Generierungsmodell, das in vielen Aspekten der Videoerzeugung erhebliche Fortschritte erzielt hat, etwa bei der Videoqualität, der Darstellung komplexer Bewegungen, der Simulation physikalischer Gesetzmäßigkeiten sowie der Erzeugung chinesischer Schriftzeichen. Besonders bei der Generierung chinesischer Inhalte ist es das erste Videomodell, das chinesische Texteffekte effektiv steuern kann, und behebt damit die bisherigen Schwächen früherer Modelle bei der Verarbeitung chinesischer Inhalte.

Funktionsmerkmale von Wan 2.1

• Darstellung komplexer Bewegungen: Wan 2.1 kann verschiedene komplexe Körperbewegungen von Personen stabil wiedergeben, wie Drehungen, Sprünge und Rollen, sodass die Videos lebendiger und realistischer wirken.

• Nachbildung physikalischer Gesetzmäßigkeiten: Es kann die physikalischen Gesetze der realen Welt äußerst realistisch reproduzieren, wodurch die erzeugten Videos authentischer wirken und den Erwartungen besser entsprechen.

• Hochwertige Videoerzeugung: Die von diesem Modell erzeugten Videos bieten eine realistischere visuelle Wirkung und eine verbesserte Pixelqualität. Die generierten Inhalte folgen physikalischen Regeln und reagieren bei der Ausführung komplexer Anweisungen präziser.

• Verarbeitung komplexer Bewegungen: Wan 2.1 ist besonders leistungsfähig bei der Verarbeitung komplexer Bewegungsszenen, etwa Eiskunstlauf, Schwimmen oder Wasserspringen. Es sorgt dafür, dass die Bewegungen koordiniert und realistisch bleiben, was bei der Generierung komplexer Körperbewegungen eine deutliche Verbesserung darstellt.

• Mehrsprachige Unterstützung: Wan 2.1 ist das erste Videogenerierungsmodell, das gleichzeitig chinesische und englische Texteffekte unterstützt. Dadurch wird der Anwendungsbereich in der Kreativbranche erheblich erweitert, etwa in den Bereichen Werbung und Erstellung kurzer Videos, sodass sowohl nationale als auch internationale Anforderungen erfüllt werden.

• Effiziente Codec-Technologie: Es verwendet eine selbst entwickelte VAE- (Variational Autoencoder) und DiT-Technologie (eine Deep-Learning-Architektur). Dank dieser Technologie wird die Erzeugung endlos langer 1080P-Videos möglich, wobei sowohl Effizienz als auch Bildqualität verbessert wurden.

Technische Architektur von Wan 2.1

Wan 2.1 verwendet eine selbst entwickelte VAE- (Variational Autoencoder) und DiT-Architektur (Diffusion Transformer), was die Fähigkeit zur Modellierung raumzeitlicher Kontextbeziehungen erheblich verbessert. Die VAE zerlegt das Video in mehrere Blöcke und zwischenspeichert中间特征 (Zwischenmerkmale), sodass eine effiziente Codierung und Decodierung von besonders langen 1080P-Videos ermöglicht wird und Videos in unbegrenzter Länge in hoher Auflösung erzeugt werden können. Durch einen raumzeitlichen Full-Attention-Mechanismus und einen Parameter-Sharing-Mechanismus verbessert DiT die Generierungsqualität und die Trainingseffizienz deutlich.

Das Wan 2.1 Modell unterstützt zudem die Erzeugung endlos langer Videos. Es nutzt die VAE, um Videos in mehrere Teile zu zerlegen und Zwischenmerkmale zu cachen, um eine effiziente Codierung und Decodierung zu realisieren und so die Generierung von Videos in 1080P-Länge zu ermöglichen. Zudem werden die Generierungsqualität und die Trainingseffizienz durch den raumzeitlichen Full-Attention-Mechanismus und den Parameter-Sharing-Mechanismus signifikant gesteigert, sodass die erzeugten Ergebnisse feiner und stabiler sind. Darüber hinaus können Benutzer beim Festlegen der Parameter zwischen verschiedenen voreingestellten Modi wählen, z. B. dem einfachen Modus und dem professionellen Modus, um unterschiedlichen Kreativitätsniveaus und Projektanforderungen gerecht zu werden.

Anwendungsszenarien von Wan 2.1

• Inhaltserstellung: Für Videocreator ist Wan 2.1 ein äußerst leistungsfähiges Werkzeug, mit dem sie Videos mit vielfältigeren Effekten erstellen können.

• Werbeindustrie: In den Bereichen Marketing und Werbung kann es zur Produktion äußerst ansprechender Werbevideos eingesetzt werden.

• Bildung und Training: Im Bildungsbereich kann es durch lebendige Demonstrationsvideos das Lernerlebnis verbessern und die Effizienz der Informationsvermittlung erhöhen.

Nutzung von Wan 2.1

• Plattform aufrufen: Besuchen Sie http://tongyi.aliyun.com/wanxiang/, registrieren Sie ein Konto und melden Sie sich an.

• Funktion auswählen: Nach dem Login finden Sie in der linken Seitenleiste der Plattform „Text zu Bild“ und wählen dort die Funktion Wan 2.1 aus. Hier sehen Sie verschiedene Generierungsoptionen.

• Prompt eingeben: Benutzer können das Thema oder die Elemente eingeben, zu denen ein Video erzeugt werden soll – sowohl auf Chinesisch als auch auf Englisch.

• Parameter einstellen: Je nach Bedarf können Benutzer die Parameter für die Videogenerierung anpassen, etwa Videolänge, Effekttyp und Personenbewegungen.

• Generieren und Vorschau: Nach dem Absenden erzeugt das System das Video. Benutzer können eine Vorschau ansehen und das Video bei Zufriedenheit herunterladen oder teilen.

Demo-Adresse:https://tongyi.aliyun.com/wanxiang/