Alibaba gibt das Video-KI-Modell Tongyi Wanxiang Wan2.1 als Open Source frei 242

小编 · 2025-02-26

Alibaba gibt das Video-KI-Modell Tongyi Wanxiang Wan2.1 als Open Source frei

通义万相Wan2.1视频生成AI模型.webp

Was ist Wan2.1?

Wan2.1（Tongyi Wanxiang 2.1）ist ein brandneues Open-Source-Videogenerierungsmodell, das am 25. Februar 2025 offiziell von Alibaba veröffentlicht wurde. Dieses KI-Modell ist unter der Apache-2.0-Lizenz quelloffen und stellt Inferenzcode und Gewichte in zwei Parametergrößen (14B und 1,3B) bereit. Es unterstützt die Aufgaben Text-zu-Video und Bild-zu-Video. Die Leistung wurde deutlich verbessert und übertrifft in mehreren Benchmark-Tests andere fortschrittliche Modelle, darunter Sora, HunyuanVideo, Minimax, Luma, Gen3, Pika und andere in- und ausländische Videogenerierungsmodelle.

Funktionen von Wan2.1:

Chinesische und englische Videogenerierung:

Wan2.1 ist das erste Videomodell, das chinesische und englische Texte erzeugen kann. Es verfügt über starke Textgenerierungsfähigkeiten und kann Texte und Animationen in Kinofilmqualität erzeugen.
Unterstützt Schriftartanwendungen in verschiedenen Szenarien, einschließlich Effektschriften, Plakatschriften und Schriftdarstellungen in realen Szenen.

Unterstützung mehrerer Aufgaben:

Bietet Text-zu-Video (text-to-video) und Bild-zu-Video (image-to-video) Generierung.
Unterstützt Aufgaben wie Videobearbeitung und Video-zu-Audio.
Text-zu-Bild (T2I): Unterstützt die Text-zu-Bild-Generierung.
Video-zu-Audio (V2A): Kann automatisch passende Audios für Videos erzeugen.

Hohe Qualität und Leistung:

Basiert auf einer hybriden Variational-Autoencoder- (VAE) und Diffusion-Transformer- (DiT) Architektur, die die zeitliche Modellierung und das Szenenverständnis verbessert.
Kann gleichzeitig HD-Videos, dynamische Untertitel und mehrsprachige Synchronisation erzeugen, unterstützt 1080p-Auflösung und effiziente Codec-Verfahren.

Unterstützung für Consumer-Hardware:

Die 1,3B-Version des Wan2.1-Modells benötigt nur 8,19 GB VRAM und ist für die RTX-4090-Grafikkarte geeignet, wodurch professionelle Videoproduktion in den Bereich der Consumer-Hardware gelangt.

Vielfältige Stile:

Unterstützt verschiedene Kunststile wie Cartoon, Kinofarben, 3D-Stil, Ölgemälde, klassisch usw.

Generierung langer Videos:

Durch einen Feature-Cache-Mechanismus wird die Generierung von endlos langen 1080P-Videos unterstützt.

多任务支持.webp

Kernarchitektur

Hybrider Variational Autoencoder (VAE): Wird für das Encoding und Decoding von Videos verwendet, unterstützt verlustfreies Encoding und Decoding von 1080P-Videostreams beliebiger Länge und erhält gleichzeitig die zeitlichen Informationen.
Diffusion Transformer (DiT): Basiert auf einer Video-DiT-Struktur, die durch den Full-Attention-Mechanismus eine effektive Modellierung langfristiger raumzeitlicher Abhängigkeiten gewährleistet und eine raumzeitlich konsistente Videogenerierung ermöglicht.

核心架构.webp

Anwendungen von Wan2.1:

Film- und Fernsehproduktion: Schnelle Erstellung komplexer Szenen und Spezialeffekte, wie z. B. außerirdische Welten in Science-Fiction-Filmen oder großangelegte Kriegsszenen, wodurch Produktionskosten und -zeit erheblich gesenkt werden.
Werbung und Marketing: Maßgeschneiderte kreative Werbevideos entsprechend den Markenmerkmalen, um die Markenexposition und Attraktivität zu steigern.
Bildung und Schulung: Erstellung anschaulicher Lehrvideos und animierter Kursmaterialien, die Schülern helfen, Wissenspunkte intuitiver zu verstehen und die Lehrressourcen zu bereichern.
Spiele und Unterhaltung: Erzeugung realistischer Spielszenerien und Charakteranimationen, die die Bildqualität des Spiels und das Eintauchen der Spieler verbessern.
Kurzvideos und soziale Medien: Schnelle Produktion hochwertiger Kurzvideos, die sich für die Verbreitung in sozialen Medien eignen und mühelos mehr Zuschauer anziehen.
Virtuelle Charaktere und Animationsproduktion: Unterstützt komplexe Charakteraktionen und Szenenentwürfe, geeignet für die Erstellung virtueller Charaktere in Filmen, Werbung oder Spielen.

Bereitstellungsmethoden:

Online-Erlebnis:

Bietet Online-Erlebnisdienste über Hugging Face Spaces und ModelScope an.
Zugänglich über die Alibaba Tongyi Qianwen-App oder die Website.

Lokale Bereitstellung:

Bietet detaillierte Schritte zur lokalen Bereitstellung, geeignet für das 1,3B-Modell.
Es muss sichergestellt werden, dass die Torch-Version 2.4.0 oder höher ist und die zugehörigen Abhängigkeiten installiert sind.
Herunterladen der Modellgewichte über die Hugging Face CLI und Bereitstellung über das Gradio-Framework.

Cloud-Image:

Es wird empfohlen, die Runninghub-Plattform zu verwenden, um KI-Anwendungen und Workflows online zu erleben.
Neu registrierte Benutzer erhalten ein kostenloses Kontingent, das Cloud-Image-Bereitstellung unterstützt.