Alibaba veröffentlicht das Videomodell Wan2.1-VACE als Open Source 65

小编 ·

Alibaba veröffentlicht das Videomodell Wan2.1-VACE als Open Source

Am Abend des 14. Mai 2025 hat Alibabas Tongyi-Wanxiang-Team das Wan2.1-VACE als einheitliches Modell für Videobearbeitung und -generierung als Open Source veröffentlicht. Dieses KI-Modell kann nicht nur Videos direkt erzeugen, sondern auch komplexe Bearbeitungen und kreative Überarbeitungen an bestehendem Videomaterial vornehmen. All das erledigt ein einziges Modell und erlaubt die präzise Steuerung von Aktionen, Posen, Ausrichtung, Komposition, Bewegungsbahnen, Stil und mehr der Figuren.

Alibaba veröffentlicht das Videomodell Wan2.1-VACE als Open Source

Am Abend des 14. Mai 2025 hat das Wan-Team (Tongyi Wanxiang) von Alibaba das vereinheitlichte Video-Bearbeitungs- und Generierungsmodell Wan2.1 - VACE als Open Source veröffentlicht. Dieses KI-Modell kann nicht nur Videos direkt „erzeugen", sondern auch umfangreiche Bearbeitungen und Neugestaltungen an bestehenden Videos vornehmen. Darüber hinaus erledigt ein einziges Modell all diese Aufgaben – Sie können die Bewegungen, Posen, Richtungen, Komposition, Bewegungspfade, Stile und mehr der Figuren im Video präzise steuern.

阿里巴巴开源万相Wan2.1 - VACE视频模型.webp

Kernvorteile

Wan2.1 - VACE ist derzeit die umfassendste Lösung für Video-Generierung und -Bearbeitung. Eine einzige Modellarchitektur bewältigt zahlreiche Videoverarbeitungsaufgaben, wie Text-zu-Video, Referenzbild-zu-Video, Video-Neugestaltung, lokale Videobearbeitung, Erweiterung des Videohintergrunds und Verlängerung der Videodauer. Zudem unterstützt es die gleichzeitige Ausführung mehrerer Aufgaben, sodass Nutzer komplexe Videobearbeitungen in einem einzigen Workflow durchführen können – der kreative Prozess wird dadurch erheblich vereinfacht.

Ein weiterer großer Vorteil von Wan2.1-VACE besteht darin, dass Nutzer mehrere Basisfunktionen frei kombinieren und flexibel zusammenstellen können, um komplexe Anwendungsszenarien zu schaffen.

Dieses Modell ist in zwei Parametergrößen erhältlich: 1.3B und 14B. Die schlanke 1.3B-Version läuft flüssig auf Consumer-Grafikkarten und liefert Videos in 480P; die leistungsstarke 14B-Vollversion unterstützt höhere Auflösungen wie 720P und liefert eine bessere Qualität.

Technische Innovation

Dieses Modell führt eine neuartige Video Condition Unit (VCU) ein, die Aufgaben wie Text-zu-Video, Referenzbild-zu-Video, Video-zu-Video und lokales Video-zu-Video in einem einheitlichen Framework zusammenführt. Die VCU kann verschiedene Eingaben wie Text und Bilder in Text-, Frame- und Mask-Sequenzen umwandeln und legt damit den Grundstein für die freie Kombination mehrerer Aufgaben.

Darüber hinaus verarbeitet sie die in die VCU eingegebenen Frame-Sequenzen, indem sie diese in veränderliche und unveränderliche Sequenzen aufteilt und separat kodiert. Dies löst das Problem der Token-Serialisierung und steigert die Effizienz der Verarbeitung multimodaler Eingaben.

Praxisrelevante Anwendungen

Mit diesem Modell lässt sich ein statisches, hochformatiges Bild der „Mona Lisa" in ein dynamisches Querformat-Video verwandeln und der Figur eine Brille hinzufügen – so werden in einem Schritt drei Aufgaben gleichzeitig erledigt: Bildeweiterung, Verlängerung der Dauer und Bildreferenz. Das eröffnet den Kreativen einen großen Spielraum für ihre Ideen.

Download-Möglichkeiten

Entwickler können dieses Modell auf den Plattformen GitHub, Hugging Face und ModelScope herunterladen und ausprobieren.

  • GitHub:https://github.com/Wan-Video/Wan2.1

  • HuggingFace:https://huggingface.co/Wan-AI

  • 魔搭社区:https://www.modelscope.cn/organization/Wan-AI?tab=model

Mit der Open-Source-Veröffentlichung von Wan2.1 - VACE macht die Video-Generierungstechnologie einen großen Sprung von der Bewältigung einzelner Aufgaben hin zur Kombination mehrerer Aufgaben und bietet Video-Kreativen ein deutlich bequemeres und effizienteres Werkzeug.