VACE: vereinheitlichtes Modell zur Videogenerierung und -bearbeitung von Alibabas Tongyi-Wan-Team 191

Was ist VACE?

VACE (Video Creation and Editing) ist ein einheitliches Modell zur Videoerzeugung und -bearbeitung aus einer Hand, das vom Tongyi-Labor von Alibaba entwickelt wurde. Es ermöglicht verschiedene Videoerstellungs- und Bearbeitungsaufgaben über eine einheitliche Modellarchitektur. Es kann aus einem Text oder einem Bild ein Video erzeugen und auch bestehende Videos stilistisch umwandeln, reparieren oder erweitern. Es integriert zahlreiche Funktionen in einem einzigen Modell, ist einfach zu bedienen und eignet sich für kreative Videos sowie die Restaurierung alter Videos.

Kernfunktionen von VACE

Videoerzeugung:

• Text-zu-Video-Erzeugung: Erzeugt Videos anhand von Textaufforderungen.

• Referenz-zu-Video-Erzeugung: Erzeugt Videos durch die Kombination von Text und Referenzbildern.

• Videoerweiterung: Erzeugt auf Basis bestehender Videosequenzen neue Anfänge oder Enden.

Videobearbeitung:

• Video-zu-Video-Bearbeitung: Führt umfassende Stilveränderungen am Eingabevideo durch (z. B. Kolorierung, Stilisierung).

• Maskenbasierte Videobearbeitung: Bearbeitung in bestimmten Bereichen, wie z. B. Inpainting (Reparatur) oder Outpainting (Erweiterung).

• Objektentfernung und -wiederherstellung: Entfernt bestimmte Objekte aus dem Video und füllt den Hintergrund auf.

Aufgabenkombination:

• Unterstützt die flexible Kombination mehrerer Aufgaben, z. B. referenzbasierte Erzeugung + Objektersetzung, Posensteuerung + Videoerweiterung.

Technische Grundlagen von VACE

• Video Condition Unit (VCU): Integriert verschiedene Eingabemodalitäten wie Text, Bild, Video und Masken in eine einheitliche Bedingungseinheit und ermöglicht so die flexible Kombination verschiedener Aufgaben.

• Context Adapter-Struktur: Injiziert die Konzepte verschiedener Aufgaben in das Modell durch eine formalisierte Darstellung in zeitlichen und räumlichen Dimensionen, sodass es sich an unterschiedliche Aufgabenanforderungen anpassen kann.

• Diffusionsmodell: Basiert auf einem Diffusionsmodell (z. B. Diffusion Transformer) und erzeugt hochwertige Videoinhalte durch schrittweises Entrauschen.

Vorteile von VACE

• Einheitlicher Rahmen: Integriert Videoerzeugungs- und Bearbeitungsaufgaben in einem einzigen Modell und reduziert so die Komplexität beim Aufgabenwechsel.

• Hohe Effizienz: Erreicht bei verschiedenen Aufgaben eine Leistung, die mit der von aufgabenspezifischen Modellen vergleichbar ist.

• Vielfältigkeit: Unterstützt zahlreiche Aufgabenkombinationen und eröffnet damit ein breiteres Anwendungsspektrum für die Videoinhaltserstellung.

Anwendungsszenarien von VACE

• Kreative Videoerzeugung: Schnelle Erstellung kreativer Videoinhalte wie Werbung oder Animationen aus Texten oder Bildern.

• Videoreparatur und -verbesserung: Restaurierung alter Videos, Auffüllen fehlender Bildbereiche oder Verbesserung des Videostils.

• Effiziente Videobearbeitung: Umsetzung komplexer Bearbeitungsaufgaben wie Objektersetzung oder Hinzufügen von Animationen.

• Videoerweiterung: Erzeugt neue Sequenzen für kurze Videos und verlängert so den Videoinhalt.

• Interaktive Videoerstellung: Erzeugt personalisierte Videos auf Basis von Benutzereingaben (z. B. Posen, Skizzen).

Projektressourcen

Projekt-Website:https://ali-vilab.github.io/VACE-Page/

GitHub-Repository:https://github.com/ali-vilab/VACE

Technisches Paper:https://arxiv.org/pdf/2503.07598