Goku: ein multimodales KI-Videogenerierungsmodell von ByteDance 173

Goku ist ein multimodales Video-Generierungsmodell, das gemeinsam von der Universität Hongkong und ByteDance entwickelt wurde. Es basiert auf der Rectified Flow Transformer-Architektur und ist speziell für die gemeinsame Generierung von Bildern und Videos optimiert. Der technische Bericht des Modells wurde im Februar 2025 offiziell veröffentlicht. Sein Kernziel ist es, den Prozess der Erstellung digitaler Inhalte durch kostengünstige und hocheffiziente Generierungsfähigkeiten zu revolutionieren und zeigt insbesondere in Bereichen wie Werbliche Marktbedingungen und E-Commerce-Präsentationen disruptives Potenzial.

Funktionsmerkmale von Goku:

Multimodale Generierungsfähigkeiten

• Text-zu-Video (Text-to-Video): Generiert dynamische Videos direkt durch natürlichsprachliche Beschreibungen, unterstützt komplexe Szenen und Interaktionen zwischen Personen, z. B. die Erzeugung eines kompletten Kurzfilmschens mit Personenaktionen und Produktnahaufnahmen aus einer beschreibung wie „Werbungsfilm für Getränke am Sommerstrand“.

• Bild-zu-Video (Image-to-Video): Erzeugt aus einem einzigen Produkt- oder Szenenbild ein dynamisches Präsentationsvideo, z. B. die Umwandlung eines statischen Kleidungsbildes in eine zusammenhängende Sequenz, die das Modell beim Anprobieren zeigt.

• Text-zu-Bild (Text-to-Image): Generiert hochauflösende Bilder mit Unterstützung für detaillierte Steuerung wie Beleuchtungs-, Material- und weitere Parametereinstellungen.

Innovationen in der Technischen Architektur

• Rectified Flow-Framework: Goku verwendet einen Rectified Flow Transformer in Kombination mit einem Bild-Video-VAE (Variational Autoencoder) und einem Full-Attention-Transformer. Dies ermöglicht es dem Modell, Bild- und Video-Generierungsaufgaben einheitlich zu bearbeiten, die Kontinuität des Generierungspfads zu optimieren, die Iterationsschritte traditioneller Diffusionsmodelle zu reduzieren und die Generierungseffizienz zu steigern.

• Mehrstufige Trainingsstrategie: Durch schrittweises Vortraining zur semantischen Ausrichtung von Text und Bild, gemeinsames Training von Bild und Video sowie Feintuning für verschiedene Modalitäten wird die Modelfähigkeit phasenweise verbessert – zunächst mit Schwerpunkt auf dem Erlernen grundlegender Merkmale, später mit Stärkung der zeitlichen Kohärenz und Detailgenauigkeit.

• Unterstützung durch umfangreiche Datensätze: Die Forscher bauten einen groß angelegten Datensatz aus rund 36 Millionen Videos und 160 Millionen Bildern auf und setzten verschiedene Datenfilterungs- und Erweiterungstechniken ein, um die Datenqualität zu verbessern.

Kosten- und Leistungsvorteile

• Goku+ kommerzielle Version: Als spezielles Basismodell für Video werbung betragen die Generierungskosten nur 1/100 im Vergleich zur traditionellen Drehproduktion und unterstützt personalisierte Anpassungen (z. B. Einbindung von Markenlogos, mehrsprachige Sprachausgabe usw.).

• SOTA-Leistung: In Benchmark-Tests wie MSR-VTT und UCF-101 setzt Goku neue branchenrekorde bei Text-zu-Video-Generierungsaufgaben und übertrifft vergleichbare Modelle um mehr als 20 % bei Videokohärenz und semantischer Ausrichtung.

Verwendung von Goku:

Modellauswahl und Bereitstellung

• Es werden drei Modellgrößen angeboten: Light-Version (für mobile Endgeräte), Standard-Version (für allgemeine Szenarien) und Enterprise-Version (unterstützt 4K-Auflösung und Generierung langer Videos).

• Unterstützung für Cloud-API-Aufrufe und lokale Bereitstellung; Unternehmenskunden können über die Volcengine-Plattform von ByteDance darauf zugreifen.

Eingabe- und Parameterkonfiguration

• Eingabeformat: Textaufforderungen sollten strukturierten beschreibungen folgen (z. B. „Subjekt – Aktion – Szene – Stil“), Bildeingaben unterstützen PNG/JPG sowie Formate mit transparentem Hintergrund.

• Steuerungsparameter: Dazu gehören Videolänge (standardmäßig 5 Sekunden, erweiterbar bis 60 sekunden), Bildrate (24/30/60 fps), auflösung (bis zu 4096×2160) und stilisierungsfilter (z. B. „realistisch“, „Cartoon-Rendering“).

Interaktive Bearbeitung

• Unterstützt die bildweise Feinabstimmung nach der Generierung, z. B. die Änderung lokaler Aktionen, den Austausch von Hintergrundelementen oder das Hinzufügen von Effekten per textbefehl (z. B. „Regentropfen-Effekt hinzufügen“).

Anwendungen von Goku:

E-Commerce und werbliche Marktbedingungen

• Dynamische Produktpräsentation: Es genügt ein einziges Produktbild, um ein werbevideo mit virtuellem moderator, der das produkt erklärt, und mehreren ansichten zu erzeugen – ideal für Produktdetailseiten auf Plattformen wie Taobao und Douyin.

• Kostengünstige lokalisierte werbung: Für verschiedene regionale märkte können schnell an Sprache und kulturellen hintergrund angepasste werbeinhalte erzeugt werden, was die grenzüberschreitenden marketingkosten deutlich senkt.

Erstellung von Inhalten für soziale Medien

• Generierung von ess- oder tutorialvideos: Durch eingabe einer zutatliste und schrittweiser beschreibungen wird automatisch ein kochvideos erzeugt, mit unterstützung für interaktive untertitel und hintergrundmusik.

• UGC-Hilfstools: Bietet kreativen eine funktion „Text-zu-Video“, die bild- und textinhalte automatisch in kurzfilme umwandelt und so die effizienz der inhaltsproduktion steigert.

Film- und Spiele-Preproduktion

• Storyboard-Vorschau: Erzeugt schnell storyboards per text und unterstützt so regisseure und drehbuchautoren dabei, den narrativen Rhythmus zu visualisieren.

• Aufbau einer NPC-Aktionsbibliothek: Bietet spielentwicklern die massengenerierung von charakteranimationen und reduziert so den aufwand für manuelle modellierung.

Die Veröffentlichung von Goku markiert den übergang der KI-videogenerierung von einem „unterstützenden werkzeug“ zu einer „produktionsreifen anwendung“. Seine kostengünstigen eigenschaften haben bereits mehrere internationale FMCG-marken für pilotprojekte angezogen; schätzungen zufolge lässt sich der werbeproduktionszyklus um 80 % verkürzen. In zukunft könnte goku in kombination mit echtzeit-rendering und 3D-modellierungstechnologien weiter in bereiche wie virtual reality und metaverse vordringen. Die aktuelle technische einschränkung zeigt sich vor allem in der handlungslogischen steuerung langer videos, doch das team kündigte an, dies durch die einführung von reinforcement-learning-mechanismen kontinuierlich zu verbessern.

GitHub:https://github.com/Saiyan-World/goku

Projektadresse:https://saiyan-world.github.io/goku/

Papier:https://arxiv.org/abs/2502.04896