MAGREF: ByteDance's Werkzeug zur Video-Generierung mit mehreren Subjekten 66

MAGREF ist ein von ByteDance veröffentlichtes Videogenerierungs-Tool für mehrere Subjekte. Es ermöglicht Nutzern, anhand eines einzigen Referenzbildes Videos mit hoher Konsistenz zu erzeugen – egal ob es sich um eine einzelne Figur oder Szenen mit mehreren Subjekten handelt. Durch maskengestützte Mechanismen und Kanal-Stacking löst es die häufig auftretenden Probleme der Identitätsverwechslung und der unkohärenten Bewegungen, die bei der herkömmlichen Videogenerierung bekannt sind. MAGREF ermöglicht zudem vielfältige Kombinationen aus Personen, Gegenständen und Hintergründen und gewährleistet dabei die Identitätsstabilität und strukturelle Kohärenz der generierten Videos.

Kernfunktionen

• Konsistente Generierung mehrerer Subjekte: Mit nur einem Referenzbild lassen sich Videos mit hoher Konsistenz von Personen oder Objekten erzeugen, wobei mehrere Figuren gleichzeitig im Bild erscheinen können, ohne dass es zu „Gesichtsverwechslungen" kommt. So kann man beispielsweise ein Video erzeugen, in dem Einstein Motorrad fährt, oder eines, in dem Newton mit dem Pinsel ein Bild malt. Gesichtszüge und Kleidung der Figuren bleiben in jedem Frame konsistent und verändern sich nicht zunehmend ins Unrealistische.

• Verarbeitung vielfältiger Referenzbilder: Durch maskengestützte Mechanismen und Kanal-Stacking können verschiedene Referenzbilder verarbeitet werden, ohne die Modellkomplexität zu erhöhen. Ob Einzelpersonendarstellung, Interaktion mehrerer Personen oder das gemeinsame Auftreten von Personen mit Objekten und Hintergründen – es entstehen stets stabile, harmonische Videos.

• Multimodale Eingabe und Generierung: Je nach unterschiedlichen Texteingaben ermöglicht es „tausend Gesichter aus einem Bild". Ganz gleich, wer eingegeben wird, aus welcher Epoche die Person stammt oder wie abstrakt der Stil ist – die Merkmale werden präzise reproduziert und entsprechend den Textanweisungen unterschiedliche Bewegungen, Umgebungen und Lichteffekte erzeugt. So kann man beispielsweise ein Porträt, ein Objektbild und ein Hintergrundbild eingeben und mit einer Beschreibung kombinieren; das Tool erzeugt daraus ein vollständiges Video, das diese drei Elementtypen enthält. Die Interaktionen zwischen Personen und Objekten wirken natürlich und die Szene erscheint völlig stimmig.

Technische Umsetzung

• Datenverarbeitungs-Pipeline: Es kommt ein dreistufiger Datenverarbeitungsprozess zum Einsatz, um qualitativ hochwertige und strukturell klare Videotrainingsdaten aufzubauen. In der ersten Stufe werden semantisch konsistente Segmente aus Rohvideos ausgeschnitten, minderwertige Samples herausgefiltert und für jedes Segment strukturierter Text erzeugt. In der zweiten Stufe werden durch Tag-Extraktion und semantische Segmentierung die Schlüsselobjekte im Video identifiziert und durch Nachbearbeitung präzise Masken erzeugt. In der dritten Stufe werden die Identitäten der im Video vorkommenden Personen erkannt und zugewiesen sowie qualitativ hochwertige Gesichtsbilder für den Aufbau der Referenzbilder ausgewählt, um die Identitätskonsistenz während des Trainings sicherzustellen.

Schlüsselmechanismen

• Regionsbewusste dynamische Maskierung: Basierend auf dem Aufmerksamkeitsmechanismus des Deep Learning verfügt das Modell über eine „dynamische visuelle Wahrnehmung". Durch semantische Segmentierungsalgorithmen werden Schlüsselregionen im Video präzise erkannt und die Maskengewichte der einzelnen Subjekte in Echtzeit an die Eingabeaufforderung angepasst. So bleibt das System selbst bei unterschiedlicher Anzahl und Reihenfolge der Referenzbilder strukturell konsistent, ohne Identitätsverwechslungen und mit klaren Beziehungen.

• Pixelgenaues Kanal-Stacking: In der zugrundeliegenden Bildgenerierungstechnologie erfolgt die Informationsfusion auf Kanaldimension (RGB-Kanäle + Merkmalskanäle). Mithilfe eines faltenden neuronalen Netzes werden die Erscheinungsmerkmale der Referenzbilder extrahiert und auf Kanalebene mit der Merkmalskarte der erzeugten Szene gestapelt, sodass Details wie Hautton und Frisur exakt mit dem Referenzbild übereinstimmen. Gleichzeitig werden durch Normalisierung die Lichtparameter unterschiedlicher Szenen ausgeglichen, um zu vermeiden, dass Subjekt und Hintergrund aufgrund von Helligkeitsunterschieden als zusammenhanglos wirken. Es unterstützt zudem die gleichzeitige Eingabe von Personenporträts, Objektbildern und Umgebungsfotos und erzeugt durch Fusion auf Kanalebene logisch in sich geschlossene, modalitätsübergreifende Szenen.

Anwendungsszenarien

• Film- und Fernsehproduktion: Es kann die Vorproduktion und die VFX-Prozesse in der Filmproduktion neu gestalten. Beispielsweise lässt sich in der Drehbuchphase ein dynamisches Storyboard erzeugen, wobei die Regie die Farbstimmung der Szene und die Aktionen der Figuren in Echtzeit anpassen kann. Es kann zudem einen Teil des Bedarfs an Greenscreen-Aufnahmen ersetzen – etwa in Historienfilmen, wo mithilfe weniger Referenzbilder von Soldaten massenhaft Marschvideos generiert werden können, die zu historischen Kostümen und Formationen passen.

• Spieleentwicklung: Es beschleunigt die Iteration von Spielinhalten und steigert die Immersion. Anhand von 3D-Modellen von Spielcharakteren lassen sich schnell Videos mit unterschiedlichen Emotionen und Aktionen an verschiedenen Story-Knotenpunkten erzeugen; ebenso können automatisch alltägliche Aktivitäten von NPCs in Städten generiert werden, ohne dass Animationen manuell Bild für Bild justiert werden müssen.

• Werbung und Marketing: Es fungiert wie eine „Serienproduktions-Engine" für personalisierte Inhalte und kann für ein und dasselbe Produkt Hunderte von Videos mit unterschiedlichen Nutzungsszenarien erstellen, um den Anforderungen der fragmentierten Verbreitung in sozialen Medien gerecht zu werden. Darüber hinaus können auf Basis von Promi-Porträts mehrere Versionen von Werbematerialien erzeugt werden, wodurch terminliche Engpässe und urheberrechtliche Konflikte bei realen Dreharbeiten vermieden werden.

Projektlinks

• Projekt-Hauptseite: https://magref-video.github.io/magref.github.io/

• Github: https://github.com/MAGREF-Video/MAGREF

• Paper: https://arxiv.org/pdf/2505.23742