Boximator: Erzeugung vielfältiger und steuerbarer Bewegungen für die Videosynthese 291

Boximator ist ein von ByteDance veröffentlichtes Videobearbeitungswerkzeug, mit dem Benutzer durch einfache Aktionen die Bewegungsbahn von Motiven in generierten Videos steuern können. Das Objekt bewegt sich exakt nach den vom Benutzer gezeichneten Positionen und Pfaden. Die Innovation dieses Werkzeugs liegt in seiner intuitiven Interaktion: Sie können das zu bewegende Objekt auswählen, dann seine Endposition und den Bewegungspfad zeichnen, und es bewegt sich genau nach Ihren gezeichneten Positionen und Pfaden. Im Vergleich zu Runways Motion Brush ermöglicht Boximator eine präzisere Steuerung der Endposition der Objektbewegung.

Boximator Paper: https://arxiv.org/abs/2402.01566

Boximator Demo: https://boximator.github.io/#Demo

Boximator Projekt: https://boximator.github.io/

Kernfunktionen von Boximator:

• Bahnsteuerung: Benutzer können die Bewegungsbahn von Motiven im Video einfach und intuitiv durch Einrahmen festlegen.

• Unterstützung mehrerer Motive: Boximator ermöglicht es Benutzern, mehrere Motive gleichzeitig einzurahmen und für jedes Motiv unterschiedliche Bewegungspfade festzulegen.

• Pfadanpassung: Neben einfacher Punkt-zu-Punkt-Bewegung können Benutzer auch konkrete Bewegungspfade für Motive im Video festlegen.

• Plugin-Kompatibilität: Boximator ist mit SD-Videomodellen kompatibel und kann als Plugin verwendet werden, um die Flexibilität und Vielfalt der Videobearbeitung zu erweitern.

• Benutzerfreundlichkeit: Boximator ist einfach und intuitiv zu bedienen, ohne dass umfangreiche Videobearbeitungskenntnisse erforderlich sind – Benutzer können sofort Videoinhalte steuern.
  

• Hohe Kompatibilität: Kompatibel mit aktuell beliebten SD-Videomodellen und als Plugin mit vielfältigeren Einsatzmöglichkeiten verfügbar.

• Innovative Interaktion: Die innovative Einrahm-Interaktion macht die Videobearbeitung intuitiver und bequemer.

Anwendungsszenarien von Boximator:

• Videocontent-Erstellung: Für Videocreator bietet Boximator eine neue Methode, dynamische Videos zu produzieren.

• Animation: Für Animatoren vereinfacht es den Prozess der Gestaltung von Bewegungsbahnen für Figuren oder Objekte.

• Bildungsdemonstrationen: Im Bildungsbereich können Lehrkräfte mit diesem Werkzeug anschauliche, dynamische Demonstrationsmaterialien erstellen.

Verwendung von Boximator:

Die von ByteDance veröffentlichte Methode: Zuerst das Motiv im Bild einrahmen, dann das Ziel einrahmen, zu dem es bewegt werden soll – daraufhin wird ein Video generiert, in dem sich das Motiv vom Start- zum Endpunkt bewegt. Es unterstützt die Festlegung von Bewegungspfaden sowie das gleichzeitige Einrahmen mehrerer Motive. Kompatibel mit SD-Videomodellen und als Plugin einsetzbar.

Über Boximator:

Wir präsentieren Boximator, eine neue Methode zur feinkörnigen Bewegungssteuerung. Boximator verwendet zwei Arten von Einschränkungsmechanismen: harte Boxen (hard box) und weiche Boxen (soft box).

Benutzer können mit den harten Einschränkungen ein bestimmtes Objekt in einem Frame des Videos (als Bedingungsframe bezeichnet) auswählen und dann mit beiden Einschränkungsarten die Position, Form oder Bewegungsbahn dieses Objekts in zukünftigen Bildern ungefähr oder exakt festlegen. Boximator lässt sich als zusätzliches Modul zu bestehenden Videosynthesemodellen einsetzen. Während des Trainings haben wir, um das ursprüngliche Wissen des Modells zu bewahren, die Originalgewichte eingefroren und nur das Steuermodul trainiert.

Um die Herausforderungen während des Trainings zu bewältigen, führen wir eine innovative Self-Tracking-Technik ein, die den Vorgang des Lernens der Zuordnung zwischen eingerahmten Objekten erheblich vereinfacht.

Experimente zeigen, dass Boximator in Bezug auf die Videoqualität (d. h. FVD, ein Standard zur Bewertung der Videoqualität) ein branchenführendes Niveau erreicht, mit Verbesserungen gegenüber zwei Basismodellen, und dass die Ergebnisse durch die Einführung von Box-Einschränkungen weiter gesteigert werden. Die starke Leistungsfähigkeit bei der Bewegungssteuerung wird durch eine signifikante Verbesserung der Bounding-Box-Alignment-Metriken bestätigt.

Die Bewertung zeigt auch, dass Benutzer die von Boximator erzeugten Videos gegenüber den Ausgaben der Basismodelle bevorzugen.