StoryMail: ByteDance's Open-Source-KI-Tool zur Erstellung langer Multi-Shot-Videos 96

Ein von ByteDance und der Nanyang Technological University als Open Source veröffentlichtes KI-Framework für lange Videos. Es verwandelt bestehende Single-Shot-Videodiffusionsmodelle in ein Werkzeug für Multi-Shot-Geschichten: Dank einer visuellen Memory-Bank erzeugt es zusammenhängende Stories mit 8 bis 12 Einstellungen von 40 bis 60 Sekunden – mit konsistenten Charakteren und Szenen-Stilen.

#Ai工具箱 #Ai开源项目

Besuchen StoryMail: ByteDance's Open-Source-KI-Tool zur Erstellung langer Multi-Shot-Videos

StoryMail: ByteDance's Open-Source-KI-Tool zur Erstellung langer Multi-Shot-VideosEinführung

StoryMem ist ein von ByteDance und der Nanyang Technological University quelloffen veröffentlichtes KI-Tool zur Generierung von Videos mit mehreren Einstellungen, das hauptsächlich das Problem der Inkonsistenz von Charakteren und visuellen Stilen in Multi-Shot-Videos löst. Es verwandelt aktuelle Single-Shot-Videodiffusionsmodelle in ein Werkzeug, das mehrteilige Story-Videos erstellen kann. Mithilfe einer visuellen Gedächtnisbank erzeugt es 40 bis 60 Sekunden lange, zusammenhängende Geschichten mit 8 bis 12 Einstellungen, wobei das Aussehen der Charaktere und der Szenenstil konsistent bleiben.

In technischer Hinsicht basiert StoryMem auf dem Wan2.2-Modell und wurde durch Feintuning um eine Gedächtnisverarbeitungsfähigkeit erweitert. Bei der Generierung wird zunächst die erste Einstellung als Gedächtnisstartpunkt erstellt; jede weitere Einstellung greift auf den vorherigen Gedächtnisinhalt zurück und aktualisiert die Gedächtnisbank kontinuierlich, um die Gesamtkohärenz des Videos sicherzustellen.

Funktionsmerkmale von StoryMem

Memory-to-Video (M2V): Mithilfe von LoRA werden frühere Schlüsselbilder in das aktuelle Rauschen eingebettet; durch einfaches Tuning wirken verschiedene Einstellungen konsistent.
Dynamische Gedächtnisbank: Es werden bis zu 10 Schlüsselbilder gespeichert, zunächst nach Bedeutung mit CLIP ausgewählt, dann mit HPSv3 nach visueller Qualität gefiltert, wobei minderwertige Bilder automatisch verworfen werden.
Drei Erweiterungsansätze:

MI2V: Verwendet das erste Bild als Bedingung, um fließendere Übergänge zu erzielen;
MM2V: Nutzt die Bewegungen der vorherigen fünf Bilder als Bedingung, was natürlichere Animationen ermöglicht;
MR2V: Eigene Bilder können als initiales Gedächtnis hochgeladen werden, um das Aussehen der Hauptfigur festzulegen.

Ergebnisse: Im Vergleich zu bestehenden Methoden konnte die Konsistenz um 29 % gesteigert werden, während die hohe Bildqualität und die gute Prompt-Treue des ursprünglichen Modells erhalten bleiben.

Anwendungsszenarien von StoryMem

Marketing-Werbung: Durch die Eingabe eines Skripts lassen sich schnell mehrere dynamische Storyboards erstellen, die A/B-Tests erleichtern.
Film- und TV-Pre-Produktion: Textbasierte Storyboards werden direkt in visuelle Szenen umgewandelt, was in der Konzeptphase Kosten spart.
Kurzvideos / Unabhängige Kreation: Auch ohne Vorkenntnisse lassen sich einminütige, filmreife Kurzfilme erstellen.
Bildung und Unternehmenschulungen: Historische Nachstellungen, wissenschaftliche Erklärungen und Produktvorführungen können auf Knopfdruck erstellt werden.

So verwenden Sie StoryMem

Repository klonen:
git clone https://github.com/Kevin-thu/StoryMem
Abhängigkeiten installieren:
pip install -r requirements.txt
Skript vorbereiten: Erstellen Sie anhand der Beispiele Prompts für mehrere Einstellungen oder verwenden Sie die 300 Story-Vorlagen aus ST-Bench.
Generierung starten:
python inference.py --prompt "Ihr Story-Skript" --length 60 --memory_size 10
Optionale Funktionen:
Fügen Sie --mi2v hinzu, um nahtlose Übergänge zu erzielen.
Fügen Sie --ref_image path/to/face.jpg --mr2v hinzu, um die Hauptfigur selbst festzulegen.