MMStoryAgent: Open-Source-multimodales KI-Story-Generation-System von SJTU und Alibaba 190

Was ist MM-StoryAgent?

MM-StoryAgent ist ein von der Shanghai Jiao Tong University und Alibaba als Open Source veröffentlichtes KI-Multimodal-Story-Generierungssystem, das einen Multi-Agenten-Ansatz verwendet und immersive, vertonte Geschichtenbücher als Video erzeugen kann. Es vereint Text-, Bild-, Audio- und weitere Elemente und erstellt mithilfe großer Sprachmodelle sowie spezialisierter Werkzeuge automatisch Story-Videos, die Text, Bilder und mehrkanaliges Audio (Erzählung, Soundeffekte, Hintergrundmusik) enthalten – und eignet sich somit für die schnelle Erstellung von Kindergeschichten.

Funktionsmerkmale von MM-StoryAgent

• Erstellung qualitativ hochwertiger Geschichten: Erstellt Geschichten auf Basis von eingegebenen Story-Vorgaben durch einen mehrstufigen Prozess mit mehreren Agenten. Durch einen Top-down-Entwurf und eine Bottom-up-Materialgenerierung werden Probleme wie manuelles Eingreifen, Szenenkomposition und narrative Konsistenz gelöst.

• Generierung multimodaler Inhalte: Erzeugt immersive Story-Videos, indem Text-, Bild-, Sprach- und Musikmodalitäten kombiniert werden. Die Aufgaben werden zerlegt und an verschiedene spezialisierte „Agenten" verteilt, die beispielsweise für Story-Design, Storyboard-Generierung und Videoerstellung zuständig sind – wodurch ein professioneller Produktionsablauf simuliert wird.

• Unterstützung individueller Workflows: Bietet zuverlässige und anpassbare Arbeitsabläufe, bei denen Nutzer das Verhalten der Agenten über Konfigurationsdateien anpassen und eigene spezialisierte Werkzeuge definieren können, um die Generierungsqualität der einzelnen Komponenten zu verbessern.

• Verbesserte Charakterkonsistenz: Während der Generierung wird auf die Konsistenz von Charakteren und Themen geachtet. Durch eine maßgeschneiderte Bild-zu-Video-Methode und einen neuen Storyboard-Generierungsprozess wird die Subjektkonsistenz zwischen den Einstellungen gewährleistet.

• Automatisiert und flexibel: Mithilfe großer Sprachmodelle und spezialisierter Werkzeuge lassen sich einfache Prompts automatisch in multimodale digitale Geschichten umwandeln, und es können kohärente Inhalte ohne Referenzvideos erzeugt werden.

• Einfache Bewertung und Optimierung: Stellt eine Liste von Story-Themen und Bewertungskriterien bereit, damit Nutzer die Qualität der generierten Geschichten beurteilen und Verbesserungen vornehmen können.

Kerntechnologien von MM-StoryAgent

• Funktionsweise des Multi-Agenten-Frameworks: Erstellt Geschichten durch mehrstufige Schreib-Prozesse und die Zusammenarbeit mehrerer Agenten, wobei visuelle, auditive und narrative Elemente zu einem umfassenden sinnlichen Erlebnis integriert werden.

• Maßgeschneiderte Bild-zu-Video-Methode: Führt mit LoRA-BE eine spezielle Bild-zu-Video-Methode ein, die die zeitliche Konsistenz innerhalb einer Einstellung verbessert und die visuelle Qualität des Videos steigert.

Nutzung von MM-StoryAgent

1. Quellcode beziehen: Besuchen Sie das GitHub-Repository von MM_StoryAgent (siehe Link unten) und laden Sie den Quellcode herunter.

2. Abhängigkeiten installieren: Installieren Sie gemäß der Projektdokumentation die erforderlichen Pakete wie Python-Bibliotheken.

3. Umgebung konfigurieren: Richten Sie die Entwicklungsumgebung ein, stellen Sie sicher, dass die Abhängigkeiten korrekt installiert sind, und konfigurieren Sie gegebenenfalls einige Umgebungsvariablen.

4. Eingabedaten vorbereiten: Bereiten Sie Daten wie Story-Vorgaben, Charakterbeschreibungen und Szeneninformationen für die Geschichtenerstellung vor.

5. Generierungsprozess ausführen: Starten Sie den Generierungsablauf mit den bereitgestellten Skripten oder Kommandozeilen-Tools und passen Sie die Geschichte durch Angabe von Eingabedaten und Parametern an.

6. Ergebnisse ansehen und bewerten: Nachdem die Geschichte als Video ausgegeben wurde, prüfen und bewerten Sie Qualität und Wirkung und nehmen Sie bei Bedarf Anpassungen vor.

7. Iterative Optimierung: Passen Sie Eingabedaten oder Parameter basierend auf den Bewertungsergebnissen an und führen Sie den Generierungsprozess erneut aus, um Story-Inhalte und Ausdruckskraft zu optimieren.

GitHub-Repository:https://github.com/X-PLUG/MM_StoryAgent