MMStoryAgent : système IA multimodal open-source de génération d'histoires, développé par SJTU et Alibaba 191

Qu'est-ce que MM-StoryAgent ?

MM-StoryAgent est un système de génération d'histoires multimodales par IA open source développé par l'Université Jiao Tong de Shanghai et Alibaba. Il adopte un paradigme multi-agents et peut générer des livres d'histoires audio immersifs sous forme de vidéos. Il intègre plusieurs éléments tels que le texte, les images et l'audio, et grâce à de grands modèles de langage et à certains outils spécialisés, il génère automatiquement des vidéos narratives comprenant du texte, des images et de l'audio multicanal (narration, effets sonores, musique de fond), pouvant être utilisées pour la création rapide d'histoires pour enfants.

Fonctionnalités et caractéristiques de MM-StoryAgent

• Création d'histoires de haute qualité : à partir des paramètres d'histoire fournis en entrée, il crée des histoires via un processus multi-agents et multi-étapes. Il adopte une approche de haut en bas pour concevoir les brouillons et de bas en haut pour générer les matériaux, résolvant ainsi les problèmes d'intervention manuelle, de mise en scène des scènes et de cohérence narrative.

• Génération de contenu multimodal : il combine les modalités texte, image, voix et musique pour générer des vidéos narratives immersives. Les tâches sont décomposées puis assignées à différents « agents » spécialisés, tels que ceux responsables de la conception de l'histoire, de la génération du storyboard et de la création vidéo, simulant ainsi un processus de production professionnel.

• Prise en charge de flux de travail personnalisés : il fournit des flux de travail fiables et personnalisables. Les utilisateurs peuvent personnaliser le comportement des agents via des fichiers de configuration et définir leurs propres outils spécialisés pour améliorer la qualité de génération de chaque composant.

• Cohérence renforcée des personnages : le processus de génération met l'accent sur la cohérence des personnages et des thèmes. Il adopte une méthode personnalisée de conversion image-vidéo et un nouveau flux de génération de storyboard pour garantir la cohérence des sujets entre les plans.

• Automatisé et flexible : grâce à de grands modèles de langage et à des outils spécialisés, il peut transformer automatiquement des invites simples en histoires numériques multimodales, et générer un contenu cohérent sans vidéos de référence.

• Facilité d'évaluation et d'optimisation : il fournit une liste de thèmes d'histoires et des critères d'évaluation, permettant aux utilisateurs d'évaluer la qualité des histoires générées et de les améliorer.

Technologies clés de MM-StoryAgent

• Mécanisme de fonctionnement du cadre multi-agents : il crée des histoires grâce à un processus d'écriture en plusieurs étapes et à la collaboration multi-agents, intégrant les éléments visuels, auditifs et narratifs pour offrir une expérience sensorielle complète.

• Méthode personnalisée de conversion image-vidéo : il introduit LoRA-BE, une méthode personnalisée de conversion image-vidéo, qui renforce la cohérence temporelle au sein d'un plan et améliore la qualité visuelle de la vidéo.

Comment utiliser MM-StoryAgent

1. Obtenir le code source : accédez au dépôt GitHub de MM_StoryAgent (voir le lien ci-dessous) et téléchargez le code source.

2. Installer les dépendances : suivez les instructions de la documentation du projet pour installer les packages Python et autres logiciels nécessaires.

3. Configurer l'environnement : mettez en place l'environnement de développement en vous assurant que les dépendances sont correctement installées ; il peut être nécessaire de configurer certaines variables d'environnement.

4. Préparer les données d'entrée : préparez les données telles que les paramètres de l'histoire, les descriptions des personnages et les informations sur les scènes pour la création de l'histoire.

5. Lancer le processus de génération : utilisez les scripts fournis ou les outils en ligne de commande pour démarrer le processus de génération. Vous pouvez personnaliser l'histoire en spécifiant les données d'entrée et les paramètres.

6. Consulter les résultats d'évaluation : une fois la vidéo narrative générée, examinez et évaluez sa qualité et ses effets, puis ajustez si nécessaire.

7. Optimiser et itérer : ajustez les données d'entrée ou les paramètres en fonction des résultats de l'évaluation, puis relancez le processus de génération pour optimiser le contenu et l'expression de l'histoire.

Dépôt GitHub :https://github.com/X-PLUG/MM_StoryAgent