StoryMem : l'outil IA open source de ByteDance pour générer des vidéos longues multi-plans 100

Un framework IA open source développé par ByteDance et l'Université technologique de Nanyang. Il transforme les modèles actuels de diffusion vidéo à plan unique en un outil capable de produire des films multi-plans. Grâce à une banque de mémoire visuelle, il génère des histoires continues de 40 à 60 secondes composées de 8 à 12 plans, tout en conservant la cohérence des personnages et du style des scènes.

#Ai工具箱 #Ai开源项目

Visiter StoryMem : l'outil IA open source de ByteDance pour générer des vidéos longues multi-plans

StoryMem : l'outil IA open source de ByteDance pour générer des vidéos longues multi-plansIntroduction

StoryMem est un outil open source de génération de vidéos longues multi-plans en IA, développé par ByteDance et l'Université technologique de Nanyang. Il vise principalement à résoudre le problème du manque de cohérence dans l'apparence des personnages et du style visuel des vidéos multi-plans. Il transforme les modèles actuels de diffusion vidéo à plan unique en un outil capable de produire de courts métrages multi-plans, en s'appuyant sur une bibliothèque de mémoire visuelle pour créer des histoires continues de 40 à 60 secondes comportant 8 à 12 plans, avec une apparence des personnages et un style de scène qui restent cohérents.

Sur le plan technique, StoryMem s'appuie sur le modèle Wan2.2 et y ajoute des capacités de traitement de mémoire via un fine-tuning. Lors de la génération, le premier plan est d'abord créé comme point de départ de la mémoire, puis chaque nouveau plan suivant se réfère au contenu mémorisé précédent et met à jour la bibliothèque de mémoire en continu, assurant ainsi la cohérence de l'ensemble de la vidéo.

Fonctionnalités de StoryMem

Mémoire vers Vidéo (M2V) : utilise LoRA pour intégrer les images clés précédentes dans le bruit actuel, ce qui permet, après un simple ajustement, de garder une apparence cohérente entre les différents plans.
Bibliothèque de mémoire dynamique : conserve jusqu'à 10 images clés ; la sélection se fait d'abord par CLIP selon la signification, puis par HPSv3 pour choisir les plus belles images, en supprimant automatiquement les plans de mauvaise qualité.
Trois méthodes d'extension :

MI2V : utilise la première image comme condition, pour des transitions plus fluides ;
MM2V : utilise les cinq premières images comme condition pour le mouvement, afin de rendre l'animation plus naturelle ;
MR2V : permet de télécharger sa propre image comme mémoire initiale, pour définir l'apparence du personnage principal.

Résultats : par rapport aux méthodes actuelles, la cohérence est améliorée de 29 %, tout en conservant la haute qualité d'image et la bonne fidélité aux prompts du modèle d'origine.

Cas d'utilisation de StoryMem

Publicité marketing : à partir d'un script, produire rapidement plusieurs plans dynamiques, facilitant les tests A/B.
Pré-production audiovisuelle : transformer directement un storyboard textuel en images visibles, économisant les coûts liés à la phase d'idéation en amont.
Courtes vidéos / création indépendante : permet, sans aucune compétence technique, de produire des courts métrages d'une minute au rendu cinématographique.
Éducation et formation en entreprise : reconstitutions historiques, explications scientifiques, démonstrations de produits, tout peut être généré en un clic.

Comment utiliser StoryMem

Cloner le dépôt :
git clone https://github.com/Kevin-thu/StoryMem
Installer les dépendances :
pip install -r requirements.txt
Préparer le script : rédiger des prompts multi-plans selon les exemples, ou utiliser les 300 modèles d'histoires fournis par ST-Bench.
Lancer la génération :
python inference.py --prompt "votre script d'histoire" --length 60 --memory_size 10
Options facultatives :
Pour des transitions fluides, ajoutez --mi2v
Pour définir vous-même le personnage principal, ajoutez --ref_image path/to/face.jpg --mr2v