StoryDiffusion : créez des histoires cohérentes en images et vidéo, ainsi que des bandes dessinées 126

StoryDiffusion est un intelligence artificielle outil développé par l'équipe HVision de l'Université de Nankai. Ses principales fonctionnalités incluent la génération d'images et de vidéos cohérentes, ainsi que la création de bandes dessinées. StoryDiffusion utilise la technologie Consistent Self-Attention (auto-attention cohérente), capable de générer des images à thème cohérent sans nécessiter d'entraînement. Ces images peuvent être utilisées pour raconter des histoires ou servir d'entrée pour la génération de contenu ultérieur.

StoryDiffusion est capable de maintenir la cohérence des personnages, de générer des bandes dessinées à plusieurs images et de longues vidéos, ce qui est particulièrement important pour les domaines nécessitant une narration cohérente tels que la publicité et le cinéma.

Principales caractéristiques de StoryDiffusion :

• Maintien de la cohérence des personnages : StoryDiffusion est capable de générer des images et des vidéos à thème cohérent grâce à un mécanisme d'auto-attention cohérent, garantissant la cohérence du style et des vêtements des personnages dans les bandes dessinées à plusieurs images et les longues vidéos, permettant ainsi une narration cohérente.

• Applications multi-scénarios : cet outil ne se limite pas à la génération de bandes dessinées, il peut également être appliqué à divers scénarios tels que la conversion d'image en vidéo. Les utilisateurs peuvent générer des vidéos en fournissant une série d'images conditionnelles via le modèle Image-to-Video, offrant ainsi de nouvelles approches créatives et moyens de production pour les domaines de la publicité et du cinéma.

• Conception de matériel pédagogique : les éducateurs peuvent utiliser StoryDiffusion pour concevoir des vidéos éducatives ou des histoires interactives, contribuant ainsi à améliorer l'engagement et l'intérêt des apprenants.

• Fonction de génération d'images à longue portée : particulièrement adaptée à la création d'histoires publicitaires cohérentes, renforçant l'image de marque. Cette fonctionnalité confère à StoryDiffusion un avantage significatif dans la publicité et la promotion de marque.

• Plug-and-play sans entraînement : l'équipe de recherche a intégré l'auto-attention cohérente dans l'architecture U-Net des modèles existants de génération d'images, tout en réutilisant les poids d'auto-attention d'origine, afin de préserver les caractéristiques plug-and-play sans entraînement.

• Haute efficacité et robustesse : StoryDiffusion est capable de bien correspondre aux descriptions des invites tout en maintenant les caractéristiques des personnages, démontrant ainsi sa robustesse. Cela indique que cette méthode obtient les meilleures performances sur les indicateurs quantitatifs.

Grâce à son mécanisme d'auto-attention cohérent, StoryDiffusion est non seulement capable de générer des images et des vidéos cohérentes, mais également applicable à de nombreux scénarios réels tels que l'éducation, la publicité et le divertissement, tout en offrant une haute efficacité et une grande robustesse.

Projet GitHub : le projet concerné a déjà obtenu 1k étoiles sur GitHub. L'adresse GitHub est : https://github.com/HVision-NKU/StoryDiffusion.

Article et démonstration : de plus amples détails techniques et résultats expérimentaux sur StoryDiffusion sont disponibles dans l'article « StoryDiffusion: Consistent Self-Attention for long-range image and video generation », disponible à l'adresse : https://arxiv.org/pdf/2405.01434v1