StoryDiffusion: genera historias coherentes en imágenes y vídeo, además de cómics 123

StoryDiffusion es una herramienta de inteligencia artificial desarrollada por el equipo HVision de la Universidad de Nankai. Sus funciones principales incluyen la generación de imágenes coherentes e historias en vídeo, así como la creación de cómics. StoryDiffusion utiliza la tecnología de Autoatención Consistente (Consistent Self-Attention), capaz de generar imágenes con temas consistentes sin necesidad de entrenamiento, las cuales pueden usarse para contar historias o como entrada para la generación de contenido posterior.

StoryDiffusion puede mantener la consistencia de los personajes, generando cómics de múltiples imágenes y vídeos largos, lo cual resulta especialmente importante en campos como la publicidad y el cine que requieren narrativas coherentes.

Características principales de StoryDiffusion:

• Mantenimiento de la coherencia de los personajes: StoryDiffusion puede generar imágenes y vídeos con temas consistentes a través del mecanismo de autoatención consistente, garantizando la coherencia del estilo y la vestimenta de los personajes en cómics de múltiples imágenes y vídeos largos, logrando así una narración de historias coherente.

• Aplicaciones en múltiples escenarios: esta herramienta no solo es adecuada para la generación de cómics, sino que también puede aplicarse en diversos escenarios como la conversión de imagen a vídeo. Los usuarios pueden generar vídeos proporcionando una serie de imágenes condicionales mediante el modelo Image-to-Video, lo que ofrece nuevas formas creativas y medios de producción para campos como la publicidad y el cine.

• Diseño de materiales educativos: los educadores pueden utilizar StoryDiffusion para diseñar vídeos educativos o historias interactivas, contenidos que ayudan a aumentar la participación y el interés de los aprendices.

• Función de generación de imágenes de largo alcance: especialmente adecuada para crear historias publicitarias coherentes y reforzar la imagen de marca. Esta funcionalidad otorga a StoryDiffusion una ventaja significativa en publicidad y promoción de marca.

• Plug-and-play sin necesidad de entrenamiento: el equipo de investigación insertó la autoatención consistente en la arquitectura U-Net del modelo existente de generación de imágenes y reutilizó los pesos de autoatención originales, manteniendo así las características de no requerir entrenamiento y ser plug-and-play.

• Alta eficiencia y robustez: StoryDiffusion no solo mantiene las características de los personajes, sino que también se ajusta bien a las descripciones de los prompts, lo que demuestra su robustez. Esto indica que el método logra el mejor rendimiento en indicadores cuantitativos.

StoryDiffusion, a través del mecanismo de autoatención consistente, no solo es capaz de generar imágenes y vídeos coherentes, sino que también puede aplicarse en múltiples escenarios prácticos como la educación, la publicidad y el entretenimiento, al mismo tiempo que ofrece alta eficiencia y robustez.

Proyecto en GitHub: el proyecto relacionado ya ha alcanzado 1k de Stars en GitHub, la dirección de GitHub es: https://github.com/HVision-NKU/StoryDiffusion.

Artículo y demostración: más detalles técnicos y resultados experimentales sobre StoryDiffusion se pueden encontrar en el artículo «StoryDiffusion: Consistent Self-Attention for long-range image and video generation», disponible en: https://arxiv.org/pdf/2405.01434v1