StoryMem: herramienta de IA de código abierto de ByteDance para generar videos largos multicámara 94

StoryMem es una herramienta de IA de código abierto de generación de vídeos largos con múltiples tomas, desarrollada por ByteDance y la Universidad Tecnológica de Nanyang. Su objetivo principal es resolver el problema de inconsistencia en la apariencia de los personajes y el estilo visual entre las distintas tomas de los vídeos multivista. Convierte los modelos actuales de difusión de vídeo de toma única en una herramienta capaz de generar cortometrajes de múltiples tomas. Mediante una biblioteca de memoria visual, produce historias continuas de 40 a 60 segundos con 8 a 12 tomas, manteniendo la coherencia en el aspecto de los personajes y el estilo de las escenas.

En cuanto a la implementación técnica, StoryMem parte del modelo Wan2.2 y añade capacidades de procesamiento de memoria mediante fine-tuning. Durante la generación, primero se crea la primera toma como punto de partida de la memoria; cada nueva toma posterior hace referencia al contenido de memoria anterior y actualiza continuamente la biblioteca de memoria, manteniendo así la coherencia global del vídeo.

Características y funciones de StoryMem

• Memoria a Vídeo (M2V): utiliza LoRA para integrar fotogramas clave anteriores en el ruido actual, permitiendo alinear visualmente las distintas tomas con un ajuste sencillo.

• Biblioteca de memoria dinámica: almacena hasta 10 fotogramas clave, seleccionados primero por significado mediante CLIP y luego por calidad estética con HPSv3, eliminando automáticamente las tomas de baja calidad.

• Tres métodos de ampliación:

• MI2V: utiliza la primera imagen de fotograma como condición para conseguir transiciones más fluidas.

• MM2V: utiliza el movimiento de los cinco fotogramas anteriores como condición para un movimiento más natural.

• MR2V: permite subir tu propia imagen como memoria inicial para definir el rostro del protagonista.

• Resultados: en comparación con los métodos actuales, mejora la consistencia en un 29 %, manteniendo al mismo tiempo la alta calidad original del modelo y su fidelidad a las instrucciones.

Casos de uso de StoryMem

• Publicidad y marketing: introduce un guion y genera rápidamente varios cortes dinámicos para realizar pruebas A/B.

• Preproducción audiovisual: convierte los storyboards de texto directamente en imágenes visualizadas, ahorrando costes en las fases iniciales de ideación.

• Vídeos cortos y creación independiente: sin requisitos previos, cualquiera puede producir cortometrajes de 1 minuto con acabado cinematográfico.

• Educación y formación empresarial: recreaciones históricas, explicaciones científicas y demostraciones de productos generados con un solo clic.

Cómo usar StoryMem

• Clonar el repositorio:

  git clone https://github.com/Kevin-thu/StoryMem

• Instalar dependencias:

  pip install -r requirements.txt

  Preparar el guion: escribe los prompts de múltiples tomas siguiendo los ejemplos, o utiliza las 300 plantillas de historias proporcionadas por ST-Bench.

• Comenzar la generación:

  python inference.py --prompt "tu guion" --length 60 --memory_size 10

• Funciones opcionales:

  Para transiciones sin cortes añade --mi2v

  Para definir tu propio protagonista añade --ref_image path/to/face.jpg --mr2v

Enlaces de recursos

• GitHub: https://github.com/Kevin-thu/StoryMem

• Artículo: https://arxiv.org/abs/2512.19539

• Modelos:

• Wan2.2-T2V: https://huggingface.co/Wan-AI/Wan2.2-T2V-A14B

• StoryMem LoRA: https://huggingface.co/Kevin-thu/StoryMem

• Página del proyecto: https://kevin-thu.github.io/StoryMem/