MMStoryAgent: Sistema de IA multimodal de código abierto para generar historias, desarrollado por SJTU y Alibaba 186

¿Qué es MM-StoryAgent?

MM-StoryAgent es un sistema de generación de historias multimodal de IA de código abierto desarrollado por la Universidad de Shanghái Jiao Tong y Alibaba. Utiliza un paradigma multiagente para generar libros de cuentos inmersivos con vídeo y audio. Integra varios elementos como texto, imágenes y audio, y, mediante grandes modelos de lenguaje y algunas herramientas especializadas, genera automáticamente vídeos de historias con texto, imágenes y audio multicanal (narración, efectos de sonido y música de fondo), lo que permite crear rápidamente cuentos infantiles.

Características de MM-StoryAgent

• Creación de historias de alta calidad: crea historias a partir de una configuración inicial mediante un proceso multiagente y multifase. Utiliza un enfoque de ideación de arriba hacia abajo y generación de material de abajo hacia arriba, lo que resuelve problemas como la intervención manual, la organización de escenas y la coherencia narrativa.

• Generación de contenido multimodal: genera vídeos de historias inmersivos combinando modalidades como texto, imagen, voz y música. Divide las tareas y las asigna a distintos "agentes" especializados, como los responsables del diseño de la historia, la generación del storyboard y la creación del vídeo, simulando un flujo de producción profesional.

• Flujo de trabajo personalizable: ofrece un flujo de trabajo fiable y personalizable. Los usuarios pueden personalizar el comportamiento de los agentes mediante archivos de configuración y definir sus propias herramientas especializadas para mejorar la calidad de generación de cada componente.

• Mayor coherencia de los personajes: el proceso de generación prioriza la coherencia de los personajes y del tema. Emplea un método personalizado de imagen a vídeo y un nuevo flujo de generación de storyboards para garantizar la consistencia de los sujetos entre tomas.

• Automatizado y flexible: utiliza grandes modelos de lenguaje y herramientas especializadas para convertir automáticamente prompts sencillos en historias digitales multimodales, generando contenido coherente sin necesidad de vídeos de referencia.

• Facilidad de evaluación y optimización: proporciona una lista de temas de historias y criterios de evaluación, lo que permite a los usuarios evaluar la calidad de las historias generadas y mejorarlas.

Tecnología principal de MM-StoryAgent

• Mecanismo de funcionamiento del marco multiagente: crea historias mediante un proceso de escritura multifase y la colaboración de múltiples agentes, integrando elementos visuales, auditivos y narrativos para ofrecer una experiencia sensorial completa.

• Método personalizado de imagen a vídeo: introduce LoRA-BE, un método personalizado de conversión de imagen a vídeo que mejora la coherencia temporal dentro de una misma toma y eleva la calidad visual del vídeo.

Cómo usar MM-StoryAgent

1. Obtener el código fuente: accede al repositorio de GitHub de MM_StoryAgent (ver enlace más abajo) y descarga el código fuente.

2. Instalar las dependencias: sigue las instrucciones de la documentación del proyecto para instalar las bibliotecas de Python y los paquetes de software necesarios.

3. Configurar el entorno: configura el entorno de desarrollo y asegúrate de que las dependencias se hayan instalado correctamente; es posible que necesites configurar algunas variables de entorno.

4. Preparar los datos de entrada: ten listos los datos necesarios para la creación de la historia, como la configuración del cuento, las descripciones de los personajes y la información de las escenas.

5. Ejecutar el proceso de generación: inicia el flujo de generación con los scripts o las herramientas de línea de comandos proporcionados, personalizando la historia indicando los datos de entrada y los parámetros deseados.

6. Consultar los resultados de evaluación: una vez generados los vídeos con las historias, revisa y evalúa su calidad y效果, y ajústalos según sea necesario.

7. Optimización iterativa: ajusta los datos de entrada o los parámetros en función de los resultados de la evaluación y vuelve a ejecutar el flujo de generación para optimizar el contenido y la expresividad de la historia.

Repositorio de GitHub:https://github.com/X-PLUG/MM_StoryAgent