Story Flicks: una herramienta de código abierto para generar videoclips de historias en HD 129

Story Flicks es una herramienta de código abierto para generar vídeos cortos de historias basada en grandes modelos de IA. Combina modelos de lenguaje avanzados con tecnología de generación de imágenes para crear rápidamente, a partir del tema de la historia proporcionado por el usuario, vídeos que incluyen imágenes generadas por IA, el contenido de la historia y audio. Ofrece principalmente un servicio de generación de vídeos cortos en alta definición con un solo clic, ideal para creadores, educadores y profesionales del marketing que deseen producir contenido visual de forma rápida.

Características:

• Generación inteligente: el usuario solo tiene que introducir el tema o palabras clave de la historia, y el sistema generará automáticamente el vídeo corto correspondiente, ofreciendo varios resultados creativos en poco tiempo.

• Soporte multilingüe: Story Flicks admite varios idiomas, lo que permite a los usuarios elegir el idioma adecuado para generar contenido según sus necesidades, mejorando la comodidad y la flexibilidad de uso.

• Combinación de imagen y audio: además de generar texto y argumentos de la historia, Story Flicks añade al vídeo imágenes generadas por IA y efectos de sonido de fondo, lo que aumenta en general el atractivo visual del vídeo.

• Generación multimodal: Story Flicks realiza un análisis inteligente mediante un modelo de lenguaje grande (LLM), capaz de construir un marco narrativo integral que integra a la vez elementos visuales, auditivos y textuales. Es decir, no solo genera la historia en formato texto, sino que también crea automáticamente imágenes generadas por IA, narración dinámica por voz y subtítulos inteligentes que encajan con la historia.

• Generación de imágenes con IA: Story Flicks aplica tecnología de generación de imágenes para crear efectos visuales vivos de las escenas y los personajes de la historia, dotando al contenido del vídeo de un gran atractivo visual.

• Producción de audio integrada: incluye narración dinámica por voz, lo que significa que el usuario no necesita grabar ni buscar material de audio por su cuenta; el sistema genera automáticamente la voz a partir del contenido de la historia.

• Subtítulos inteligentes: puede organizar subtítulos de forma automática, lo que facilita la comprensión del vídeo a personas con discapacidad auditiva y mejora la accesibilidad del contenido.

• Stack tecnológico: el backend utiliza Python y FastAPI, mientras que el frontend emplea React, Ant Design y Vite, garantizando un funcionamiento eficiente y estable del sistema y ofreciendo a los usuarios una buena experiencia de desarrollo.

Escenarios de aplicación:

• Creación de contenido creativo: adecuado para bloggers de vídeos cortos, influencers de medios sociales y profesionales del marketing, ya que permite producir historias visuales ricas de forma rápida para mejorar la eficiencia.

• Educación y formación: resulta muy útil en el sector educativo, ya que puede proporcionar a los estudiantes materiales de aprendizaje intuitivos, como contenidos de vídeo cortos con fines didácticos.

• Entretenimiento y publicidad: los profesionales del sector del entretenimiento y los productores de anuncios pueden utilizarla para crear rápidamente vídeos promocionales.

• Uso personal: los usuarios particulares también pueden elaborar fácilmente vídeos conmemorativos, compartir historias, etc.

Cómo usar Story Flicks:

1. Descarga este proyecto:

git clone https://github.com/alecm20/story-flicks.git

2. Configura la información del modelo

# Primero cambia al directorio backend del proyecto
cd backend
cp .env.example .env
text_provider="openai"    # Proveedor del modelo de generación de texto; actualmente se admiten openai, aliyun, deepseek, ollama y siliconflow. Documentación de Alibaba Cloud: https://www.aliyun.com/product/bailian
image_provider="aliyun"   # Proveedor del modelo de generación de imágenes; actualmente se admiten openai, aliyun y siliconflow
openai_base_url="https://api.openai.com/v1" # baseUrl de openai
aliyun_base_url="https://dashscope.aliyuncs.com/compatible-mode/v1" # baseUrl de Alibaba Cloud
deepseek_base_url="https://api.deepseek.com/v1" # baseUrl de deepseek
ollama_base_url="http://localhost:11434/v1" # baseUrl de ollama
siliconflow_base_url="https://api.siliconflow.cn/v1" # baseUrl de siliconflow
openai_api_key= # api key de openai; solo es necesario rellenar uno
aliyun_api_key= # api key de Alibaba Cloud Bailian; solo es necesario rellenar uno
deepseek_api_key= # api key de deepseek; actualmente esta api_key solo admite generación de texto
ollama_api_key= # si necesitas usarla, rellena la de ollama. Actualmente esta api_key solo admite generación de texto y no se puede utilizar con modelos demasiado pequeños; se recomienda qwen2.5:14b o modelos mayores.
siliconflow_api_key= # los modelos de texto de siliconflow actualmente solo admiten grandes modelos compatibles con el formato OpenAI, como: Qwen/Qwen2.5-7B-Instruct. Los modelos de imagen solo se han probado con: black-forest-labs/FLUX.1-dev
text_llm_model=gpt-4o # Si text_provider está configurado como openai, aquí solo se pueden introducir modelos de OpenAI, como: gpt-4o. Si se configura aliyun, se pueden introducir modelos grandes de Alibaba Cloud, como: qwen-plus o qwen-max. Los modelos de ollama no pueden ser demasiado pequeños, ya que de lo contrario no podrán generar un json correcto; se pueden utilizar modelos como qwen2.5:14b o mayores.
image_llm_model=flux-dev # Si image_provider está configurado como openai, aquí solo se pueden introducir modelos de OpenAI, como: dall-e-3. Si se configura aliyun, se pueden introducir modelos grandes de Alibaba Cloud; Alibaba Cloud recomienda usar: flux-dev, que actualmente se puede probar gratis; consulta: https://help.aliyun.com/zh/model-studio/getting-started/models#a1a9f05a675m4.

3. Inicia el proyecto con Docker

En el directorio raíz del proyecto, ejecuta:

docker-compose up --build

4. Empieza a usarlo

• Introduce el tema de la historia: en la interfaz de la herramienta de generación, selecciona el proveedor del modelo de generación de texto, el proveedor del modelo de generación de imágenes, el modelo de texto, el modelo de generación de imágenes, el idioma del vídeo, la voz, el tema de la historia y los párrafos de la historia.

• Generación de vídeo: tras pulsar el botón de generar, el sistema procesará la información mediante tecnología de IA y en unos segundos generará el vídeo final.

Información relacionada:

Herramientas de libros ilustrados infantiles con IA

Generación de historias con IA