TaleStreamAI: conversión automática de novelas a videos cortos, ideal para promoción de novelas 99

¿Qué es TaleStreamAI?

TaleStreamAI es un proyecto de código abierto que permite la conversión automatizada de textos de novelas a vídeos cortos.

Aspectos técnicos destacados de TaleStreamAI

• Planos inteligentes: gracias al modelo Gemini, descompone la trama en varios segmentos, evitando procesar cantidades excesivas de contenido. Al mismo tiempo, planifica el texto y el guion visual para cada plano, logrando una presentación más coherente de la historia.

• Optimización de prompts: mediante el modelo DeepSeek-V3, perfecciona los prompts de dibujo para que las descripciones de texto de cada plano se adapten con mayor precisión a las necesidades del dibujo con IA, mejorando la calidad y la correspondencia de las imágenes generadas.

• Subtítulos precisos: emplea técnicas de detección de silencio y análisis de voz, combinadas con el modelo Whisper de OpenAI para el reconocimiento de voz, generando subtítulos SRT precisos que se sincronizan perfectamente con el audio.

• Procesamiento de efectos de vídeo: utiliza algoritmos de movimiento de imágenes desarrollados con la biblioteca MoviePy, capaces de aplicar diversos efectos visuales como panorámicas, añadir subtítulos automáticamente y admitir la resolución y proporción de vídeo personalizadas, produciendo vídeos de calidad profesional.

• Optimización de la gestión de recursos: mediante recolección de basura, limpieza de archivos temporales, optimización de memoria, entre otros, garantiza un funcionamiento estable del programa durante largos periodos, incluso al procesar grandes volúmenes de tareas de vídeo sin errores fácilmente. Asimismo, su arquitectura modular, procesamiento multihilo y mecanismo de recuperación de errores hacen que el sistema sea más flexible y eficiente.

Flujo de ejecución de TaleStreamAI

• Captura de contenido: obtiene la novela indicada desde el sitio web de Qidian, analiza la página con la biblioteca BeautifulSoup, extrae el contenido de los capítulos y lo guarda como archivos de texto independientes.

• Creación de planos: el modelo de lenguaje de gran tamaño Gemini descompone el contenido de la novela en múltiples escenas; cada plano incluye contenido, descripciones de tomas en chino e inglés, entre otra información.

• Refinamiento de prompts: el modelo DeepSeek-V3 optimiza aún más los prompts de los planos, generando instrucciones precisas adecuadas para el dibujo con IA.

• Generación de imágenes: envía los prompts optimizados a la API de Stable Diffusion (gratuita) para obtener imágenes de alta calidad.

• Síntesis de audio: mediante el modelo de síntesis de voz CosyVoice2, convierte el texto de los planos en narración de voz natural, con soporte para procesamiento multihilo y rotación de claves API, generando audio en formato MP3.

• Generación de subtítulos: utiliza el modelo Whisper para el reconocimiento de voz del audio y, mediante técnicas de segmentación mejoradas, genera archivos de subtítulos SRT precisos.

• Composición por plano: integra las imágenes, el audio y los subtítulos, y utiliza la biblioteca MoviePy para añadir efectos de vídeo, produciendo un clip de vídeo individual.

• Producción del vídeo final: emplea la función concat de FFmpeg para unir en secuencia todos los clips de vídeo, optimizando el uso de memoria y generando el vídeo completo.

Escenarios de aplicación de TaleStreamAI

• Promoción de novelas: los autores pueden convertir fragmentos de sus obras en vídeos para atraer a más lectores.

• Monetización de contenido: producir短视频 a partir de novelas de dominio público u originales y publicarlos en diversas plataformas para obtener ingresos por tráfico.

• Apoyo educativo: transformar obras literarias en vídeos visuales para ayudar a los estudiantes a comprender la literatura clásica.

• Creación de medios: añadir imágenes a dramas radiofónicos y audiolibros para enriquecer las formas de expresión del contenido.

Github:https://github.com/Mubashir-414/TaleStreamAI