TaleStreamAI : conversion automatisée de texte de roman en vidéos courtes, idéal pour la promotion de romans 101

Qu'est-ce que TaleStreamai ?

TaleStreamAI est un projet open source qui permet la conversion automatisée de textes de romans en courtes vidéos.

Points forts techniques de TaleStreamAI

• Storyboard intelligent : grâce au modèle Gemini, l'intrigue du roman est décomposée et les longs chapitres sont découpés en plusieurs parties pour éviter de traiter un volume excessif de contenu. Parallèlement, un script textuel et visuel est planifié pour chaque plan, rendant le récit plus cohérent.

• Optimisation des prompts : le modèle DeepSeek-V3 affine les prompts de génération d'images, permettant aux descriptions textuelles des storyboards de s'adapter plus précisément aux besoins du dessin par IA, améliorant ainsi la qualité et la pertinence des images générées.

• Sous-titres précis : en utilisant la détection de silence et la technologie d'analyse vocale, combinées au modèle Whisper d'OpenAI pour la reconnaissance vocale, des sous-titres SRT précis sont générés, garantissant une synchronisation parfaite entre les sous-titres et l'audio.

• Traitement des effets vidéo : à l'aide d'algorithmes de déplacement d'images développés avec la bibliothèque MoviePy, il est possible de réaliser divers effets visuels tels que le panoramique, d'ajouter automatiquement des sous-titres, et de prendre en charge des résolutions et proportions vidéo personnalisées, produisant ainsi des vidéos de qualité professionnelle.

• Optimisation de la gestion des ressources : grâce au ramasse-miettes, au nettoyage des fichiers temporaires et à l'optimisation de la mémoire, le programme fonctionne de manière stable pendant de longues périodes, même lors du traitement d'un grand nombre de tâches vidéo, sans erreurs fréquentes. De plus, des conceptions telles qu'une architecture modulaire, le traitement multithread et des mécanismes de récupération d'erreurs rendent le système plus flexible et efficace.

Fonctionnement de TaleStreamAI

• Extraction de contenu : récupération du roman spécifié depuis le site Qidian, analyse des pages web à l'aide de la bibliothèque BeautifulSoup, extraction du contenu des chapitres et enregistrement sous forme de fichiers texte indépendants.

• Création du storyboard : le grand modèle de langage Gemini décompose le contenu du roman en plusieurs scènes, chaque plan contenant le contenu, des descriptions de plans en chinois et en anglais, etc.

• Affinage des prompts : le modèle DeepSeek-V3 optimise davantage les prompts du storyboard pour formuler des instructions précises adaptées au dessin par IA.

• Génération d'images : les prompts optimisés sont envoyés à l'API Stable Diffusion (gratuite) pour obtenir des images de haute qualité.

• Synthèse audio : à l'aide du modèle de synthèse vocale CosyVoice2, le texte du storyboard est converti en narration vocale naturelle, prenant en charge le traitement multithread et la rotation des clés API, et produisant un audio au format MP3.

• Génération des sous-titres : le modèle Whisper effectue la reconnaissance vocale sur l'audio, et grâce à une technologie de segmentation améliorée, des fichiers de sous-titres SRT précis sont générés.

• Composition d'un seul plan : intégration des images, de l'audio et des sous-titres, ajout d'effets vidéo à l'aide de la bibliothèque MoviePy, pour créer un clip vidéo unique.

• Production du film final : utilisation de la fonction concat de FFmpeg pour fusionner dans l'ordre tous les clips vidéo, avec optimisation de l'utilisation de la mémoire, afin de produire la vidéo complète.

Scénarios d'application de TaleStreamAI

• Promotion de romans : les auteurs peuvent transformer des extraits de leurs œuvres en vidéos afin d'attirer l'attention de davantage de lecteurs.

• Monétisation de contenu : transformer des romans du domaine public ou originaux en courtes vidéos et les publier sur diverses plateformes pour générer des revenus via la visibilité.

• Soutien éducatif : transformer des œuvres littéraires en vidéos visuelles pour aider les élèves à comprendre la littérature classique.

• Création médiatique : accompagner les dramatiques radio et les livres audio d'images, afin d'enrichir les formes d'expression du contenu.

GitHub :https://github.com/Mubashir-414/TaleStreamAI