TaleStreamAI: automatisierte Umwandlung von Romantext in Kurzvideos – ideal für Roman-Promotion 103

Was ist TaleStreamai?

TaleStreamAI ist ein Open-Source-Projekt, das die automatisierte Umwandlung von Romantexten in kurze Videos ermöglicht.

Technische Highlights von TaleStreamAI

• Intelligente Szeneneinteilung: Mithilfe des Gemini-Modells werden Romanhandlungen zerlegt und lange Kapitel in mehrere Teile geschnitten, um die Verarbeitung übermäßiger Inhaltsmengen zu vermeiden. Gleichzeitig werden für jede Einstellung Text- und Kamera-Skripte geplant, sodass die Geschichte kohärenter dargestellt wird.

• Prompt-Optimierung: Durch das DeepSeek-V3-Modell werden die Bildgenerierungs-Prompts verfeinert, damit die Textbeschreibungen in den Einstellungen präziser auf die Anforderungen der KI-Bildgenerierung abgestimmt sind und die Qualität sowie Passgenauigkeit der erzeugten Bilder verbessert wird.

• Präzise Untertitel: Durch den Einsatz von Stillerkennung und Sprachanalyse in Kombination mit dem Whisper-Modell von OpenAI zur Spracherkennung werden präzise SRT-Untertitel erzeugt, die perfekt mit dem Audio synchronisiert sind.

• Videobearbeitung: Ein mit der MoviePy-Bibliothek entwickelter Bildbewegungsalgorithmus ermöglicht verschiedene Bildeffekte wie Schwenks, fügt automatisch Untertitel hinzu und unterstützt benutzerdefinierte Videoauflösungen und -formate für die Erstellung professioneller Videos.

• Ressourcenmanagement-Optimierung: Durch Garbage Collection, Bereinigung temporärer Dateien, Speicheroptimierung und weitere Maßnahmen wird ein stabiler Langzeitbetrieb des Programms sichergestellt, sodass auch bei der Verarbeitung großer Videomengen kaum Fehler auftreten. Gleichzeitig machen das modulare Architekturdesign, die Multithread-Verarbeitung und Mechanismen zur Fehlerbehebung das System flexibler und effizienter.

Ablauf von TaleStreamAI

• Inhaltserfassung: Ein bestimmter Roman wird von der Qidian-Website abgerufen, mit der BeautifulSoup-Bibliothek wird die Webseite analysiert, der Kapitelinhalt extrahiert und als eigenständige Textdatei gespeichert.

• Szeneneinteilung: Das große Sprachmodell Gemini zerlegt den Romaninhalt in mehrere Szenen, wobei jede Einstellung Inhalt sowie Kamera­beschreibungen in Chinesisch und Englisch enthält.

• Prompt-Verfeinerung: Das DeepSeek-V3-Modell optimiert die Einstellungs-Prompts weiter und erstellt präzise Anweisungen, die für die KI-Bildgenerierung geeignet sind.

• Bildgenerierung: Die optimierten Prompts werden an die Stable Diffusion API (kostenlos) gesendet, um hochwertige Bilder zu erhalten.

• Audiosynthese: Mithilfe des CosyVoice2-Sprachsynthesemodells wird der Einstellungstext in eine natürliche Sprach­erzählung umgewandelt. Multithread-Verarbeitung und API-Schlüssel-Rotation werden unterstützt, und die Ausgabe erfolgt im MP3-Format.

• Untertitelgenerierung: Mit dem Whisper-Modell wird eine Spracherkennung des Audios durchgeführt, und durch eine verbesserte Segmentierungstechnik werden präzise SRT-Untertiteldateien erzeugt.

• Einzelbild-Komposition: Bild, Audio und Untertitel werden zusammengeführt; mit der MoviePy-Bibliothek werden Videoeffekte hinzugefügt und ein einzelnes Videosegment erstellt.

• Endfertigung: Mit der concat-Funktion von FFmpeg werden alle Videosegmente der Reihe nach zusammengefügt, die Speichernutzung optimiert und das vollständige Video ausgegeben.

TaleStreamAI Anwendungs­szenarien

• Roman-Werbung: Autoren können Ausschnitte ihrer Werke als Video aufbereiten, um die Aufmerksamkeit weiterer Leser zu gewinnen.

• Content-Monetarisierung: Gemeinfreie oder selbst verfasste Romane werden zu Kurzvideos verarbeitet und auf verschiedenen Plattformen veröffentlicht, um Traffic-Einnahmen zu erzielen.

• Bildungsunterstützung: Literarische Werke werden in visuell aufbereitete Videos umgewandelt, um Schülern das Verständnis klassischer Literatur zu erleichtern.

• Medienproduktion: Hörspielen und Hörbüchern werden Bilder hinzugefügt, um die Darstellungsformen der Inhalte zu bereichern.

Github:https://github.com/Mubashir-414/TaleStreamAI