TaleStreamAI：小説テキストをショート動画へ自動変換、小説プロモーションに最適 104

小编 · 2025-04-30

TaleStreamAIは、小説テキストをショート動画へ自動変換するオープンソースプロジェクトです。

TaleStreamAI：小説テキストをショート動画へ自動変換、小説プロモーションに最適

TaleStreamaiとは？

TaleStreamAIは、小説テキストから短編動画への自動変換を実現するオープンソースプロジェクトです。

TaleStreamAI：小説テキストから短編動画への自動変換を実現、小説プロモーション動画制作に最適.jpg

TaleStreamAIの技術的なハイライト

スマートなシーン分割：Geminiモデルを活用して小説の物語を分解し、長い章を複数のパートに切り分けることで、大量のテキスト処理を回避します。また、各シーンごとにテキストとカメラワークのスクリプトを計画し、ストーリーの流れをよりスムーズに表現します。
プロンプト最適化：DeepSeek-V3モデルによって画像生成プロンプトを磨き上げ、シーン内のテキスト記述をAI画像生成の要件により正確に合わせることで、生成される画像の品質と適合度を向上させます。
正確な字幕：無音検出と音声解析技術を活用し、OpenAIのWhisperモデルによる音声認識を組み合わせることで、高精度なSRT字幕を生成し、字幕と音声の完全な同期を保証します。
映像効果処理：MoviePyライブラリで開発された画像移動アルゴリズムにより、パンニングなど多様な映像効果を実現し、字幕の自動追加にも対応しています。さらに、映像の解像度やアスペクト比のカスタマイズも可能で、プロフェッショナルな品質の映像を出力できます。
リソース管理の最適化：ガベージコレクション、一時ファイルのクリーンアップ、メモリの最適化などの手法により、長時間の安定動作を保証し、大量の映像処理タスクを実行してもエラーが発生しにくくなっています。また、モジュラーアーキテクチャ、マルチスレッド処理、エラー復旧メカニズムなどの設計により、システムの柔軟性と効率性も向上しています。

TaleStreamAIの動作フロー

コンテンツ取得：起点サイト（Qidian）から指定された小説を取得し、BeautifulSoupライブラリでWebページを解析して章の内容を抽出し、独立したテキストファイルとして保存します。
シーン制作：Gemini大規模言語モデルが小説の内容を複数のシーンに分解し、各シーンには内容、中国語と英語の両方でのカメラワーク記述などの情報が含まれます。
プロンプトの精密化：DeepSeek-V3モデルがシーンのプロンプトをさらに最適化し、AI画像生成に適した正確な指示を生成します。
画像生成：最適化されたプロンプトをStable Diffusion API（無料）に送信し、高品質な画像を取得します。
音声合成：CosyVoice2音声合成モデルを活用して、シーンのテキストを自然な音声ナレーションに変換します。マルチスレッド処理とAPIキーのローテーションをサポートし、MP3形式の音声を出力します。
字幕生成：Whisperモデルで音声認識を行い、強化されたセグメンテーション技術によって正確なSRT字幕ファイルを生成します。
単一シーン合成：映像、音声、字幕を統合し、MoviePyライブラリを利用して映像効果を追加し、単一の映像クリップとして制作します。
最終映像制作：FFmpegのconcat機能を使用して、すべての映像クリップを順に結合し、メモリ使用量を最適化して、完全な映像を出力します。