猫影短剧:小説を自動で短編ドラマ化するAIツール

猫影短剧:小説を自動で短編ドラマ化するAIツール 131

GitHubユーザーAnning01が作成したオープンソースプロジェクト「novelvids」。小説のテキストを入力するだけで、AIが一貫したスタイルの短編ドラマ動画を自動生成します。

#Ai工具箱 #Ai开源项目

猫影短剧:小説を自動で短編ドラマ化するAIツール紹介

猫影短劇とは

猫影短劇はGitHub上でユーザーAnning01が作成した「novelvids」プロジェクトであり、小説を自動的に統一感のある動画に変換できるツールです。小说のテキストを入力すると、最終的に対応する短編ドラマ動画が出力され、この全プロセスはaiによって完了します。

猫影短劇は小説から動画までの完全なフローをカバーしています。まず小説を章ごとに分割し、各章からキャラクター、シーンなどの重要な情報を抽出します。次に、対応する参考画像と絵コンテスクリプトを生成し、最後に動画生成モデルを呼び出して短編ドラマのクリップを作成します。

猫影短劇の主な機能

猫影短劇の主な機能

  • 小説管理:小説の基本情報(タイトル、著者、あらすじ、表紙など)を入力でき、AIを使って長編小説を自動的に章ごとに分割することもできます。各章の作業進捗(どこまで進んだか)もリアルタイムで追跡できます。

  • AIワークフロー:各章の処理は以下の4つの明確なステップに分かれています:

  • 重要情報の抽出:AIが章の内容を読み、キャラクター、シーン、道具などの重要な要素を自動的に見つけ出します;

  • 参考素材の生成:抽出した情報に基づいて、AIがキャラクターやシーンの参考画像を描き、後の動画でスタイルの一貫性を保ちやすくします;

  • 絵コンテスクリプトの設計:章の内容を一つ一つのショットに変換し、各ショットに詳細なテキスト記述(プロンプト)を付けます;

  • 動画の合成:絵コンテスクリプトと参考画像を組み合わせ、動画生成モデルを呼び出して、最終的に短編ドラマのクリップを出力します。

  • マルチモデル対応:異なるAIモデル(テキスト生成、画像生成、動画生成などでそれぞれ別のモデルを使用)を柔軟に設定でき、システムを再起動せずにいつでもモデルを切り替えることができます。

  • 動画ライブラリ管理:生成されたすべての動画を一元管理し、各動画の処理ステータス(待機中、制作中、完了、失敗)を確認できるほか、動画を直接プレビューしたり一括操作したりすることができます。

猫影短劇の使い方

環境要件

  • パソコンにPython 3.12以上、Node.js 20以上が必要です。データベースは開発時にはSQLiteを使用し、本番環境ではPostgreSQLの使用を推奨します。

起動手順

バックエンドの起動:

  1. まずGitHubからプロジェクトのコードをクローンします:git clone https://github.com/Anning01/novelvids.git、そしてプロジェクトフォルダに入ります;

  2. 依存関係をインストールします(uvツールの使用を推奨):uv sync;

  3. バックエンドサービスを起動します:uvicorn novelvids.app:app --reload --port 8000。

フロントエンドの起動:

  1. webフォルダに入ります(フロントエンドのコードはここにあります):cd web;

  2. フロントエンドの依存関係をインストールします:npm install;

  3. 開発サーバーを起動します:npm run dev(自動的にバックエンドの8000ポートに接続します);

  4. ブラウザを開いてhttp://localhost:3000にアクセスすると操作画面が表示されます。

猫影短劇の使い方

猫影短劇のプロジェクト構造

プロジェクトのコードは機能別にいくつかのフォルダに分かれており、主なモジュールは以下の通りです:

  • APIレイヤー:小説、章、動画などを管理するインターフェースなど、さまざまなインターフェースを定義します;

  • ビジネスロジックレイヤー:章の分割方法、絵コンテの生成方法など、具体的なビジネスルールを処理します;

  • データレイヤー:Tortoise ORMデータベースツールを使用して、データの保存と読み取りを担当します;

  • AIサービスレイヤー:AIに情報抽出、画像描画、動画生成を行わせるなど、さまざまなAIモデルを呼び出します;

  • フロントエンドインターフェース:ReactとTypeScriptで書かれた操作ページで、プロジェクト管理、小説詳細、動画ライブラリなどのページが含まれます;

  • テストコード:各機能モジュールをカバーするテストで、コード品質を保証します;

  • 設定ファイル:Pythonプロジェクト設定(pyproject.toml)、環境設定(config.py)など。

猫影短劇の技術

  • バックエンド技術:FastAPI、Tortoise ORM、Pydantic、OpenAI SDK、Uvicorn。

  • フロントエンド技術:React 19、TypeScript、Vite、Tailwind CSS、shadcn/ui。

猫影短劇のこのプロジェクトは開発者Anningとpepper-hubが共同で行ったもので、コードは主にPythonとTypeScriptで書かれています。小説を動画に変換するツールを作りたい方や、AIによる自動コンテンツ生成に興味がある方は、このプロジェクトのコードと考え方を見てみることをお勧めします。

関連情報:

AI短編ドラマ制作プラットフォーム

猫影短剧:小説を自動で短編ドラマ化するAIツール に関連するツール