Story Flicks – HDストーリー短動画を生成するオープンソースAIツール
Story Flicks – HDストーリー短動画を生成するオープンソースAIツール紹介
Story Flicksは、AI大規模モデルに基づくオープンソースのストーリー短編動画生成ツールです。先進的な言語モデルと画像生成技術を融合させ、入力されたストーリーテーマに基づいて、AI生成画像、ストーリーコンテンツ、オーディオを含む動画を迅速に生成します。主にワンクリックでHD短編動画を生成するサービスを提供しており、視覚的なコンテンツを素早く制作したいクリエイター、教育者、マーケティング担当者などに最適です。

主な機能:
スマート生成:ユーザーがストーリーテーマやキーワードを入力するだけで、システムが対応する短編動画を自動的に生成し、短時間で複数のクリエイティブな結果を出力できます。
多言語サポート:Story Flicksは複数の言語をサポートしており、ユーザーは自身のニーズに合わせて適切な言語を選択してコンテンツを生成でき、利便性と柔軟性が向上します。
画像と音声の組み合わせ:Story Flicksはテキストコンテンツやストーリーの筋書きを生成するだけでなく、AI生成画像や効果音を動画に追加することもでき、全体の視聴体験を向上させます。
マルチモーダル生成:Story Flicksは大規模言語モデル(LLM)を通じて智能的に解析し、物語の枠組みを総合的に構築すると同時に、視覚、聴覚、テキスト要素を融合させます。つまり、テキストストーリーを生成できるだけでなく、ストーリーにマッチしたAI画像、動的なナレーション、智能的な字幕を自動的に作成できます。
AI画像生成:Story Flicksは画像生成技術を活用し、物語のシーンやキャラクターに生き生きとした視覚効果を与え、生成された動画コンテンツに強い視覚的魅力をもたらします。
統合オーディオ制作:動的なナレーションが含まれており、ユーザーが別途音声を録音したり素材を探す必要はありません。システムがストーリーコンテンツに基づいて自動的に音声を生成します。
智能的な字幕:字幕を自動的に編集することができ、聴覚障害のあるユーザーが動画内容を理解しやすくするだけでなく、動画のアクセシビリティも向上させます。
技術スタック:バックエンドはPythonとFastAPIを使用し、フロントエンドはReact、Ant Design、Viteを採用することで、システムの高効率かつ安定した動作を確保し、ユーザーに優れた開発体験を提供します。
活用シナリオ:
クリエイティブコンテンツ制作:短編動画博主、セルフメディアネットワークインフルエンサー、マーケティング担当者など、豊富で視覚的なストーリーを迅速に制作して効率を向上させたい方に適しています。
教育とトレーニング:教育業界で大いに活用でき、学習者に直感的な学習素材、例えば教育用の短編動画コンテンツを提供できます。
エンターテインメントと広告:エンターテインメント業界の従事者や広告制作者は、それを活用してプロモーションビデオを迅速に制作できます。
個人利用:一般の個人ユーザーでも、記念動画の制作やストーリーのシェアなどを簡単に行うことができます。
Story Flicksの使い方:

1. 本プロジェクトをダウンロード:
git clone https://github.com/alecm20/story-flicks.git
2. モデル情報を設定する
# 先切换到项目的 backend 目录下 cd backend cp .env.example .env text_provider="openai" # 文本生成模型的提供商,目前支持 openai和 aliyun、deepseek、ollama、siliconflow,阿里云文档:https://www.aliyun.com/product/bailian image_provider="aliyun" # 图片生成模型的提供商,目前支持 openai和 aliyun、siliconflow openai_base_url="https://api.openai.com/v1" # openai 的 baseUrl aliyun_base_url="https://dashscope.aliyuncs.com/compatible-mode/v1" # 阿里云的 baseUrl deepseek_base_url="https://api.deepseek.com/v1" # deepseek 的 baseUrl ollama_base_url="http://localhost:11434/v1" # ollama 的 baseUrl siliconflow_base_url="https://api.siliconflow.cn/v1" # siliconflow 的 baseUrl openai_api_key= # openai 的 api key,可以只填一个 aliyun_api_key= # 阿里云百炼的 api key,可以只填一个 deepseek_api_key= # deepseek 的 api key,目前该 api_key 只支持文本生成 ollama_api_key= # 如果需要使用的话,请填写ollama,目前该 api_key 只支持文本生成,并且不能用参数量太小的模型,推荐qwen2.5:14b 或者更大的模型。 siliconflow_api_key= # siliconflow 的文本模型目前只支持兼容 OpenAI 格式的大模型,如:Qwen/Qwen2.5-7B-Instruct。图像模型只测试了:black-forest-labs/FLUX.1-dev text_llm_model=gpt-4o # 如果 text_provider 设置为 openai,这里只能填 OpenAI 的模型,如:gpt-4o。如果设置了 aliyun,可以填阿里云的大模型,如:qwen-plus 或者 qwen-max。ollama 的模型不能使用体积太小的模型,否则无法输出正确的 json,可以使用如:qwen2.5:14b 或更大的模型。 image_llm_model=flux-dev # 如果 image_provider 设置为 openai,这里只能填 OpenAI 的模型,如:dall-e-3。如果设置了 aliyun,可以填阿里云的大模型,阿里云推荐使用:flux-dev,目前可以免费试用,具体参考:https://help.aliyun.com/zh/model-studio/getting-started/models#a1a9f05a675m4。
3. dockerでプロジェクトを起動する
プロジェクトのルートディレクトリで、以下を実行します:
docker-compose up --build
4. 使い始める
ストーリーテーマを入力する:生成ツールの画面で、テキスト生成モデルのプロバイダー、画像生成モデルのプロバイダー、テキストモデル、画像生成モデル、動画で使用する言語、音声、ストーリーテーマ、ストーリーの段落を選択します。
動画生成:生成ボタンをクリックすると、システムがAI技術に基づいて処理を行い、数秒で最終的な動画を生成します。
関連情報:
脚本プランナー▸
AIアプリ
AIニュース