Story Flicks – HDストーリー短動画を生成するオープンソースAIツール

Story Flicks – HDストーリー短動画を生成するオープンソースAIツール 140

AI大規模モデルベースのオープンソースストーリー短動画生成ツール。ユーザーがストーリーテーマを入力するだけで、AI生成の画像・ストーリー・音声を含む動画を素早く生成できる。

#Ai工具箱 #Ai视频生成

Story Flicks – HDストーリー短動画を生成するオープンソースAIツール紹介

Story Flicksは、AI大規模モデルに基づくオープンソースのストーリー短編動画生成ツールです。先進的な言語モデルと画像生成技術を融合させ、入力されたストーリーテーマに基づいて、AI生成画像、ストーリーコンテンツ、オーディオを含む動画を迅速に生成します。主にワンクリックでHD短編動画を生成するサービスを提供しており、視覚的なコンテンツを素早く制作したいクリエイター、教育者、マーケティング担当者などに最適です。

Story Flicks.webp

主な機能:

  • スマート生成:ユーザーがストーリーテーマやキーワードを入力するだけで、システムが対応する短編動画を自動的に生成し、短時間で複数のクリエイティブな結果を出力できます。

  • 多言語サポート:Story Flicksは複数の言語をサポートしており、ユーザーは自身のニーズに合わせて適切な言語を選択してコンテンツを生成でき、利便性と柔軟性が向上します。

  • 画像と音声の組み合わせ:Story Flicksはテキストコンテンツやストーリーの筋書きを生成するだけでなく、AI生成画像や効果音を動画に追加することもでき、全体の視聴体験を向上させます。

  • マルチモーダル生成:Story Flicksは大規模言語モデル(LLM)を通じて智能的に解析し、物語の枠組みを総合的に構築すると同時に、視覚、聴覚、テキスト要素を融合させます。つまり、テキストストーリーを生成できるだけでなく、ストーリーにマッチしたAI画像、動的なナレーション、智能的な字幕を自動的に作成できます。

  • AI画像生成:Story Flicksは画像生成技術を活用し、物語のシーンやキャラクターに生き生きとした視覚効果を与え、生成された動画コンテンツに強い視覚的魅力をもたらします。

  • 統合オーディオ制作:動的なナレーションが含まれており、ユーザーが別途音声を録音したり素材を探す必要はありません。システムがストーリーコンテンツに基づいて自動的に音声を生成します。

  • 智能的な字幕:字幕を自動的に編集することができ、聴覚障害のあるユーザーが動画内容を理解しやすくするだけでなく、動画のアクセシビリティも向上させます。

  • 技術スタック:バックエンドはPythonとFastAPIを使用し、フロントエンドはReact、Ant Design、Viteを採用することで、システムの高効率かつ安定した動作を確保し、ユーザーに優れた開発体験を提供します。

活用シナリオ:

  • クリエイティブコンテンツ制作:短編動画博主、セルフメディアネットワークインフルエンサー、マーケティング担当者など、豊富で視覚的なストーリーを迅速に制作して効率を向上させたい方に適しています。

  • 教育とトレーニング:教育業界で大いに活用でき、学習者に直感的な学習素材、例えば教育用の短編動画コンテンツを提供できます。

  • エンターテインメントと広告:エンターテインメント業界の従事者や広告制作者は、それを活用してプロモーションビデオを迅速に制作できます。

  • 個人利用:一般の個人ユーザーでも、記念動画の制作やストーリーのシェアなどを簡単に行うことができます。

Story Flicksの使い方:

Story Flicksの使い方.webp

1. 本プロジェクトをダウンロード:

git clone https://github.com/alecm20/story-flicks.git

2. モデル情報を設定する

# 先切换到项目的 backend 目录下
cd backend
cp .env.example .env
text_provider="openai"    # 文本生成模型的提供商,目前支持 openai和 aliyun、deepseek、ollama、siliconflow,阿里云文档:https://www.aliyun.com/product/bailian
image_provider="aliyun"   # 图片生成模型的提供商,目前支持 openai和 aliyun、siliconflow
openai_base_url="https://api.openai.com/v1" # openai 的 baseUrl
aliyun_base_url="https://dashscope.aliyuncs.com/compatible-mode/v1" # 阿里云的 baseUrl
deepseek_base_url="https://api.deepseek.com/v1" # deepseek 的 baseUrl
ollama_base_url="http://localhost:11434/v1" # ollama 的 baseUrl
siliconflow_base_url="https://api.siliconflow.cn/v1" # siliconflow 的 baseUrl
openai_api_key= # openai 的 api key,可以只填一个
aliyun_api_key= # 阿里云百炼的 api key,可以只填一个
deepseek_api_key= # deepseek 的 api key,目前该 api_key 只支持文本生成
ollama_api_key= # 如果需要使用的话,请填写ollama,目前该 api_key 只支持文本生成,并且不能用参数量太小的模型,推荐qwen2.5:14b 或者更大的模型。
siliconflow_api_key= # siliconflow 的文本模型目前只支持兼容 OpenAI 格式的大模型,如:Qwen/Qwen2.5-7B-Instruct。图像模型只测试了:black-forest-labs/FLUX.1-dev
text_llm_model=gpt-4o # 如果 text_provider 设置为 openai,这里只能填 OpenAI 的模型,如:gpt-4o。如果设置了 aliyun,可以填阿里云的大模型,如:qwen-plus 或者 qwen-max。ollama 的模型不能使用体积太小的模型,否则无法输出正确的 json,可以使用如:qwen2.5:14b 或更大的模型。
image_llm_model=flux-dev # 如果 image_provider 设置为 openai,这里只能填 OpenAI 的模型,如:dall-e-3。如果设置了 aliyun,可以填阿里云的大模型,阿里云推荐使用:flux-dev,目前可以免费试用,具体参考:https://help.aliyun.com/zh/model-studio/getting-started/models#a1a9f05a675m4。

3. dockerでプロジェクトを起動する

プロジェクトのルートディレクトリで、以下を実行します:

docker-compose up --build

4. 使い始める

  • ストーリーテーマを入力する:生成ツールの画面で、テキスト生成モデルのプロバイダー、画像生成モデルのプロバイダー、テキストモデル、画像生成モデル、動画で使用する言語、音声、ストーリーテーマ、ストーリーの段落を選択します。

  • 動画生成:生成ボタンをクリックすると、システムがAI技術に基づいて処理を行い、数秒で最終的な動画を生成します。



関連情報:

AI子供向け絵本ツール

AIストーリー生成

Story Flicks – HDストーリー短動画を生成するオープンソースAIツール に関連するツール