StoryMem：ByteDanceが开源したAIマルチショット長尺動画生成ツール 103

ByteDanceと南洋理工大学がオープンソース化したAI長尺動画フレームワーク。既存の単一ショット動画拡散モデルをマルチショットの物語生成ツールへと拡張し、ビジュアルメモリバンクを用いて40〜60秒、8〜12ショットの連続したストーリーを生成。キャラクターの外見やシーンのスタイルが一貫して保たれる。

#Ai工具箱 #Ai开源项目

アクセス StoryMem：ByteDanceが开源したAIマルチショット長尺動画生成ツール

StoryMem：ByteDanceが开源したAIマルチショット長尺動画生成ツール紹介

StoryMemはバイトダンスと南洋理工大学がオープンソース化したAIマルチカット長編動画生成ツールで、主にマルチカット動画における登場人物の容姿や映像スタイルの一貫性の問題を解決します。既存のシングルカット動画拡散モデルをマルチカットのストーリー映像生成ツールに改良し、ビジュアルメモリバンクによって、40〜60秒、8〜12カットの連続したストーリーを生成し、キャラクターの見た目やシーンスタイルが乱れないようにします。

技術実装面では、StoryMemはWan2.2モデルをベースとしてファインチューニングを行い、メモリ処理能力を付加しています。生成時には、最初のカットをメモリの起点として作成し、その後の新しいカットはそれぞれ以前のメモリ内容を参照し、メモリバンクを継続的に更新することで、全体の動画の一貫性を保ちます。

StoryMemの主な機能

メモリから動画へ（M2V）：LoRAを使って過去のキーフレームを現在のノイズに注入し、簡単な調整だけで異なるカット間の一貫性を保てます。
動的メモリバンク：最大10枚のキーフレームを保持し、まずCLIPで意味的に選択し、次にHPSv3で美的に優れたものを厳選、自動的に品質の低いフレームを除去します。
3種類の拡張手法：

MI2V：最初のフレーム画像を条件として用い、シーン遷移がよりスムーズに；
MM2V：前5フレームの動きを条件として用い、動きがより自然に；
MR2V：自分の画像をアップロードして初期メモリとして設定でき、主役の顔を指定できます。

出力結果：既存の手法と比較して、一貫性が29%向上し、元のモデルが持つ高画質とプロンプトへの忠実度も維持しています。

StoryMemの活用シーン

マーケティング広告：スクリプトを入力するだけで、複数の動的なストーリーボードを素早く作成でき、A/Bテストに便利です。
映画・映像のプリプロダクション：文字ベースのストーリーボードを直接ビジュアル化でき、企画段階のコストを削減します。
ショート動画 / 個人制作：ハードルの高さを問わず、1分程度の映画のようなショートフィルムを作れます。
教育・企業研修：歴史の再現、科学解説、製品デモなど、ワンクリックで作成できます。

StoryMemの使い方

リポジトリのクローン：
git clone https://github.com/Kevin-thu/StoryMem
依存関係のインストール：
pip install -r requirements.txt
スクリプトの準備：サンプルの通りにマルチカットのプロンプトを作成するか、ST-Benchが提供する300種類のストーリーテンプレートを利用します。
生成の開始：
python inference.py --prompt "あなたのストーリースクリプト" --length 60 --memory_size 10
オプション機能：
シームレスなシーン遷移を行うには --mi2v を追加
主役を自分で指定するには --ref_image path/to/face.jpg --mr2v を追加