MMStoryAgent：上海交通大学とアリババが公開したオープンソースのマルチモーダルAI物語生成システム 187

MM-StoryAgentとは？

MM-StoryAgentは、上海交通大学とアリババがオープンソース化したAIマルチモーダル物語生成システムで、マルチエージェントパラダイムを採用しており、没入型のオーディオ付き絵本動画を生成できます。テキスト、画像、オーディオなど多様な要素を融合し、大規模言語モデルといくつかの専用ツールを活用して、テキスト、画像、マルチチャンネルオーディオ（ナレーション、音響効果、背景音楽）を含む物語動画を自動的に生成します。児童向け物語の迅速な制作に利用できます。

MM-StoryAgentの機能と特徴

• 高品質な物語の創作：入力された物語設定に基づき、マルチエージェント・多段階のプロセスで物語を創作します。トップダウンでドラフトを構想し、ボトムアップで素材を生成する方式を採用し、手動での介入、シーン構成、物語の一貫性などの問題を解決します。

• マルチモーダルコンテンツの生成：テキスト、画像、音声、音楽などのモダリティを組み合わせて、没入型の物語動画を生成します。タスクを分解して異なる専門「エージェント」に割り当て、例えば物語デザイン、絵コンテ生成、動画作成などを担当させ、専門的な制作プロセスを模擬します。

• カスタマイズ可能なワークフローのサポート：信頼性が高くカスタマイズ可能なワークフローを提供し、ユーザーは設定ファイルなどを通じてエージェントの動作をカスタマイズしたり、独自の専用ツールを定義して各コンポーネントの生成品質を向上させたりできます。

• キャラクターの一貫性の強化：生成プロセスにおいてキャラクターとテーマの一貫性を重視しています。カスタマイズされた画像から動画への変換手法と新しい絵コンテ生成プロセスを採用し、ショット間の被写体の一貫性を保証します。

• 自動化と柔軟性：大規模言語モデルと専用ツールを活用することで、シンプルなプロンプトを自動的にマルチモーダルデジタルストーリーに変換でき、参考動画なしで一貫したコンテンツを生成できます。

• 評価と最適化が容易：物語のテーマリストと評価基準を提供し、ユーザーが生成された物語の品質を評価して改善することが容易になります。

MM-StoryAgentの中核技術

• マルチエージェントフレームワークの動作メカニズム：多段階の執筆プロセスとマルチエージェントの協働により物語を創作し、視覚、聴覚、物語の要素を統合して、全方位的な感覚体験を提供します。

• カスタマイズされた画像から動画への変換手法：LoRA-BEというカスタマイズされた画像から動画への変換手法を導入し、ショット内の時間的一貫性を強化し、動画の視覚品質を向上させます。

MM-StoryAgentの使用方法

1. ソースコードの取得：MM_StoryAgentのGitHubリポジトリ（下記のリンク参照）にアクセスし、ソースコードをダウンロードします。

2. 依存関係のインストール：プロジェクトのドキュメントに従って、Pythonライブラリなど必要なソフトウェアパッケージをインストールします。

3. 環境の設定：開発環境を設定し、依存関係が正しくインストールされていることを確認します。環境変数の設定が必要な場合もあります。

4. 入力データの準備：物語の設定、キャラクターの説明、シーン情報など、物語創作用のデータを準備します。

5. 生成プロセスの実行：提供されているスクリプトまたはコマンドラインツールを使用して生成プロセスを起動し、入力データやパラメータを指定することで物語をカスタマイズできます。

6. 評価結果の確認：生成された動画形式の物語出力を確認し、品質と効果を評価して、必要に応じて調整します。

7. 最適化の反復：評価結果に基づいて入力データやパラメータを調整し、生成プロセスを再実行して物語の内容と表現力を最適化します。

GitHubリポジトリ：https://github.com/X-PLUG/MM_StoryAgent