LumenX Studio: AlibabaオープンソースのAIショートドラマ総合制作プラットフォーム 197

LumenX Studio 紹介

LumenX Studio は、Alibaba がオープンソース化した ai 短編コミック動画制作プラットフォームで、StarLotus（星蓮）が主導して開発・保守を行っています。小説のテキストを動的な動画に変換でき、脚本分析、キャラクターカスタマイズ、絵コンテ作成から動画合成までの完全な制作チェーンをカバーしています。ローカルデプロイに対応し、MIT ライセンスでオープンソース化されています。

LumenX Studioのインターフェーススクリーンショット

コア機能

• 脚本分析：LLM に基づき、キャラクター、シーン、小道具を自動で抽出し、プロフェッショナルな絵コンテスクリプトを生成

• アートディレクション：カスタム視覚スタイルをサポートし、作品全体の画風を統一

• ビジュアル絵コンテ：ドラッグ＆ドロップ式の絵コンテエディタで、人物、背景、エフェクトを WYSIWYG で組み合わせ

• マルチモーダル生成：Tongyi Wanx（通義万相）などのモデルを統合し、テキストから画像生成、画像から動画生成をサポート

• スマートオーディオビジュアル合成：キャラクターのナレーション（TTS）、効果音（SFX）を自動生成し、最終動画を合成

LumenX Studio 完全制作チェーン

プラットフォームは以下の完全なプロセスを統合しています：

アセット抽出 → スタイル設定 → アセット生成 → 絵コンテスクリプト構築 → 絵コンテ画像生成 → 絵コンテ動画生成

具体的なプロセス：

1. 脚本編集とエンティティ抽出：左側の脚本エディタで「实体を抽出」をクリックし、Qwen-Plus がキャラクター、シーン、小道具を自動で抽出

2. スタイル設定：Qwen-Plus で脚本に適したスタイルを分析、またはプリセットスタイル（正方向/負方向のプロンプトで構成）を使用

3. アセット生成：キャラクターには背景なしの全身図、三面図、肖像クローズアップを生成；シーンと小道具には参考画像または参考動画を生成

4. 絵コンテ画像ストーリーボード：スクリプトから絵コンテスクリプトを抽出し、二次編集をサポート、AI プロンプトによる修飾も可能

5. 絵コンテ動画生成：ファーストフレーム駆動（i2v）とキャラクター動作駆動（r2v）の2つのモードをサポート、複数 Batch のガチャに対応

6. 絵コンテ動画連結：最適な絵コンテ動画を審査・選択し、ワンクリックで本編に連結

LumenX Studio 技術アーキテクチャ

• フロントエンド：Next.js 14 + React 18 + TypeScript + Tailwind CSS

• バックエンド：FastAPI + Python 3.11+

• AI コア：Alibaba Cloud Qwen（論理）+ Wanx（視覚）

• レンダリング：Three.js（Canvas）+ FFmpeg（動画処理）

モデル連携と実行モード

モデル連携のワークフローを内蔵し、新規モデルの連携、バージョン更新、パラメータ調整をサポート。ローカルファースト（local-first）のメディア保存ロジックを採用。4つの実行モードをサポート：

• DashScope-only（OSS なし）

• DashScope + OSS

• DashScope + Kling 本家

• DashScope + Vidu 本家

LumenX Studio vs Toonflow vs 火宝短劇

オープンソース情報

GitHub リポジトリ：https://github.com/alibaba/lumenx

ライセンス：MIT License

開発ポート：フロントエンドはデフォルトで 3008、バックエンドは 8000

連絡先：GitHub Issues / Discussions、メール [email protected]

関連情報：

AI短編ドラマ創作プラットフォーム

AI漫画ドラマ制作ツール

AI漫画ドラマの制作フローとツール完全解説