LumenX Studio: открытая AI-платформа Alibaba для создания коротких комикс-сериалов 195

Открытая AI-платформа Alibaba для создания коротких комикс-сериалов: преобразует текст романа в динамичное видео, объединяя весь творческий конвейер — от анализа сценария и настройки персонажей до раскадровки и финального монтажа.

#Ai工具箱 #Ai开源项目

Перейти LumenX Studio: открытая AI-платформа Alibaba для создания коротких комикс-сериалов

LumenX Studio: открытая AI-платформа Alibaba для создания коротких комикс-сериаловОписание

Введение в LumenX Studio

LumenX Studio — это платформа для производства короткометражных аниме-сериалов на основе ИИ, открытая компанией Alibaba. Разработкой и поддержкой занимается StarLotus (星莲). Она способна преобразовывать текст художественной литературы в динамическое видео, охватывая полный цикл创作: от анализа сценария, создания персонажей, рисования раскадровки до финального монтажа видео. Поддерживается локальное развёртывание, проект распространяется под лицензией MIT.

Скриншот интерфейса LumenX Studio

Основные функции

Анализ сценария: автоматическое извлечение персонажей, сцен и реквизита на основе LLM с генерацией профессионального сценарного плана
Художественное руководство: поддержка пользовательского визуального стиля, обеспечивающая единообразие стилистики всего произведения
Визуальная раскадровка: drag-and-drop редактор раскадровки с режимом WYSIWYG для组合 персонажей, фонов и спецэффектов
Мультимодальная генерация: интеграция моделей Tongyi Wanxiang (通义万相) и других, поддержка генерации изображений по тексту и видео по изображению
Интеллектуальный аудиовизуальный синтез: автоматическая генерация озвучки персонажей (TTS), звуковых эффектов (SFX) и финальный монтаж видео

Полный创作流程 LumenX Studio

Платформа объединяет следующий полный процесс:

Извлечение ассетов → Определение стиля → Генерация ассетов → Построение сценария раскадровки → Генерация изображений раскадровки → Генерация видео раскадровки

Подробный процесс:

Редактирование сценария и извлечение сущностей: нажмите «Извлечь сущности» в левом редакторе сценария, Qwen-Plus автоматически извлечёт персонажей, сцены и реквизит
Определение стиля: Qwen-Plus анализирует подходящий стиль сценария, либо используются预设 стили (состоящие из позитивных/негативных промптов)
Генерация ассетов: для персонажей — полноразмерные изображения без фона, три вида ракурса, портретные снимки; для сцен и реквизита — референсные изображения или видео
Сториборд раскадровки: извлечение сценарного плана на основе сценария с возможностью повторного редактирования и доработки промптами ИИ
Генерация видео раскадровки: поддержка двух режимов — управление через первый кадр (i2v) и управление через动作 персонажа (r2v), с возможностью множественных Batch-попыток
Сборка видео раскадровки: проверка и выбор лучших видео раскадровки,一键 сборка в成品

Техническая архитектура LumenX Studio

Фронтенд: Next.js 14 + React 18 + TypeScript + Tailwind CSS
Бэкенд: FastAPI + Python 3.11+
ИИ-ядро: Alibaba Cloud Qwen (логика) + Wanx (визуал)
Рендеринг: Three.js (Canvas) + FFmpeg (обработка видео)

Интеграция моделей и режимы работы

Встроен рабочий процесс интеграции моделей, поддерживающий подключение новых моделей, обновление версий и настройку параметров. Применяется логика хранения медиа local-first. Поддерживаются четыре режима работы:

Только DashScope (без OSS)
DashScope + OSS
DashScope + оригинальный Kling
DashScope + оригинальный Vidu

Скриншот интерфейса LumenX Studio

LumenX Studio в сравнении с Toonflow и 火宝短剧 (Huobao Drama)

Сравниваемый аспект	LumenX Studio	Toonflow	火宝短剧 (Drama)
Разработчик	Alibaba / StarLotus (星莲)	HBAI-Ltd	chatfire-AI
GitHub	alibaba/lumenx	HBAI-Ltd/Toonflow-app	chatfire-AI/huobao-drama
Основное позиционирование	Универсальная платформа для производства AI короткометражных аниме-сериалов	AI-рабочее место для производства коротких сериалов	Полнофункциональная платформа автоматизированного производства AI коротких сериалов
Технологический стек	Next.js + FastAPI + Python + Qwen/Wanx	Node.js + Express + Electron	Go + Vue3 + Gin
Лицензия	MIT	Apache-2.0	Открытый исходный код
Основной рабочий процесс	Извлечение ассетов → Определение стиля → Генерация ассетов → Сценарий раскадровки → Изображения раскадровки → Видео раскадровки	Планирование → Сценарий → Раскадровка → Финальный ролик (бесконечный холст)
Консистентность персонажей	Генерация полноразмерных изображений без фона, трёх видов, портретов для фиксации ассета	Граф событий глав + персистентная память агентов	Генерация персонажей в едином стиле AI-рисованием
Обработка сценария/раскадровки	Автоматическое извлечение сущностей LLM + визуальный drag-and-drop редактор раскадровки	Трёхуровневое взаимодействие агентов (принятие решений/исполнение/надзор) + управление через граф событий	Интеллектуальный дизайн раскадровки (описание сцен, дизайн кадров, сопутствующие изображения)
Генерация видео	Управление через первый кадр (i2v) + управление через动作 персонажа (r2v), с поддержкой множественных Batch-попыток	Интеграция GPT-4o, Sora, Doubao Video, Nano Banana Pro и др.	Генерация видео по тексту + генерация видео по изображению
Обработка аудио	Автоматическая генерация озвучки TTS + звуковые эффекты SFX	Не указано	Не указано
Способ развёртывания	Локальное развёртывание (фронтенд 3008/бэкенд 8000), поддержка Docker	Установочные пакеты для Windows/Linux/macOS, Docker, облако	Docker Compose (рекомендуется), режим разработки, классическое развёртывание
Сложность развёртывания	Средняя	Низкая	Низкая
Особенности	Локальное хранение медиа по принципу local-first; интеграция моделей на уровне репозитория; выбор режимов DashScope/Kling/Vidu	Бесконечный холст для производства; программируемая система поставщиков; файловое конфигурирование Skill;批量 производство сотен серий	DDD-архитектура с управлением по доменам;生成 короткого сериала по одной фразе; библиотека素材 + отслеживание задач
Сценарии применения	Пользователи экосистемы Alibaba, потребность в гибком переключении между моделями, локальное хранение по приоритету	Массовое производство рекламных роликов по книгамд>	Быстрый старт, комплексная автоматизация, дружественное к Китаю лёгкое развёртывание