LumenX Studio: 알리바바가 오픈소스로 공개한 AI 단편 만화극 원스톱 제작 플랫폼 202

LumenX Studio 소개

LumenX Studio는 알리바바(Alibaba)가 오픈소스로 공개한 ai 단편 만화 드라마 제작 플랫폼으로, StarLotus(星莲)가 주도적으로 개발 및 유지 보수를 담당하고 있습니다. 소설 텍스트를 동적인 영상으로 변환할 수 있으며, 대본 분석, 캐릭터 커스터마이징, 스토리보드 작성부터 영상 합성에 이르는 전체 창작 체인을 지원합니다. 로컬 배포를 지원하며, MIT 라이선스로 오픈소스화되어 있습니다.

LumenX Studio 인터페이스 스크린샷

핵심 기능

• 대본 분석: LLM 기반으로 캐릭터, 장면, 소품을 자동으로 추출하여 전문적인 스토리보드 스크립트를 생성

• 아트 디렉션: 사용자 지정 비주얼 스타일을 지원하여 전체 영상의 화풍을 일관되게 유지

• 시각적 스토리보드: 드래그 앤 드롭 방식의 스토리보드 편집기로 인물, 배경, 효과를 WYSIWYG 방식으로 조합

• 멀티모달 생성: 通义万相(Wanx) 등 모델을 통합하여 텍스트-이미지 생성, 이미지-영상 변환 지원

• 지능형 시청각 합성: 캐릭터 더빙(TTS), 음향 효과(SFX)를 자동 생성하고 최종 영상을 합성

LumenX Studio 완전한 창작 체인

플랫폼은 다음과 같은 완전한 프로세스를 통합합니다:

자산 추출 → 스타일 결정 → 자산 생성 → 스토리보드 구성 → 스토리보드 이미지 생성 → 스토리보드 영상 생성

구체적인 프로세스:

1. 대본 편집 및 엔티티 추출: 왼쪽 대본 편집기에서 "엔티티 추출"을 클릭하면 Qwen-Plus가 캐릭터, 장면, 소품을 자동으로 추출

2. 스타일 결정: Qwen-Plus로 대본에 적합한 스타일을 분석하거나, 사전 설정된 스타일(정방향/부방향 프롬프트로 구성)을 사용

3. 자산 생성: 캐릭터에 대해 배경 없는 전신, 3면도, 아바타 클로즈업을 생성하고, 장면 및 소품에 대해서는 참조 이미지 또는 참고 영상을 생성

4. 스토리보드 이미지 스토리보드: 스크립트 기반으로 스토리보드를 추출하고, 2차 편집 및 AI 프롬프트 다듬기를 지원

5. 스토리보드 영상 생성: 첫 프레임 기반(i2v)과 캐릭터 모션 기반(r2v) 두 가지 모드를 지원하며, 다중 Batch 카드 뽑기를 지원

6. 스토리보드 영상 연결: 최적의 스토리보드 영상을 검토 및 선택하여 원클릭으로 영상을 연결

LumenX Studio 기술 아키텍처

• 프론트엔드: Next.js 14 + React 18 + TypeScript + Tailwind CSS

• 백엔드: FastAPI + Python 3.11+

• AI 코어: 알리바바 클라우드 Qwen(로직) + Wanx(비주얼)

• 렌더링: Three.js(Canvas) + FFmpeg(영상 처리)

모델 연동 및 실행 모드

모델 연동 워크플로우가 내장되어 있어, 새로운 모델 연동, 버전 업데이트, 파라미터 조정을 지원합니다. 로컬 우선(local-first) 미디어 저장 엔진을 채택했습니다. 4가지 실행 모드를 지원합니다:

• DashScope 전용(OSS 없음)

• DashScope + OSS

• DashScope + Kling 정식

• DashScope + Vidu 정식

LumenX Studio vs Toonflow vs 화바오단순(Drama)

오픈 소스 정보

GitHub 저장소: https://github.com/alibaba/lumenx

라이선스: MIT License

개발 포트: 프런트엔드 기본 3008, 백엔드 8000

연락처: GitHub Issues / Discussions, 이메일 [email protected]

관련 정보:

AI 단편 드라마 제작 플랫폼

AI 만화 드라마 제작 도구

AI 만화 드라마 제작 프로세스 및 도구 종합 분석