LumenX Studio : plateforme open source d'Alibaba pour produire des mini-séries animées par IA 199

Présentation de LumenX Studio

LumenX Studio est une plateforme de production de courts dramatiques mangas ai open source développée par Alibaba, dont le développement et la maintenance sont menés par StarLotus (星莲). Elle permet de transformer des textes de roman en vidéos dynamiques, couvrant l'ensemble de la chaîne de création, de l'analyse du scénario, la personnalisation des personnages, le dessin du storyboard jusqu'à la synthèse vidéo. Elle prend en charge le déploiement local et est open source sous licence MIT.

Capture d'écran de l'interface LumenX Studio

Fonctionnalités principales

• Analyse du scénario : basée sur un LLM, extraction automatique des personnages, scènes et accessoires, et génération d'un script de storyboard professionnel

• Direction artistique : prise en charge de styles visuels personnalisés, maintien de l'uniformité du style graphique tout au long du film

• Storyboard visuel : éditeur de storyboard par glisser-déposer, assemblage WYSIWYG des personnages, arrière-plans et effets spéciaux

• Génération multimodale : intégration de modèles tels que Tongyi Wanxiang (Wanx), prise en charge de la génération texte-vers-image et image-vers-vidéo

• Synthèse audiovisuelle intelligente : génération automatique du doublage des personnages (TTS), des effets sonores (SFX) et synthèse de la vidéo finale

Chaîne de création complète de LumenX Studio

La plateforme intègre le processus complet suivant :

Extraction des assets → Définition du style → Génération des assets → Construction du storyboard → Génération des images du storyboard → Génération des vidéos du storyboard

Processus détaillé :

1. Édition du scénario et extraction des entités : cliquez sur « Extraire les entités » dans l'éditeur de scénario à gauche, Qwen-Plus extrait automatiquement les personnages, scènes et accessoires

2. Définition du style : utilisez Qwen-Plus pour analyser le style adapté au scénario, ou utilisez des styles prédéfinis (composés de prompts positifs/négatifs)

3. Génération des assets : générer des images de personnages en pied sans arrière-plan, des vues à trois angles, des gros plans d'avatar ; générer des images ou vidéos de référence pour les scènes et accessoires

4. Storyboard graphique : extraction du script de storyboard basée sur le scénario, prise en charge de l'édition secondaire et enrichissement possible avec des prompts IA

5. Génération vidéo du storyboard : prise en charge de deux modes, le pilotage par première image (i2v) et le pilotage par mouvement de personnage (r2v), avec prise en charge du tirage multi-batch

6. Assemblage des vidéos du storyboard : examiner et sélectionner les meilleures vidéos de storyboard, assembler le film final en un clic

Architecture technique de LumenX Studio

• Front-end : Next.js 14 + React 18 + TypeScript + Tailwind CSS

• Back-end : FastAPI + Python 3.11+

• Cœur IA : Alibaba Cloud Qwen (logique) + Wanx (vision)

• Rendu : Three.js (Canvas) + FFmpeg (traitement vidéo)

Intégration des modèles et modes d'exécution

Un workflow d'intégration des modèles est intégré, prenant en charge l'ajout de nouveaux modèles, la mise à jour des versions et l'ajustement des paramètres. Une logique de stockage média local-first est adoptée. Quatre modes d'exécution sont pris en charge :

• DashScope uniquement (sans OSS)

• DashScope + OSS

• DashScope + Kling d'origine

• DashScope + Vidu d'origine

LumenX Studio vs Toonflow vs Drama Huobao

Informations Open Source

Dépôt GitHub : https://github.com/alibaba/lumenx

Licence : MIT License

Ports de développement : frontend 3008 par défaut, backend 8000

Contact : GitHub Issues / Discussions, e-mail [email protected]

Actualités associées :

Plateforme de création de courts-métrages IA

Outils de production de BD IA

Analyse complète du processus et des outils de production de BD IA