Jellyfish AI Short Drama Factory : du découpage du scénario au storyboard, assets, génération et montage — tout-en-un 114

Jellyfish ai短剧工厂est un outil de production de courts-métrages IA open source développé par le développeur Forget-C sur GitHub, l'adresse du projet est https://github.com/Forget-C/Jellyfish. Selon la description officielle, il s'agit d'une station de travail de production de courts-métrages IA de bout en bout, couvrant l'ensemble du processus, depuis la saisie du scénario jusqu'au storyboard structuré, la gestion de la cohérence des personnages, la préparation des plans, la vidéo génération et l'exportation du film fini.

En juillet 2026, ce projet avait obtenu 5,5k étoiles et plus de 960 forks sur GitHub. Environ deux semaines après sa mise en ligne, le nombre d'étoiles était passé à 1,7K, et les discussions au sein de la communauté étaient plutôt bonnes. Le projet utilise la licence Apache-2.0, est entièrement open source et gratuit, et prend en charge le déploiement local et le développement secondaire.

Fonctionnalités principales de Jellyfish

• Compréhension du scénario et découpage en plans : Jellyfish peut automatiquement découper le script par chapitres en séquences de plans, tout en extrayant les informations clés telles que les personnages, les scènes, les accessoires, les costumes et les dialogues. Il prend également en charge l'optimisation, la simplification et la vérification de cohérence du scénario, ainsi que des analyses ciblées sur les portraits de personnages ou les détails des scènes.

• Flux de travail de préparation et de confirmation des plans : son flux de travail principal se résume大致 à : découpage du script → préparation des plans → confirmation des candidats → plans prêts → espace de génération. Le système extrait automatiquement les propositions de plans candidats ; l'utilisateur peut choisir d'accepter ou d'ignorer certains contenus candidats, relier manuellement les personnages, scènes, accessoires et costumes existants, et corriger les informations de base au niveau du plan. Chaque plan est accompagné d'un marqueur « état de préparation » permettant de déterminer s'il peut être généré.

• Cohérence et réutilisation des assets : c'est une fonctionnalité assez distinctive de Jellyfish. Le système gère un modèle d'entités partagé couvrant quatre grandes catégories : personnages/acteurs, scènes, accessoires et costumes. Tous les assets peuvent être réutilisés entre différents plans, ce qui permet de résoudre dans une certaine mesure les problèmes courants dans les vidéos IA tels que le changement de visage des personnages, la dérive des scènes et les anachronismes d'accessoires.

• Orchestration d'images et de vidéos au niveau du plan : une fois le plan passé à l'état « prêt », l'espace de génération prend en charge la gestion des images clés et des images de référence, l'aperçu des invites vidéo au niveau du plan, le lancement de tâches de génération d'images et de génération vidéo, ainsi que les pré-vérifications par plan et en lot. Les résultats générés sont automatiquement réinjectés dans le système de plans ou de médias.

• Centre de tâches asynchrones unifié : la génération vidéo étant généralement assez longue, Jellyfish intègre toutes les tâches de traitement de texte, de génération d'images et de génération vidéo dans un système de tâches asynchrones unifié. Il prend en charge le suivi d'état, l'affichage de la progression et de la durée, l'annulation et la reprise des tâches, et permet également de跳转 directement depuis le centre de tâches vers le projet ou le contexte du plan correspondant.

• Modèles, invites et infrastructure de génération : prise en charge de plusieurs fournisseurs et gestion multi-modèles, possibilité de définir des modèles par défaut par catégorie, gestion des modèles d'invites, gestion des fichiers et des médias générés, ainsi qu'un contrat frontend/backend basé sur OpenAPI. Côté texte, il peut se connecter à des grands modèles linguistiques tels qu'OpenAI et Claude ; côté vidéo, il peut se connecter à des services tels que Kling, Runway, Luma, etc.

Architecture technique de Jellyfish

• Frontend : React + TypeScript + Vite

• Backend : FastAPI (Python)

• Base de données : MySQL

• Cache/File d'attente : Redis

• Stockage d'objets : RustFS (compatible S3)

• Déploiement : Docker Compose

Les requêtes et les types du frontend du projet sont générés automatiquement à partir de la spécification OpenAPI du backend, ce qui garantit dans une certaine mesure la cohérence des interfaces frontend-backend.

Cas d'utilisation de Jellyfish

• Selon la documentation officielle et les retours de la communauté, les cas d'utilisation de Jellyfish sont大致 les suivants :

• Créateurs de courts-métrages/micro-séries : production rapide de films finis, réduction des coûts d'outillage

• Studios de cinéma IA : production en masse de courts-métrages, unification des normes de création

• Créateurs individuels : pas besoin d'apprendre plusieurs outils, possibilité d'entrer à moindre coût

• Équipes d'éducation et de formation : création rapide de micro-vidéos pédagogiques

• Équipes marque et e-commerce : production de vidéos promotionnelles produits narratives

Five. Avantages et inconvénients

Avantages :

• Open source et gratuit, licence Apache-2.0, code entièrement ouvert

• Grâce à la gestion centralisée des assets, permet de résoudre dans une certaine mesure le problème de « dérive » des personnages

• Réalisation de bout en bout, du scénario au film fini, sans avoir à basculer entre plusieurs outils

• Le flux de travail suit le模式 « candidats → confirmation → génération », l'IA étant chargée des candidats et l'homme du jugement

• Le système de tâches asynchrones prend en charge le suivi d'état, l'annulation et la reprise des tâches de génération de longue durée

• Prise en charge de l'accès à plusieurs modèles, évolutivité correcte

Inconvénients :

• Le déploiement local nécessite une certaine base technique ; il n'existe pas encore de package d'installation一键

• Le projet est encore en itération rapide, la chaîne de rendu des plans principaux n'est pas encore totalement stable

• L'outil ne fournit pas lui-même de puissance de calcul ; il faut préparer ses propres clés API pour chaque modèle

• La qualité finale de la génération dépend du modèle de génération vidéo接入

Six. Tutoriel d'utilisation

Déploiement rapide

git clone https://github.com/Forget-C/Jellyfish.git
cd Jellyfish
cp deploy/compose/.env.example deploy/compose/.env
docker compose --env-file deploy/compose/.env -f deploy/compose/docker-compose.yml up --build

Ports de service après démarrage :

Frontend : http://localhost:7788

Backend : http://localhost:8000 (/docs permet de consulter la documentation Swagger)

MySQL : localhost:3306

Redis : localhost:6379

RustFS : http://localhost:9000

Développement local

Backend :

cd backend
cp .env.example .env
uv sync
uv run uvicorn app.main:app --reload --host 0.0.0.0 --port 8000

Frontend :

cd front
pnpm install
pnpm dev

Si le frontend signale une erreur d'interface, vous pouvez synchroniser les types OpenAPI :

cd front
pnpm run openapi:update

Étapes du flux de travail

Comparaison de Jellyfish avec ses concurrents

Voici une comparaison de quelques outils open source similaires sur GitHub :

Pourquoi choisir Jellyfish

• Jellyfish résout un problème concret : la « dérive » des personnages dans les vidéos IA. Grâce à une gestion centralisée des actifs, il est plus contrôlable que les outils de génération vidéo classiques

• Il couvre l'intégralité du processus, du scénario au produit final. Ce n'est pas un simple générateur de fragments, mais un atelier complet

• La conception du flux de travail est pragmatique : l'IA propose des options, l'humain prend la décision finale, évitant ainsi les problèmes d'imprévisibilité d'une « génération entièrement automatique »

• Open source et gratuit, avec traitement des données en local, un point important pour les équipes soucieuses de la confidentialité des données

• Possibilité d'ajuster plan par plan des paramètres tels que le cadrage, l'angle et le mouvement de caméra, offrant un meilleur contrôle que les outils classiques

• Stack technique basée sur FastAPI + React + MySQL + Redis, mature et facilitant le développement secondaire

Questions fréquentes

Q1 : Jellyfish est-il payant ?

Gratuit, sous licence open source Apache-2.0.

Q2 : Peut-il générer directement des vidéos ?

Jellyfish ne fournit pas de puissance de calcul ; vous devez vous-même préparer les clés API des différents modèles (par exemple OpenAI, Claude, Kling, Runway, etc.).

Q3 : Les exigences matérielles sont-elles élevées ?

Pour un déploiement local, un GPU est recommandé. Il n'existe actuellement pas de pack d'installation en un clic, et certaines bases techniques sont nécessaires.

Q4 : Le chinois est-il pris en charge ?

Les scripts en chinois simplifié et en anglais sont pris en charge.

Q5 : Est-il utilisable à des fins commerciales ?

Oui. La licence Apache-2.0 autorise l'usage commercial. Toutefois, les règles relatives aux droits d'auteur et à la monétisation des contenus générés par IA évoluent encore sur certaines plateformes, il convient d'être prudent.

Q6 : Quel est le niveau de maturité du projet ?

Il en est encore à une phase d'itération rapide ; la chaîne principale de rendu du storyboard n'est pas encore totalement stable. Il convient davantage aux équipes techniques prêtes à expérimenter pour un premier essai.

Q7 : Comment gérer les erreurs de l'interface front-end ?

Après une modification de l'API backend, exécutez pnpm run openapi:update dans le répertoire front pour synchroniser.