Fogsight : un agent qui génère des animations par la conversation 202

Fogsight est un moteur d'animation open source basé sur les LLM, capable de transformer rapidement des concepts abstraits en animations éducatives ou de vulgarisation scientifique, avec narration bilingue et rendu cinématographique. Il offre également la possibilité d'ajuster les détails via la conversation. Développé en Python 3.9+, il prend en charge le déploiement local et peut s'adapter aux besoins de privatisation des entreprises. Il convient à des scénarios tels que l'éducation, la vulgarisation scientifique et la démonstration de produits.

Fonctionnalités principales

1. Saisir un sujet pour générer directement une animation : par exemple, en saisissant « tri à bulles » ou « loi d'augmentation de l'entropie », Fogsight génère automatiquement une animation éducative complète incluant des voix off en chinois et en anglais, vous évitant ainsi les tracas de la production manuelle.

2. Orchestration entièrement automatisée : les étapes telles que le scénario, les visuels et les effets de transition sont toutes réalisées automatiquement par l'ia, sans que l'utilisateur ait besoin de maîtriser la création d'animations.

3. Ajustement des détails par la conversation : grâce à une interface en langage naturel (LUI), il suffit de dire « ajoute des couleurs » ou « simplifie la narration » pour que l'IA régénère une animation correspondant aux besoins.

Installation et utilisation

Prérequis d'installation : Python 3.9 ou supérieur, un navigateur courant (Chrome/Firefox/Edge), ainsi qu'une clé d'API pour un grand modèle de langage (Google Gemini 2.5 recommandé). En suivant les étapes pour cloner le code, installer les dépendances, configurer la clé et démarrer le service, vous pouvez l'exécuter en local.

Étapes d'utilisation :

1. Saisissez dans l'interface le sujet de l'animation que vous souhaitez générer (par exemple « théorème d'Euler ») ;

2. Le système génère automatiquement un premier brouillon avec narration, script de plans et visuels ;

3. Faites des demandes de modification par la conversation (telles que « ajoute un ralenti » ou « ajuste les couleurs »), et l'IA ajuste en temps réel ;

4. Une fois satisfait de l'aperçu, exportez une vidéo ou intégrez un lien, à utiliser dans des supports de cours, des plateformes sociales ou d'autres scénarios.

Scénarios d'application courants

• Enseignement : un enseignant saisit un concept tel que « intrication quantique » et génère rapidement une animation avec une narration accessible, aidant les élèves à comprendre des connaissances complexes ;

• Vulgarisation scientifique : saisissez un sujet tel que « trou noir » et générez une vidéo de vulgarisation illustrée, adaptée à la diffusion sur les réseaux sociaux ;

• Formation technique : les entreprises l'utilisent pour créer des animations sur des sujets comme « le principe de la blockchain », visualisant ainsi des technologies difficiles à comprendre ;

• Création personnelle : saisissez des mots abstraits tels que « liberté » ou « temps » et générez des animations artistiques pour des vidéos courtes ou des projets artistiques.

Caractéristiques techniques

• Automatisation complète : couvre 12 étapes, dont la génération du scénario et la conception des visuels, sans opération manuelle étape par étape ;

• Entrée multimodale : prend en charge le téléchargement de croquis manuscrits comme référence pour les personnages, ou des descriptions vocales pour ajuster le style ;

• Optimisation intelligente : utilise des algorithmes pour vérifier en temps réel la logique de l'animation et ajoute automatiquement des scènes de transition lorsqu'une rupture narrative est détectée ;

• Styles variés : plus de 200 styles intégrés (tels que l'encre 3D en 2D, le cyberpunk), personnalisables à l'aide de mots-clés.

Avantages et limites

• Avantages : bien plus rapide que la production d'animation traditionnelle (quelques heures contre plusieurs semaines), faible coût, accessible aux non-professionnels, et permet d'ajuster les détails pendant le rendu.

• Limites : la créativité peut être limitée par les données d'entraînement, le traitement des détails corporels pour des actions complexes (telles que les interactions entre plusieurs personnages) n'est pas suffisamment précis, et la génération d'animations de haute qualité nécessite un matériel relativement performant.

Projet open source :https://github.com/fogsightai/fogsight