Assistant scénario▸ 
Apps AI 
Actualités AI 
CineMaster : framework de génération texte-vers-vidéo avec perception 3D et contrôlable, publié par Kuaishou
CineMaster : framework de génération texte-vers-vidéo avec perception 3D et contrôlable, publié par KuaishouIntroduction
CineMaster est un nouveau cadre de génération de texte vers vidéo récemment publié par Kuaishou. Il s'agit d'un cadre de génération de texte vers vidéo avec perception 3D et contrôlable, développé conjointement par l'Université de technologie de Dalian, l'Université chinoise de Hong Kong et Kuaishou Technology. CineMaster permet aux utilisateurs de disposer d'une capacité de création comparable à celle d'un réalisateur professionnel, capable de placer précisément les objets dans la scène, de manipuler librement les objets et la caméra dans l'espace 3D, et de concevoir intuitivement la disposition de chaque image. Il est considéré comme le ControlNet de la vidéo.
CineMaster permet aux utilisateurs de contrôler avec précision la position des objets et les mouvements de caméra grâce à plusieurs signaux de contrôle, optimisant ainsi la flexibilité et la précision de la génération vidéo.
Autrement dit, CineMaster permet aux utilisateurs de saisir des signaux de contrôle tels que des cartes de profondeur, des trajectoires de caméra et des étiquettes d'objets, afin de mieux concrétiser leurs idées créatives lors de la génération de vidéos. Il peut être appliqué dans des domaines tels que la production d'animations, le développement de jeux vidéo, ainsi que d'autres domaines nécessitant un contrôle précis des éléments visuels.
Principales fonctionnalités de CineMaster :
Placement précis des objets dans la scène : les utilisateurs peuvent ajuster librement la position des objets et les mouvements de la caméra dans l'espace 3D, permettant une génération vidéo hautement contrôlable.
Conception intuitive de la mise en page de chaque image : grâce à une interface interactive, les utilisateurs peuvent prévisualiser en temps réel le rendu et optimiser progressivement chaque image de la vidéo.
Génération de vidéos basée sur des signaux conditionnels : en utilisant des cartes de profondeur, des trajectoires de caméra et des étiquettes de catégories d'objets, le modèle de diffusion est guidé pour générer du contenu vidéo conforme aux intentions de conception de l'utilisateur.
Introduction d'un module d'injection de mise en page sémantique et d'un adaptateur de caméra : garantit que le contenu vidéo produit est conforme aux intentions de conception 3D de l'utilisateur, tant sur le plan sémantique que visuel, et prend en charge les mouvements de caméra complexes.
Points forts de CineMaster :
Flux de travail en deux étapes : la première étape construit les signaux de contrôle à perception 3D, la seconde étape génère la vidéo à partir des signaux conditionnels.
Réseau de contrôle de mise en page sémantique : combine la mise en page spatiale 3D et les informations sémantiques pour contrôler précisément la position de chaque entité.
Adaptateur de caméra : injecte la pose de la caméra dans le processus de génération via des connexions résiduelles, prenant en charge les mouvements de caméra complexes.
Technologie de CineMaster :
Pipeline automatisé d'annotation des données : comprend la segmentation d'instances, l'estimation de profondeur, le calcul de nuages de points 3D et de boîtes englobantes, le suivi d'entités et l'ajustement des boîtes englobantes 3D.
Expériences et résultats : dans trois scénarios typiques, les performances de CineMaster dépassent largement les méthodes SOTA existantes, permettant un contrôle précis des objets et des mouvements de caméra.
Applications de CineMaster :
Vidéos créatives : aide les créateurs à produire des œuvres vidéo plus personnalisées.
Publicité et promotion : fournit des outils précis et innovants pour la production de vidéos publicitaires.
Éducation et formation : améliore l'attrait des contenus éducatifs grâce à des modèles 3D et des scènes d'animation.
Production cinématographique : offre de nouvelles technologies de production pour les contenus cinématographiques et télévisuels.
CineMaster a un impact significatif dans de nombreux domaines tels que la création de contenu, la production publicitaire, les effets spéciaux cinématographiques et l'éducation en ligne, permettant aux utilisateurs non professionnels de créer des vidéos ayant des effets visuels de qualité cinématographique.
Adresse du projet :https://cinemaster-dev.github.io/
