VIMI : modèle contrôlable de génération vidéo de personnages 142

VIMI est un grand modèle lancé par SenseTime, le premier produit AIGC au monde de génération de vidéos de personnages contrôlable. Le grand modèle VIMI repose sur la technologie de grand modèle SenseTime Rixin et peut être piloté par divers éléments de commande tels que des vidéos d'actions, des animations, du son et du texte pour animer des images de personnages. La qualité de l'image ne se dégrade pas et ne se déforme pas avec le temps, ce qui permet de générer des vidéos de personnages cohérentes avec les actions souhaitées. En plus de sa contrôlabilité, Vimi repousse également les limites des autres grands modèles d'IA de génération vidéo en matière de stabilité de génération des personnages et de durée de la vidéo, et permet de générer de manière stable des vidéos de personnages en plan séquence d'une durée d'une minute.

Le grand modèle VIMI permet non seulement un contrôle précis des expressions du personnage, mais aussi un contrôle naturel des mouvements du haut du corps du personnage sur la photo, et génère automatiquement des cheveux, des vêtements et des changements d'arrière-plan cohérents avec le personnage. Dans le même temps, les variations de lumière et d'ombre peuvent également être générées de manière réaliste, rendant les mouvements du personnage et les effets visuels fluides et naturels, avec une image harmonieuse et esthétique. C'est un produit stable de génération de vidéos de personnages contrôlable.

Caractéristiques et fonctions du grand modèle VIMI :

• Personnages contrôlables : VIMI permet de contrôler avec précision les expressions du visage et les mouvements du corps du personnage dans la vidéo, en générant un contenu vidéo hautement cohérent avec les actions souhaitées. Qu'il s'agisse de subtiles variations d'expressions du visage ou de mouvements complexes du corps entier, VIMI est capable de les capturer et de les restituer avec précision.

• Méthodes de contrôle multiples : VIMI offre diverses méthodes de saisie de contrôle, notamment des vidéos de personnages, des paramètres d'animation, de la voix et du texte. Cela permet aux utilisateurs de piloter la génération vidéo via différentes méthodes et de produire des vidéos plus riches et plus diversifiées.

• Plan séquence d'une durée d'une minute : prend en charge la génération de vidéos de personnages en plan séquence d'une durée d'une minute.

• Génération de scènes vidéo cohérentes : VIMI ne se concentre pas uniquement sur la performance du personnage, mais est également capable de générer des scènes vidéo cohérentes, y compris le complément d'éléments tels que les cheveux, les vêtements et l'arrière-plan du personnage, ainsi que la prise en charge des variations de lumière et d'ombre. Ainsi, les vidéos générées par VIMI présentent non seulement un personnage naturel, mais aussi une scène entière harmonieuse et unifiée.

• Génération stable de vidéos longues : VIMI est capable de générer des vidéos de personnages en plan séquence pouvant durer jusqu'à une minute, avec une qualité d'image stable qui ne se dégrade pas et ne se déforme pas avec le temps. Il s'agit d'une avancée significative.
  

Scénarios d'application du grand modèle VIMI :

VIMI s'adresse principalement aux utilisateurs grand public et convient à divers scénarios de divertissement interactif tels que la conversation, le chant et la danse.

• Création de divertissement : répond aux besoins de création ludique d'un large éventail d'utilisateurs, comme la génération de jumeaux numériques, de vidéos de style portrait et de divers mèmes d'expressions de personnages amusants.

• Production cinématographique et télévisuelle : fournit du matériel vidéo de personnages de haute qualité pour les œuvres cinématographiques et télévisuelles, réduisant ainsi les coûts et le temps de production.

• Production d'animations : prend en charge les créateurs d'animations dans l'utilisation de squelettes pour générer des mouvements, améliorant ainsi l'efficacité de la production d'animations.

Le grand modèle Vimi a été lancé lors de la Conférence mondiale sur l'intelligence artificielle (WAIC) 2024 et a été sélectionné pour la plus haute distinction de l'exposition, le « Trésor du musée ». Le grand modèle Vimi est capable de générer des vidéos de personnages en plan séquence d'une durée supérieure à une minute, dont la qualité d'image ne se dégrade pas et ne se déforme pas avec le temps. Il peut également ajuster les scènes environnantes en fonction des mouvements du personnage, simuler les changements d'angle de caméra et le flottement des cheveux, offrant ainsi des effets visuels réalistes.

Vimi sera entièrement ouvert à tous les utilisateurs. Il suffit de télécharger des photos haute définition du personnage sous différents angles pour générer automatiquement un jumeau numérique et des courts-métrages de style portrait variés. Pour les amateurs de selfies, Vimi prend en charge divers scénarios de divertissement interactif tels que la conversation, le chant et la danse.