VASA-1 : transformez vos photos en vidéos 131

Une seule photo de portrait + audio vocal = vidéo parlante surréaliste générée en temps réel, avec une synchronisation labiale précise, des comportements faciaux réalistes et des mouvements naturels de la tête. VASA-1 est une technologie d'intelligence artificielle de pointe développée par Microsoft Research Asia, capable de transformer une seule image statique et un fichier audio vocal en une animation faciale de conversation réaliste. Grâce à une synchronisation précise entre l'audio et les mouvements des lèvres, ainsi qu'à la capture de nombreuses expressions faciales subtiles et de mouvements naturels de la tête, cette technologie permet de générer des vidéos dotées d'expressions riches et dynamiques du visage.

VASA-1 peut combiner une seule image statique avec un fichier audio pour générer une vidéo avec des expressions faciales dynamiques et des mouvements de tête, donnant l'impression que le personnage sur l'image « prend vie ». Cette technologie peut utiliser aussi bien des images de portraits générées par IA que de vraies photos, par exemple celle d'un président américain, pour l'animer et la faire parler.

Principales caractéristiques et fonctions de VASA-1 :

• Synchronisation labiale réaliste : VASA-1 est capable de générer des mouvements de lèvres parfaitement synchronisés avec l'audio vocal d'entrée, offrant un effet de parole extrêmement réaliste.

• Capacité de découplage : VASA-1 peut contrôler indépendamment les mouvements des lèvres, les expressions, la direction du regard et d'autres caractéristiques dynamiques du visage.

• Sécurité et surveillance : la technologie VASA-1 peut également être appliquée dans les domaines de la sécurité et de la surveillance.

• Construction d'un espace latent facial : en construisant un espace latent facial pour générer des expressions faciales dynamiques et des mouvements de tête.

• Haute qualité de génération d'images et rapidité d'exécution : VASA-1 permet d'obtenir un visage parlant en temps réel de manière réaliste, avec une haute qualité de génération d'images et une exécution efficace.

• Marquage des traits du visage assisté par la technologie 3D : Microsoft utilise également la technologie 3D pour aider à marquer les traits du visage et a conçu des fonctions de perte supplémentaires, ce qui permet à VASA-1 non seulement de générer des vidéos faciales de haute qualité, mais aussi de capturer et reproduire efficacement la structure 3D du visage.

Grâce à son architecture avancée d'apprentissage profond et à l'application de multiples technologies de pointe, la technologie VASA-1 permet de réaliser des animations faciales de conversation pilotées par l'audio d'un réalisme élevé, incluant, sans s'y limiter, la synchronisation labiale, des expressions faciales riches, une capacité de découplage, des applications de sécurité et de surveillance, une haute qualité de génération d'images et une exécution rapide, ainsi qu'une capture et reproduction efficace de la structure 3D du visage.

VASA-1 est un outil d'IA innovant qui combine des images statiques ou des dessins avec des fichiers audio pour finalement générer une vidéo réaliste, un processus qui ne laisse pratiquement aucune trace d'intervention humaine, rendant la vidéo générée très naturelle. Bien que les chercheurs reconnaissent que, comme tous les autres modèles, VASA-1 ne parvient pas encore à gérer correctement les éléments non rigides tels que les cheveux, ses résultats globaux sont nettement supérieurs à ceux des autres modèles similaires.

La puissance de VASA-1 comporte également des risques potentiels, notamment la possibilité qu'il soit utilisé à mauvais escient pour créer des vidéos deepfake capables d'imiter de manière réaliste de vraies personnes, rendant difficile la distinction entre le vrai et le faux. Avant de publier VASA-1, Microsoft Research Asia a adopté une attitude prudente : aucune démonstration en ligne, API, produit ou détail d'implémentation associé n'a été rendu public, afin de garantir que la technologie ne soit pas détournée. Les chercheurs travaillent activement à empêcher les acteurs malveillants d'utiliser VASA-1 à des fins inappropriées.