Phenaki_云技派,专注ai人工智能! 127

Qu'est-ce que Phenaki ?

Phenaki est un projet de Google Research qui vise à synthétiser des vidéos réalistes à partir de descriptions textuelles en domaine ouvert. Il peut générer directement des vidéos de plusieurs minutes à partir de texte.

Grâce à Phenaki, vous pouvez également générer des vidéos à partir d'images fixes et de prompts. L'encodeur-décodeur vidéo proposé surpasse toutes les baselines par image actuellement utilisées dans la littérature en termes de qualité spatio-temporelle et de nombre de tokens par vidéo.

Pour générer des tokens vidéo à partir de texte, Phenaki utilise un transformer bidirectionnel masqué conditionné sur des tokens textuels pré-calculés. Les tokens vidéo générés sont ensuite détokenisés pour créer la vidéo réelle.

Phenaki représente une avancée dans le domaine de la synthèse vidéo, car il peut gérer des prompts en domaine ouvert et à durée variable, contrairement aux méthodes précédentes limitées par la disponibilité des données et les coûts de calcul. Phenaki peut également générer des vidéos à partir d'images fixes et de prompts, par exemple en agrandissant les yeux d'un chat ou en le faisant bâiller. Phenaki offre de nombreuses applications potentielles, comme le divertissement, l'éducation, la narration et l'art.

Que peut faire Phenaki ?

Cette vidéo est devenue virale sur internet : Google rend la création de vidéos truquées par IA trop réaliste et trop simple

Avantages de Phenaki :

Il peut générer des vidéos de longueur et de qualité variables, jusqu'à deux minutes

Il peut gérer des prompts en domaine ouvert et à durée variable, comme des histoires ou des descriptions

Il exploite un grand corpus de paires image-texte et un petit nombre d'exemples vidéo-texte pour généraliser au-delà des ensembles de données vidéo