Veo : le puissant modèle de génération vidéo de Google 171

Google Veo est notre modèle de génération de vidéo le plus puissant à ce jour. Il peut générer des vidéos de haute qualité en résolution 1080p de plus d'une minute, avec une grande variété de styles cinématographiques et visuels.

Il saisit avec précision les nuances et le ton de l'invite et offre un niveau de contrôle créatif sans précédent — comprenant les invites pour divers effets cinématographiques, tels que les séquences en accéléré ou les prises de vue aériennes de paysages.

Notre modèle de génération vidéo contribuera à créer des outils qui rendent la production vidéo accessible à tous. Que vous soyez un cinéaste expérimenté, un créateur en herbe ou un éducateur souhaitant partager ses connaissances, Google Veo apporte de nouvelles possibilités à la narration, à l'enseignement et plus encore.

Dans les prochaines semaines, certaines de ces fonctionnalités seront accessibles à une sélection de créateurs via un nouvel outil expérimental, VideoFX, disponible sur Labs.google. Vous pouvez dès maintenant rejoindre la liste d'attente.

À l'avenir, nous intégrerons également certaines fonctionnalités de Google Veo à YouTube Shorts et à d'autres produits.

Fonctionnalités et caractéristiques de Google Veo :

Une meilleure compréhension du langage et du visuel :

Pour produire des scènes cohérentes, les modèles de génération vidéo doivent interpréter avec précision les invites textuelles et combiner ces informations avec des références visuelles pertinentes.

Grâce à une compréhension approfondie du langage naturel et de la sémantique visuelle, Google Veo génère des vidéos qui suivent fidèlement l'invite. Il saisit précisément les nuances et le ton des expressions, et restitue des détails complexes dans des scènes élaborées.

Contrôle cinématographique :

Lorsqu'on lui fournit à la fois une vidéo d'entrée et une commande d'édition — par exemple ajouter un kayak à une vue aérienne d'un littoral — Google Veo applique cette instruction à la vidéo initiale et crée une nouvelle vidéo éditée.

De plus, il prend en charge l'édition par masque : lorsque vous ajoutez une zone de masque à la vidéo et à l'invite textuelle, il est possible de modifier une zone spécifique de la vidéo.

Google Veo peut également générer une vidéo à partir d'une image comme entrée, accompagnée d'une invite textuelle. En fournissant une image de référence combinée à une invite textuelle, il permet à Google Veo de produire une vidéo qui respecte à la fois le style de l'image et les consignes de l'utilisateur.

Le modèle est également capable de produire des clips vidéo et de les étendre jusqu'à 60 secondes, voire plus. Il peut le faire à partir d'une seule invite, ou en fournissant une série d'invites qui racontent ensemble une histoire.

Cohérence entre les images vidéo

Maintenir la cohérence visuelle est un défi pour les modèles de génération vidéo. Les personnages, les objets, voire des scènes entières peuvent scintiller, sauter ou se déformer de manière inattendue d'une image à l'autre, gâchant ainsi l'expérience de visionnage.

Le transformeur à diffusion latente de pointe de Google Veo réduit l'apparition de ces incohérences, en maintenant les personnages, les objets et les styles à leur place, comme dans la vie réelle.

Basé sur des années de recherche en génération vidéo

Google Veo s'appuie sur des années de travail sur les modèles de génération vidéo, notamment les Generative Query Networks (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet et Lumiere, ainsi que sur notre architecture Transformer et Gemini.

Pour aider Google Veo à comprendre et à suivre plus précisément les invites, nous avons également ajouté davantage de détails aux sous-titres de chaque vidéo dans les données d'entraînement. Pour améliorer encore les performances, le modèle utilise une représentation vidéo compressée de haute qualité (également appelée image latente), ce qui le rend également plus efficace. Ces étapes améliorent la qualité globale et réduisent le temps nécessaire à la génération des vidéos.