V2A : la technologie de Google pour générer automatiquement de l'audio synchronisé avec la vidéo 200

Google DeepMind a récemment publié une technologie nommée V2A (Video-to-Audio). V2A est capable de générer automatiquement, à partir des images vidéo et de descriptions textuelles, un audio synchronisé avec le contenu vidéo, c'est-à-dire d'ajouter automatiquement un doublage et une musique de fond aux vidéos IA. Cela permet aux utilisateurs de générer, via des descriptions textuelles, des musiques de fond et des effets sonores d'ambiance synchronisés automatiquement avec le contenu vidéo. Cela inclut la musique de fond, les effets sonores d'ambiance, voire même des dialogues correspondant au contenu vidéo.

Les modèles de génération vidéo évoluent à une vitesse impressionnante, mais les modèles actuels ne peuvent produire que des sorties sans son. La technologie V2A s'impose comme une méthode prometteuse pour donner vie aux films générés.

Principales fonctionnalités de V2A

• Génération audio : V2A peut générer automatiquement, à partir des images vidéo et des descriptions textuelles fournies par l'utilisateur, une piste audio synchronisée avec le contenu vidéo.

• Audio synchronisé : V2A garantit que l'audio généré est parfaitement synchronisé avec le contenu vidéo, sans aucun délai ni décalage entre la vidéo et l'audio.

• Pistes audio diversifiées : les utilisateurs peuvent générer un nombre illimité de pistes audio pour n'importe quelle vidéo, afin de tester différentes combinaisons d'effets sonores.

• Invites créatives : V2A prend en charge les fonctions d'« invite positive » et d'« invite négative », permettant aux utilisateurs de contrôler précisément les effets audio générés.

• Audio de haute qualité : grâce à l'intégration de descriptions sonores détaillées et de transcriptions de dialogues durant l'entraînement, les pistes audio générées sont réalistes et expressives.

• Traitement automatisé : le système V2A ne nécessite pas d'alignement manuel entre le son généré et la vidéo, ce qui réduit le travail fastidieux d'ajustement des éléments sonores, visuels et temporels.

Fonctionnement de V2A

• Entrée vidéo et description textuelle : l'utilisateur fournit une vidéo et une description textuelle en entrée.
  

• Encodage vidéo : le système convertit la vidéo dans un格式 exploitable par l'IA.

• Génération audio : le modèle d'IA part d'un bruit aléatoire et génère progressivement un audio correspondant à la vidéo et à la description textuelle.

• Synthèse audio et vidéo : l'audio généré est combiné à la vidéo pour former un fichier audiovisuel complet.

• Ajustement et contrôle : l'utilisateur peut fournir des invites supplémentaires pour ajuster le résultat et répondre à des besoins spécifiques.

Développement de la technologie V2A

Bien que la technologie V2A ait déjà démontré un énorme potentiel, l'équipe DeepMind continue d'améliorer et de perfectionner cette technologie. Les axes de recherche actuels et les objectifs d'amélioration comprennent :

Amélioration de la qualité de sortie audio : garantir la cohérence et la haute qualité de la sortie audio quelle que soit la qualité de la vidéo.

Amélioration de la synchronisation labiale : améliorer la synchronisation labiale dans les vidéos de dialogue afin de garantir que la voix générée soit parfaitement synchronisée avec les mouvements des lèvres des personnages.

Traitement des distorsions vidéo : résoudre les problèmes de génération audio lorsque la vidéo est déformée ou que son contenu sort de la distribution des données d'entraînement du modèle.

Sécurité et transparence : mener des évaluations et des tests de sécurité rigoureux pour garantir la sûreté et la transparence de la technologie.

Les applications de V2A sont très vastes, offrant des possibilités infinies, de la création de contenu pour les réseaux sociaux à la conception audio pour le cinéma et la publicité.

La particularité de la technologie V2A réside dans sa capacité à comprendre les pixels bruts de la vidéo et à synchroniser automatiquement le son généré avec la vidéo. Actuellement, V2A tente de générer, à partir du texte de dialogue fourni en entrée, une voix synchronisée avec les mouvements des lèvres des personnages, mais il arrive parfois que les mouvements de bouche de la vidéo ne correspondent pas parfaitement à la voix générée. DeepMind s'efforce d'améliorer cet aspect.

Pour plus de détails : https://deepmind.google/discover/blog/generating-audio-for-video/