V2A: la tecnología de Google para generar audio sincronizado con contenido de vídeo 199

Google DeepMind ha presentado recientemente una tecnología llamada V2A (Video-to-Audio), capaz de generar automáticamente audio sincronizado con el contenido de video a partir de las imágenes de un vídeo y descripciones de texto, es decir, añadir doblaje y bandas sonoras de forma automática a vídeos de ia. Esto permite a los usuarios generar música de fondo, efectos de sonido ambientales y pistas de audio sincronizadas con el contenido del vídeo mediante descripciones de texto. Incluye música de fondo, efectos ambientales e incluso diálogos que se ajustan al contenido del vídeo.

Los modelos de generación de vídeo evolucionan a un ritmo impresionante, pero por ahora solo pueden producir salidas silenciosas. La tecnología V2A se perfila como un método prometedor para dar vida a las películas generadas.

Funciones principales de V2A

• Generación de audio: V2A puede generar automáticamente pistas de audio sincronizadas con el contenido del vídeo a partir de las imágenes del vídeo y las descripciones de texto proporcionadas por el usuario.

• Audio sincronizado: V2A garantiza que el audio generado esté perfectamente sincronizado con el contenido del vídeo, sin retrasos ni desajustes entre vídeo y audio.

• Pistas de audio variadas: los usuarios pueden generar un número ilimitado de pistas de audio para cualquier vídeo y experimentar con distintas combinaciones de efectos sonoros.

• Indicaciones creativas: V2A admite funciones de "indicaciones positivas" y "indicaciones negativas", lo que permite a los usuarios controlar con precisión los efectos de audio generados.

• Audio de alta calidad: gracias a la incorporación de descripciones sonoras detalladas y transcripciones de diálogos durante el entrenamiento, las pistas generadas son realistas y expresivas.

• Procesamiento automatizado: el sistema V2A no requiere la alineación manual del sonido generado con el vídeo, lo que reduce la laboriosa tarea de ajustar los elementos sonoros, visuales y temporales.

Cómo funciona V2A

• Entrada de vídeo y descripción de texto: el usuario proporciona un vídeo y una descripción de texto como entradas.
  

• Codificación del vídeo: el sistema convierte el vídeo a un formato que la IA puede procesar.

• Generación del audio: el modelo de IA parte de ruido aleatorio y genera de forma progresiva audio que se ajusta al vídeo y a la descripción de texto.

• Síntesis de audio y vídeo: el audio generado se combina con el vídeo para formar un archivo audiovisual completo.

• Ajuste y control: el usuario puede proporcionar indicaciones adicionales para realizar ajustes según necesidades específicas.

Desarrollo de la tecnología V2A

Aunque la tecnología V2A ya ha demostrado un enorme potencial, el equipo de DeepMind sigue mejorando y perfeccionando esta tecnología. Entre las líneas de investigación actuales y los objetivos de mejora se incluyen:

Mejora de la calidad del audio generado: garantizar la coherencia y la alta calidad de la salida de audio en vídeos de diversa calidad.

Mejora de la sincronización labial: perfeccionar la sincronización labial en vídeos con diálogos para asegurar que la voz generada coincida perfectamente con los movimientos de la boca del personaje.

Manejo de distorsiones en el vídeo: resolver los problemas de generación de audio cuando el vídeo presenta distorsiones o su contenido queda fuera de la distribución de los datos de entrenamiento del modelo.

Seguridad y transparencia: llevar a cabo evaluaciones y pruebas de seguridad rigurosas para garantizar la seguridad y la transparencia de la tecnología.

Las aplicaciones de V2A son muy amplias, con posibilidades ilimitadas que abarcan desde la creación de contenido para redes sociales hasta el diseño sonoro para cine y publicidad.

Lo que hace único a V2A es su capacidad de comprender los píxeles originales del vídeo y sincronizar automáticamente el sonido generado con el vídeo. Actualmente, V2A intenta generar voz sincronizada con los movimientos labiales de los personajes a partir del texto del diálogo introducido, pero a veces se producen desajustes entre el movimiento de los labios en el vídeo y la voz generada. DeepMind está trabajando en mejorar este aspecto.

Más información: https://deepmind.google/discover/blog/generating-audio-for-video/