V2A: технология Google для автоматической генерации аудио, синхронизированного с видео 202

Google DeepMind недавно представила технологию под названием V2A (Video-to-Audio), которая способна автоматически генерировать звук, синхронизированный с видеоконтентом, на основе видео изображения и текстового описания, то есть автоматически создавать озвучку и музыкальное сопровождение для AI видео. Это позволяет пользователям генерировать фоновую музыку и звуковые эффекты окружающей среды с помощью текстовых описаний для автоматического создания звуковой дорожки, синхронизированной с видеоконтентом. Это включает фоновую музыку, звуковые эффекты окружающей среды и даже диалоги, соответствующие содержанию видео.

Модели генерации видео развиваются с поразительной скоростью, но в настоящее время модели генерации видео могут создавать только бесшумный вывод. Технология V2A становится перспективным методом, позволяющим оживить сгенерированные фильмы.

Основные функции V2A

• Генерация аудио: V2A может автоматически генерировать звуковую дорожку, синхронизированную с видеоконтентом, на основе видеоизображения и предоставленного пользователем текстового описания.

• Синхронизированное аудио: V2A обеспечивает идеальную синхронизацию сгенерированного аудио с видеоконтентом, исключая любые задержки или рассинхронизацию между видео и звуком.

• Разнообразие звуковых дорожек: пользователи могут генерировать неограниченное количество аудиодорожек для любого видео, экспериментируя с различными комбинациями звуковых эффектов.

• Креативные подсказки: V2A поддерживает функции «позитивных подсказок» и «негативных подсказок», с помощью которых пользователи могут точно контролировать генерируемые звуковые эффекты.

• Высококачественное аудио: благодаря включению подробных описаний звуков и расшифровок диалогов в процесс обучения, сгенерированные звуковые дорожки звучат реалистично и выразительно.

• Автоматическая обработка: системе V2A не требуется ручное выравнивание сгенерированного звука с видео, что уменьшает трудоёмкую работу по согласованию звуковых, визуальных и временных элементов.

Принцип работы V2A

• Ввод видео и текстового описания: пользователь предоставляет видео и текстовое описание в качестве входных данных.
  

• Кодирование видео: система преобразует видео в формат, пригодный для обработки AI.

• Генерация аудио: модель AI начинает с случайного шума и постепенно генерирует аудио, соответствующее видео и текстовому описанию.

• Синтез аудио и видео: сгенерированное аудио объединяется с видео, формируя полный аудиовизуальный файл.

• Настройка и управление: пользователи могут предоставлять дополнительные подсказки для корректировки в соответствии с особыми требованиями.

Развитие технологии V2A

Несмотря на то, что технология V2A уже продемонстрировала огромный потенциал, команда DeepMind продолжает её совершенствовать и улучшать. Текущие направления исследований и цели улучшений включают:

Улучшение качества аудиовыхода: обеспечение стабильного и высокого качества аудиовыхода при различном качестве видео.

Улучшение синхронизации губ: улучшение синхронизации губ в диалоговых видео, чтобы гарантировать идеальное соответствие сгенерированной речи движениям губ персонажей.

Обработка искажений видео: решение проблемы генерации аудио при наличии искажений видео или когда контент выходит за пределы распределения обучающих данных модели.

Безопасность и прозрачность: проведение тщательных оценок безопасности и тестирования для обеспечения безопасности и прозрачности технологии.

Применение V2A весьма обширно — от создания контента для социальных сетей до звукового дизайна в фильмах и рекламе, возможности безграничны.

Уникальность технологии V2A заключается в том, что она способна понимать исходные пиксели в видео и автоматически синхронизировать сгенерированный звук с видео. В настоящее время V2A пытается генерировать речь, синхронизированную с движениями губ персонажей, на основе входного текста диалога, однако иногда возникают ситуации, когда артикуляция в видео не полностью совпадает со сгенерированной речью. DeepMind активно работает над улучшением этого аспекта.

Подробности: https://deepmind.google/discover/blog/generating-audio-for-video/