V2A: Google이 발표한 영상 콘텐츠에 동기화된 오디오를 자동 생성하는 기술 198

Google DeepMind는 최근 V2A(Video-to-Audio)라는 기술을 발표했습니다. V2A는 비디오 화면과 텍스트 설명을 기반으로 비디오 콘텐츠와 동기화된 오디오를 자동으로 생성할 수 있으며, 이는 AI 비디오에 자동으로 더빙 및 배경 음악을 추가하는 것을 의미합니다. 이를 통해 사용자는 텍스트 설명을 통해 배경 음악, 환경 음향을 생성하여 비디오 콘텐츠와 동기화된 오디오 트랙을 자동으로 만들 수 있습니다. 여기에는 배경 음악, 환경 음향, 그리고 비디오 콘텐츠에 맞는 대화까지 포함됩니다.

비디오 생성 모델은 놀라운 속도로 발전하고 있지만, 현재의 비디오 생성 모델은 무음 출력만 생성할 수 있습니다. V2A 기술은 생성된 영화를 생생하게 만드는 유망한 방법이 되었습니다.

V2A 주요 기능

• 오디오 생성: V2A는 비디오 화면과 사용자가 제공하는 텍스트 설명을 기반으로 비디오 콘텐츠와 동기화된 오디오 트랙을 자동으로 생성합니다.

• 오디오 동기화: V2A는 생성된 오디오가 비디오 콘텐츠와 완벽하게 동기화되도록 보장하여 비디오와 오디오 사이에 지연이나 불일치가 없도록 합니다.

• 다양한 오디오 트랙: 사용자는 모든 비디오에 대해 무제한数量的 오디오를 생성하고 다양한 음향 효과를 조합해 볼 수 있습니다.

• 창의적인 프롬프트: V2A는 "긍정 프롬프트"와 "부정 프롬프트" 기능을 지원하며, 이러한 프롬프트를 통해 사용자는 생성된 오디오 효과를 정밀하게 제어할 수 있습니다.

• 고품질 오디오: 훈련 과정에서 상세한 음향 설명과 대화 전사(transcript)를 도입함으로써, 생성된 오디오 트랙은 사실적이고 표현력이 풍부합니다.

• 자동화된 처리: V2A 시스템은 생성된 음향과 비디오를 수동으로 정렬할 필요가 없어, 음향, 시각 및 시간 요소를 조정하는繁琐한 작업을 줄여줍니다.

V2A 작동 원리

• 비디오 및 텍스트 설명 입력: 사용자가 비디오와 텍스트 설명을 입력으로 제공합니다.
  

• 비디오 인코딩: 시스템이 비디오를 AI가 처리할 수 있는 형식으로 변환합니다.

• 오디오 생성: AI 모델은 무작위 노이즈에서 시작하여 비디오 및 텍스트 설명과 일치하는 오디오를 점진적으로 생성합니다.

• 오디오 및 비디오 합성: 생성된 오디오가 비디오와 결합되어 완전한 오디오-비디오 파일이 형성됩니다.

• 조정 및 제어: 사용자는 특별한 요구 사항을 충족하기 위해 추가 프롬프트를 제공하여 조정할 수 있습니다.

V2A 기술 발전

V2A 기술이 이미 엄청난 잠재력을 보여주었음에도 불구하고, DeepMind 팀은 이 기술을 지속적으로 개선하고 발전시키고 있습니다. 현재의 연구 방향과 개선 목표는 다음과 같습니다.

오디오 출력 품질 개선: 다양한 비디오 품질에서 오디오 출력의 일관성과 고품질을 유지하도록 보장합니다.

립싱크 개선: 대화 비디오의 립싱크 문제를 개선하여 생성된 음성이 캐릭터의 입 움직임과 완벽하게 동기화되도록 보장합니다.

비디오 왜곡 처리: 비디오 왜곡 또는 모델 훈련 데이터 분포를 벗어나는 콘텐츠가 있을 때의 오디오 생성 문제를 해결합니다.

안전성 및 투명성: 엄격한 안전 평가 및 테스트를 수행하여 기술의 안전성과 투명성을 보장합니다.

V2A의 응용 범위는 매우 광범위하며, 소셜 미디어 콘텐츠 제작부터 영화 및 광고의 오디오 디자인에 이르기까지 무한한 가능성이 있습니다.

V2A 기술의独特之处在于，它可以理解视频中的原始像素，并自动将生成的声音与视频同步，目前，V2A尝试通过输入的对话文本生成与角色唇部动作同步的语音，但有时会出现视频中的口型与生成的语音不完全匹配的情况。DeepMind正在致力于改进这一方面。

자세한 내용: https://deepmind.google/discover/blog/generating-audio-for-video/