V2A：Googleが発表した映像に同期した音声を自動生成する技術 204

Google DeepMindは最近、V2A（Video-to-Audio）と呼ばれる技術を発表しました。V2Aは動画映像とテキスト記述に基づいて、動画コンテンツと同期した音声を自動生成することができます。つまり、ai動画に自動的にナレーションやBGMを付けることが可能になります。これにより、ユーザーはテキスト記述を通じて背景音楽や環境音などの効果音を生成し、動画コンテンツに同期したサウンドトラックを自動生成することができます。これには、背景音楽、環境音、さらには動画コンテンツに合った会話も含まれます。

動画生成モデルは驚異的なスピードで発展していますが、現在の動画生成モデルは音声なしの出力しか生成できません。V2A技術は、生成された映画を生き生きとしたものにするための有望な方法となっています。

V2Aの主な機能

• 音声生成：V2Aは動画映像とユーザーが提供するテキスト記述に基づいて、動画コンテンツに同期したサウンドトラックを自動生成できます。

• 同期音声：V2Aは生成された音声が動画コンテンツと完全に同期することを保証し、動画と音声の間に遅延やズレが生じないようにします。

• 多様なサウンドトラック：ユーザーはあらゆる動画に対して無限の数の音声を生成し、異なる効果音の組み合わせを試すことができます。

• クリエイティブなプロンプト：V2Aは「ポジティブプロンプト」と「ネガティブプロンプト」機能をサポートしており、これらのプロンプトを通じて、ユーザーは生成される音声効果を精密に制御できます。

• 高品質な音声：トレーニングプロセスに詳細な音声記述と会話の文字起こしを導入することで、生成されるサウンドトラックはリアルで表現力に富んだものになります。

• 自動化処理：V2Aシステムは生成された音声と動画を手動で揃える必要がなく、音声、視覚、時間要素の調整という煩雑な作業を軽減します。

V2Aの仕組み

• 動画とテキスト記述の入力：ユーザーが動画とテキスト記述を入力として提供します。
  

• 動画エンコード：システムが動画を変換し、AIが処理できる形式にします。

• 音声生成：AIモデルがランダムなノイズから始まり、動画とテキスト記述に合った音声を段階的に生成します。

• 音声と動画の合成：生成された音声と動画が組み合わされ、完全な動画ファイルが形成されます。

• 調整と制御：ユーザーは特別なニーズを満たすために、追加のプロンプトを提供して調整できます。

V2A技術の発展

V2A技術はその大きな可能性を示していますが、DeepMindチームは引き続きこの技術の改善と改良に取り組んでいます。現在、研究の方向性と改善目標には以下のようなものがあります：

音声出力品質の改善：様々な動画品質において、音声出力の一貫性と高品質を保証する。

リップシンクの改善：会話動画におけるリップシンクの問題を改善し、生成された音声がキャラクターの唇の動きと完全に同期するようにする。

動画の歪みの処理：動画の歪みや、モデル学習データの分布を超えたコンテンツに対する音声生成の問題を解決する。

安全性と透明性：厳格な安全性評価とテストを実施し、技術の安全性と透明性を確保する。

V2Aの応用範囲は広く、ソーシャルメディアのコンテンツ制作から映画や広告の音声デザインまで、無限の可能性を秘めています。

V2A技術の特長は、動画内の生のピクセルを理解し、生成された音声を自動的に動画と同期させることができる点です。現在、V2Aは入力された会話テキストを通じてキャラクターの唇の動きに同期した音声を生成しようと試みていますが、時には映像内の口の動きと生成された音声が完全に一致しない場合があります。DeepMindはこの点の改善に取り組んでいます。

詳細情報：https://deepmind.google/discover/blog/generating-audio-for-video/