Voicebox：音声生成タスクを実行できる生成AI音声モデル 153

Voiceboxは、Metaが開発した高度な生成AI音声モデルで、編集、サンプリング、スタイル化などの音声生成タスクを実行できますが、これらのタスクを文脈学習を通じて完了するように特別に訓練されているわけではありません。

Voiceboxは高品質なオーディオクリップを生成し、事前に録音されたオーディオ（車のクラクションや犬の鳴き声の除去など）を編集することができ、オーディオの内容とスタイルを保持します。このモデルは多言語にも対応しており、6つの言語で音声を生成することができます。

Voiceboxの機能と特徴：

Voiceboxの汎用性により、以下のようなさまざまなタスクを実現できます：

• 文脈テキスト読み上げ合成：わずか2秒の音声サンプルを使用して、Voiceboxは音声スタイルをマッチングし、それをテキスト読み上げ生成に使用することができます。

• 音声編集とノイズ除去：Voiceboxは、ノイズによって中断された音声部分を再作成したり、言い間違いを録音全体を再録音することなく置き換えたりすることができます。たとえば、犬の鳴き声によって中断された音声部分を特定し、それを切り取り、Voiceboxにその部分を再生成するよう指示することができます。これはオーディオ編集用の消しゴムのようなものです。

• 言語間のスタイル転送：誰かの音声サンプルと英語、フランス語、ドイツ語、スペイン語、ポーランド語、またはポルトガル語のテキストが与えられた場合、Voiceboxはサンプル音声がどの言語であっても、これらの言語のいずれかでテキストを読み上げることができます。この機能は将来、話す言語が異なる人々が自然でリアルな方法でコミュニケーションするのを助けるために使用される可能性があります。

• 多様な音声サンプリング：多様なデータから学習した後、Voiceboxは、上記の6言語において、現実世界での人々の話し方をより代表する音声を生成することができます。

Voiceboxの利点：

• 高度なノイズ除去とスタイル変換ツールにより、オーディオ品質と汎用性が向上します。

• 50,000時間以上の音声データによる広範なトレーニングにより、音声の高い精度と自然な聞こえが保証されます。

• 6つの異なる言語を使用できるため、グローバルアプリケーションや言語を横断するタスクに最適です。

Voiceboxの欠点：

• 潜在的な悪用による可用性の制限により、正当なユーザーや開発者のアクセスが制限される可能性があります。

将来、Voiceboxのような多目的な生成AIモデルは、仮想アシスタントや仮想メタバース内のノンプレイヤーキャラクターに自然な音声を提供することができます。また、視覚障碍のある人がAIを使って友人の文章メッセージを読み上げられるようにしたり、クリエイターが簡単に動画などのオーディオトラックを作成および編集するための新しいツールを提供することもできます。

Voiceboxは、当社の生成AI研究における重要な一歩であり、オーディオ分野での探求を続け、他の研究者が私たちの研究を基盤としてどのように発展させていくかを楽しみにしています。