OpenVoice：多機能インスタント音声クローン 141

OpenVoiceは、参照話者の短い音声クローンクリップのみを必要とし、その声を複製して多言語の音声を生成できる、多用途の即時音声クローンメソッドです。OpenVoiceは、感情、アクセント、リズム、間、イントネーションなど、音声スタイルの詳細な制御をサポートしており、参照話者の音色を再現することもできます。また、大規模話者学習データセットに含まれない言語にも対応する、ゼロショットのクロスリンガル音声クローンを実現します。OpenVoiceは計算効率も高く、そのコストは性能が劣る商用APIよりも数十倍安価です。

OpenVoice論文：https://arxiv.org/pdf/2312.01479.pdf

OpenVoiceプロジェクト：https://github.com/myshell-ai/OpenVoice

OpenVoiceの特徴：

正確な音色のクローン。OpenVoiceは参照音色を正確にクローンし、多言語かつ多様なアクセントの音声を生成できます。

柔軟な音声スタイル制御。OpenVoiceは、音声スタイル（感情やアクセントなど）、およびリズム、間、イントネーションなどのその他のスタイルパラメータの詳細な制御をサポートします。

ゼロショットクロスリンガル音声クローン。生成される音声の言語と参照音声の言語は、大規模話者多言語学習データセットに含まれている必要はありません。

OpenVoiceの使い方：

1.柔軟な音声スタイル制御。OpenVoiceがクローン音声に対して柔軟なスタイル制御を実現する方法のサンプル使用法については、demo_part1.ipynbを参照してください。

2.クロスリンガル音声クローン。MSML学習データセットに含まれる言語、含まれない言語のサンプルについては、demo_part2.ipynbを参照してください。

3.高度な使用方法。基本話者モデルは、任意のモデル（任意の言語とスタイル）と置き換えることができます。デモで示されている機能を使用して、新しい基本話者の音色埋め込みを抽出してください。se_extractor.get_se

4.自然な音声を生成するためのヒント。自然音声を生成できる多くの単一話者または複数話者のTTS手法があり、簡単に利用可能です。基本話者モデルをお好みのモデルに置き換えるだけで、音声の自然さを 원하는 수준으로 끌어올릴 수 있습니다。

言語

このバージョンのモデル重みは英語と中国語のみをサポートしています。OpenVoiceは基本話者が提供されれば、他の任意の言語にも適応できます。

2023年5月以来、OpenVoiceはmyshell.aiの即時音声クローン機能の背後で使用されてきました。2023年11月時点で、音声クローンモードは世界中のユーザーによって数千万回使用され、プラットフォームユーザーの爆発的な成長を目の当たりにしてきました。