Llasa：Llamaベースの自然な感情豊かな音声生成TTS 215

Llasaとは？

Llasaは、香港科技大学オーディオラボが開発したオープンソースのテキスト読み上げ（TTS）システムで、LLaMAアーキテクチャに基づき、XCodec2音声トークン技術を組み合わせることで、高品質で自然かつ流暢、感情豊かな音声を生成することができ、音声合成の自然さ、リズムの正確性、感情表現能力を向上させ、生成効果が比較的自然です。

Llasaの主な機能

• 高品質音声合成：中国語と英語の二言語に対応した自然で流暢な音声を生成でき、音声の自然さと感情表現に優れています。

• 感情表現：喜び、悲しみ、怒りなどの感情色を含む音声を合成することができ、音声をより自然で生き生きとしたものにします。

• 音声クローン：わずか15秒の音声サンプルで、元の声色と感情的特徴を保持しながら、高精度で声をクローンすることができます。

• ゼロショット学習：見たことのない話者や感情に対しても、追加の微調整なしに音声合成を行うことができます。

• 長文テキストサポート：長文のテキスト入力を処理し、一貫した音声出力を生成することができるため、オーディオブックや音声放送などのシナリオに適しています。

Llasaの技術原理

• アーキテクチャ：単層ベクトル量子化（VQ）コーデックと単一のTransformerアーキテクチャに基づき、標準的なLLaMAモデルと完全に整合しています。

• 音声トークナイザー：XCodec2を使用して音声波形を離散トークンにエンコードし、意味情報と音響情報を保持します。

• 学習と推論のスケーリング：モデル規模（1B、3B、8Bパラメータなど）や学習データ量（25万時間の音声データなど）を増やすことで、音声の自然さと感情表現能力を向上させます。

• 自己回帰生成：音声トークンを一つずつ生成することで、入力テキストと意味やリズムの面で一致した音声を保証します。

Llasaのモデルバージョン

Llasaには1B、3B、8Bパラメータバージョンがあり、中国語と英語に対応しており、さまざまなハードウェアリソースとアプリケーションシナリオのニーズに対応できます。

Llasaの応用シナリオ

バーチャルリアリティ、ゲーム、アクセシビリティサービス、カスタマーサービス、教育などの分野や、オーディオブックや音声アシスタントの作成に適しています。

• スマート音声アシスタント：Llasa TTSは、スマートデバイスやソフトウェアに自然で流暢な音声対話機能を提供し、ユーザー体験をより良いものにします。

• オーディオブックとオンライン教育分野：テキストコンテンツを生き生きとした音声に変換し、オーディオブック制作やオンライン教育に利用することで、学生が聴覚を通じて学習しやすくなります。

• 音声放送とカスタマーサービス：Llasa TTSはニュース放送、交通情報通知、カスタマーサービスシステムに使用でき、情報伝達をより効率的にします。

• ゲームとエンターテインメント：キャラクターやバーチャルアバターにパーソナライズされた音声を付けることができ、没入感を高めます。

• 広告とマーケティング：企業はLlasa TTSを使用して広告音声を生成し、ブランドプロモーションの効果を向上させることができます。

• 音声クローンとコンテンツ制作：Llasa TTSはゼロショット音声クローンをサポートしており、約15秒の音声サンプルで特定の人声の声色と感情をクローンすることができ、広告のナレーション、動画制作、パーソナライズされた音声コンテンツ制作に使用できます。

GitHubリポジトリ：https://github.com/zhenye234/LLaSA_training

HuggingFaceモデルライブラリ：https://huggingface.co/collections/HKUSTAudio/llasa

オンラインデモ体験：https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts