InspireMusic：Alibaba Tongyi Lab推出的オープンソース音楽生成フレームワーク 138

InspireMusicは、アリババ通義实验室が発表したオープンソースの音楽生成フレームワークであり、その技術アーキテクチャはオーディオ分野における複数の最先端研究成果を統合し、開発者や研究者に対して音楽制作、スタイル変換、音響効果合成までの全流程ソリューションを提供します。このフレームワークはマルチモーダル大規模モデル技術に基づき、テキスト記述やオーディオ入力による知的な創作をサポートすると同時に、充実したモデルチューニングツールチェーンを提供します。

InspireMusicのテキストからの音楽生成モードは非常に強力です。テキスト記述を通じて様々なスタイルや感情の音楽を生成することをサポートしており、ユーザーは好みに応じてジャズや旋律が美しい童謡など多様な作品を生成することができます。

InspireMusicの主な機能：

• 音楽生成：InspireMusicは、ユーザーが提供する感情、スタイル、和声などのテキスト記述に基づき、要求に合致した音楽作品を自動生成することができます。

• オーディオスタイル変換：この技術は、既存のオーディオサンプルを異なるスタイルの音楽へ変換することを可能にし、ユーザーが簡単にスタイル変換を実現する効果を得られます。

• トレーニングおよびチューニングツール：InspireMusicは開発者に対して、一連のオーディオ生成モデルのトレーニングおよびチューニングツールを提供し、生成効果の最適化と個別ニーズへの対応を可能にします。

• マルチモーダル応用：テキスト、オーディオおよびその相互作用を組み合わせることで、InspireMusicは豊かな音楽制作体験を提供し、多様なタイプの音楽生成および編集機能をサポートします。

主な特徴

• 統一されたオーディオ生成フレームワーク：オーディオ大規模モデル技術に基づき、InspireMusicは音楽、楽曲およびオーディオの生成をサポートし、ユーザーに多様な選択肢を提供します。

• 柔軟で制御可能な生成：テキストプロンプトと音楽特徴記述に基づき、ユーザーは生成される音楽のスタイルと構造を正確に制御できます。

• シンプルで使いやすい：簡便なモデル微調整および推論ツールを提供し、ユーザーに効率的なトレーニングとチューニングツールを提供します。

InspireMusicの主な技術原理：

• オーディオTokenizer：高圧縮比の単一コードブックWavTokenizerにより、入力された連続的なオーディオ特徴を離散的なオーディotokenへ変換し、モデル処理用のオーディオデータ形式をサポートします。

• 自己回帰Transformerモデル：このモデルはQwenモデルに基づいて初期化され、テキストプロンプトに応じてオーディotokenを予測し、テキスト記述に合致する音楽シーケンスを理解・生成することができます。

• 拡散モデル（Conditional Flow Matching, CFM）：生成されたオーディotokenから高品質なオーディオ特徴を復元するために使用され、音楽生成の一貫性と自然さを強化します。

• Vocoder：復元されたオーディオ特徴を高品質なオーディオ波形に変換し、最終的に音楽作品を出力します。複数のサンプリングレート（24kHzや48kHzなど）をサポートし、5分以上の長いオーディオ作品を生成することも可能です。

コアモデル：

InspireMusicモデルフレームワークは、オーディオtokenizer、自己回帰Transformerモデル、常微分方程式に基づく拡散モデルすなわちConditional Flow Matching (CFM)モデル、Vocoderから構成され、テキストからの音楽生成や音楽の続きの生成などのタスクをサポートします。

InspireMusicの応用：

• 音楽制作：ユーザーは簡単なテキスト記述やオーディオプロンプトを通じて、多様なスタイルの音楽作品を生成できます。

• 教育と学習：このツールキットは、音楽愛好家や学習者にとって使いやすい制作プラットフォームを提供します。

• ゲームとエンターテイメント：InspireMusicはゲームのBGMや音響効果の生成に使用できます。

• 映像制作：映像のサウンドトラックや音響効果制作に使用されます。

• 広告とマーケティング：InspireMusicは広告ニーズに合致した音楽を生成できます。

• 研究開発：研究者や開発者に対して、音楽生成モデルのトレーニングおよびチューニングツールを提供します。

使用方法：

このほど、アリババ通義实验室は傘下の音楽生成技術InspireMusicの正式オープンソース化を発表しました。ユーザーはGitHubリポジトリ、ModelScope創空間、HuggingFace Spacesなどのプラットフォームを通じてInspireMusicにアクセスし、利用することができます。

GitHub リポジトリ：https://github.com/FunAudioLLM/InspireMusic

ModelScope：https://modelscope.cn/studios/iic/InspireMusic/summary

HuggingFace：https://huggingface.co/spaces/FunAudioLLM/InspireMusic