M2UGen：マルチモーダル音楽理解・生成フレームワーク 123

Tencentはマルチモーダル音楽生成モデルM2UGenを発表し、画像、動画からの音楽生成をサポートしています。M2UGenは最先端のフレームワークであり、音楽理解とマルチモーダル音楽生成タスクを融合させ、ユーザーの音楽芸術創作を支援することを目的としています。その強力な機能により、M2UGenは包括的な音楽生成および編集体験を提供します。

M2UGenデモアドレス：https://huggingface.co/M2UGen

M2UGenプロジェクトアドレス：https://github.com/shansongliu/M2UGen

M2UGen論文アドレス：https://arxiv.org/abs/2311.11255

M2UGenモデルは音楽理解と生成のモデルであり、テキスト、画像、動画、音声からの音楽Q&Aと音楽生成、および音楽編集が可能です。このモデルは、音楽理解用のMERT、画像理解用のViT、動画理解用のViViTなどのエンコーダー、音楽生成モデル（音楽デコーダー）としてのMusicGen/AudioLDM2モデル、およびアダプターとLLaMA 2モデルを活用しています。

音楽の生成と理解

音楽理解とマルチモーダル音楽生成タスクを同時に含むM2UGenフレームワークを紹介し、ユーザーの音楽に関する芸術創作を支援することを目的としています。

音楽向けデータセット

マルチモーダル音楽向けの命令データセットを大規模に生成するための体系的な方法を提案します。MU-LLaMAモデルとMosaicMLのMPT-7B-Chatモデルを使用して、音楽向けデータセットを生成します。

また、BLIP画像キャプションモデルとVideoMAEキャプションモデルを利用して、それぞれのモーダリティにキャプションを追加します。

テキストからの音楽生成に加え、画像、動画、音声からの音楽生成もサポートしており、既存の音楽を編集することもできます。このプロジェクトは、音楽理解のためにMERTなどのエンコーダーを、画像理解のためにViTを、動画理解のためにViViTを活用し、音楽生成モデル（音楽デコーダー）としてMusicGen/AudioLDM2モデルを使用しています。ユーザーは特定の楽器を簡単に削除または置換したり、音楽のテンポや速度を調整したりすることができます。これにより、ユーザーは独自の創造性に沿った音楽作品を創作することが可能になります。

さらに、M2UGenにはアダプターとLLaMA2モデルが組み込まれており、モデルに多様な能力を与えています。