NotaGen:高品質なクラシック楽譜生成に特化したAI音楽生成モデル

NotaGen:高品質なクラシック楽譜生成に特化したAI音楽生成モデル 124

中央音楽学院、北京航空航天大学、清華大学などの研究機関が共同で開発した、クラシック楽譜の生成に特化したAI音楽モデルです。

#Ai工具箱 #Ai语音工具

NotaGen:高品質なクラシック楽譜生成に特化したAI音楽生成モデル紹介

NotaGen とは?

NotaGen は、中央音楽学院、北京航空航天大学、清華大学などの機関が共同で開発したAI音楽生成モデルであり、高品質なクラシック楽譜の生成に特化しています。大規模言語モデル(LLM)の学習パラダイムを模倣することで、高品質なクラシック楽譜を生成することができます。

shotEasy (2).webp

NotaGen の主な特徴

高品質なクラシック楽譜生成

  • NotaGen は、ユーザーが指定した時代(バロック、古典、ロマン派など)、作曲家(バッハ、モーツァルト、ショパンなど)、楽器(キーボード、弦楽四重奏、管弦楽など)に基づいて、特定のスタイルに合った楽譜を生成することができます。

先進的な学習パラダイム

  • 事前学習:160万曲以上の楽曲で事前学習を行い、音楽の基本構造とパターンを学習します。

  • ファインチューニング:約9000曲の高品質なクラシック作品に基づいてファインチューニングを行い、特定のスタイルや作曲家に対する理解を強化します。

  • 強化学習:CLaMP-DPO メソッドにより生成音楽の品質と制御性を最適化し、人手によるアノテーションや事前定義された報酬を必要としません。

マルチモーダルデータ表現

  • NotaGen は、交差 ABC 記譜法(Interleaved ABC Notation)を使用し、異なる声部の音符を一行に再配置し、声部指示子 [V:] で区別します。この記譜法は、マルチトラック音楽や複雑な楽譜を柔軟に処理することができます。

モデルアーキテクチャ

  • NotaGen は Tunesformer アーキテクチャを採用し、patch-level decoder と character-level decoder の2層の GPT-2 デコーダーで構成されています。patch-level decoder で patch 間の時間的関係を捉え、隠れ状態を character-level decoder に渡し、次の patch の文字を自己回帰的に予測します。

生成サンプル

  • NotaGen は、キーボード、室内楽、管弦楽、艺术歌曲、合唱、声楽と管弦楽など、さまざまなスタイルの生成サンプルを提供しています。また、ポピュラーミュージックスタイルの生成も試行されています。

NotaGen 技术.jpg

NotaGen 技術

  • データ表現:交差 ABC 記譜法を採用し、マルチトラック音楽や複雑な楽譜をサポートします。

  • モデルアーキテクチャ:Tunesformer に基づき、patch-level と character-level のデコーダーを含みます。

  • 学習パラダイム:

  • 事前学習:160万曲の楽曲で事前学習を行います。

  • ファインチューニング:152人の作曲家による9000曲の高品質なクラシック楽譜でファインチューニングを行います。

  • 強化学習:CLaMP-DPO メソッドにより生成音楽の品質と制御性を最適化します。

NotaGen の実験と評価

  • 主観的 A/B テスト:NotaGen は、生成音楽の品質においてベースラインモデルを上回り、人間の作曲レベルに近づきます。

  • CLaMP-DPO メソッド: contrastive learning モデル CLaMP² によるフィードバックを通じて、生成音楽の品質を最適化し、人手によるアノテーションや事前定義された報酬を必要としません。

NotaGen の使用シーン

  • プロの作曲家:インスピレーションを得るツールとして、高品質な楽譜を迅速に生成します。

  • 音楽愛好家:音楽制作のハードルを下げ、パーソナライズされた創作サポートを提供します。

  • 音楽教育:教育ツールとして、学生が異なるスタイルや時代の音楽的特徴を理解するのを支援します。

プロジェクトページ:https://electricalexis.github.io/notagen-demo

GitHub リポジトリ:https://github.com/ElectricAlexis/NotaGen

論文:https://arxiv.org/pdf/2502.18008

NotaGen:高品質なクラシック楽譜生成に特化したAI音楽生成モデル に関連するツール