Assistant scénario▸ 
Apps AI 
Actualités AI 
NotaGen : un modèle d'IA dédié à la génération de partitions classiques
NotaGen : un modèle d'IA dédié à la génération de partitions classiquesIntroduction
Qu'est-ce que NotaGen ?
NotaGen est un modèle de génération de musique par IA développé conjointement par le Conservatoire central de musique, l'Université de Beihang et l'Université Tsinghua, spécialisé dans la génération de partitions classiques de haute qualité. Il est capable de produire des partitions classiques de haute qualité en imitant le paradigme d'entraînement des grands modèles de langage (LLM).
Caractéristiques principales de NotaGen
Génération de partitions classiques de haute qualité
NotaGen peut générer des partitions correspondant à un style spécifique en fonction de la période (comme baroque, classique, romantique), du compositeur (comme Bach, Mozart, Chopin) et de l'instrument (comme clavier, quatuor à cordes, orchestre) indiqués par l'utilisateur.
Paradigme d'entraînement avancé
Pré-entraînement : pré-entraîné sur plus de 1,6 million de morceaux de musique pour apprendre les structures et les schémas fondamentaux de la musique.
Réglage fin : réglage fin basé sur environ 9 000 œuvres classiques de haute qualité, afin d'améliorer la compréhension de styles et de compositeurs spécifiques.
Apprentissage par renforcement : optimisation de la qualité et de la contrôlabilité de la musique générée grâce à la méthode CLaMP-DPO, sans nécessiter d'annotation humaine ni de récompense prédéfinie.
Représentation de données multimodale
NotaGen utilise la notation ABC entrelacée (Interleaved ABC Notation), qui réorganise les notes des différentes voix sur une seule ligne et les distingue à l'aide de l'indicateur de voix [V:]. Cette représentation permet de gérer de manière flexible la musique multipiste et les partitions complexes.
Architecture du modèle
NotaGen adopte l'architecture Tunesformer, composée de deux niveaux de décodeurs GPT-2 : un décodeur au niveau des patchs (patch-level decoder) et un décodeur au niveau des caractères (character-level decoder). Le décodeur au niveau des patchs capture les relations temporelles entre les patchs, puis transmet les états cachés au décodeur au niveau des caractères, qui prédit de manière autorégressive les caractères du patch suivant.
Exemples de génération
NotaGen propose des exemples de génération dans plusieurs styles, notamment le clavier, la musique de chambre, la musique orchestrale, la mélodie artistique, le choral et l'orchestre vocal. De plus, la génération dans un style de musique pop a également été tentée.
Technologie de NotaGen
Représentation des données : adopte la notation ABC entrelacée, prenant en charge la musique multipiste et les partitions complexes.
Architecture du modèle : basée sur Tunesformer, comprenant des décodeurs au niveau des patchs et au niveau des caractères.
Paradigme d'entraînement :
Pré-entraînement : pré-entraîné sur 1,6 million de morceaux de musique.
Réglage fin : réglage fin sur 9 000 partitions classiques de haute qualité, couvrant 152 compositeurs.
Apprentissage par renforcement : optimisation de la qualité et de la contrôlabilité de la musique générée grâce à la méthode CLaMP-DPO.
Expériences et évaluation de NotaGen
Tests subjectifs A/B : NotaGen surpasse les modèles de base en termes de qualité de la musique générée, se rapprochant du niveau de composition humaine.
Méthode CLaMP-DPO : optimisation de la qualité de la musique générée grâce aux retours fournis par le modèle d'apprentissage contrastif CLaMP², sans nécessiter d'annotation humaine ni de récompense prédéfinie.
Cas d'utilisation de NotaGen
Compositeurs professionnels : en tant qu'outil d'inspiration, permettant de générer rapidement des partitions de haute qualité.
Passionnés de musique : abaisse le seuil de la création musicale et offre un soutien à la création personnalisée.
Éducation musicale : en tant qu'outil pédagogique, aide les élèves à comprendre les caractéristiques de la musique selon les différents styles et époques.
Page du projet : https://electricalexis.github.io/notagen-demo
Dépôt GitHub : https://github.com/ElectricAlexis/NotaGen
Article scientifique : https://arxiv.org/pdf/2502.18008
