NotaGen: KI-Musikmodell zur Erzeugung hochwertiger klassischer Partituren 116

Was ist NotaGen?

NotaGen ist ein KI-Musikgenerierungs-Modell, das gemeinsam vom Zentralen Musikkonservatorium, der Beihang-Universität und der Tsinghua-Universität entwickelt wurde. Es ist auf die Erzeugung hochwertiger klassischer Notenblätter spezialisiert. Durch die Nachahmung der Trainingsparadigmen großer Sprachmodelle (LLM) kann es qualitativ hochwertige klassische Partituren erzeugen.

NotaGen Kernfunktionen

Erzeugung hochwertiger klassischer Partituren

• NotaGen kann stilgerechte Partituren nach vom Benutzer angegebenen Epochen (z. B. Barock, Klassik, Romantik), Komponisten (z. B. Bach, Mozart, Chopin) und Instrumenten (z. B. Tasteninstrument, Streichquartett, Orchester) erzeugen.

Fortschrittliches Trainingsparadigma

• Vortraining: Vortraining auf über 1,6 Millionen Musikstücken, um grundlegende musikalische Strukturen und Muster zu erlernen.

• Feinabstimmung: Feinabstimmung auf Basis von etwa 9.000 hochwertigen klassischen Werken, um das Verständnis für bestimmte Stile und Komponisten zu vertiefen.

• Bestärkendes Lernen: Optimierung der Qualität und Steuerbarkeit der erzeugten Musik durch die CLaMP-DPO-Methode, ohne manuelle Annotationen oder vordefinierte Belohnungen.

Multimodale Datendarstellung

• NotaGen verwendet die Interleaved ABC Notation, bei der die Noten verschiedener Stimmen in einer Zeile neu angeordnet und durch die Stimmbezeichnung [V:] unterschieden werden. Diese Notation ermöglicht die flexible Verarbeitung mehrspuriger Musik und komplexer Partituren.

Modellarchitektur

• NotaGen verwendet die Tunesformer-Architektur, die zwei Ebenen von GPT-2-Decodern umfasst: einen patch-level decoder und einen character-level decoder. Der patch-level decoder erfasst die zeitlichen Beziehungen zwischen den Patches und übergibt die verborgenen Zustände dann an den character-level decoder, der autoregressiv die Zeichen des nächsten Patches vorhersagt.

Erzeugte Beispiele

• NotaGen bietet Erzeugungsbeispiele in verschiedenen Stilen, darunter Tasteninstrumente, Kammermusik, Orchestermusik, Kunstlied, Chormusik und Vokalorchestermusik. Darüber hinaus wurden auch Versuche zur Erzeugung von Popmusik unternommen.

NotaGen Technologie

• Datendarstellung: Verwendet die Interleaved ABC Notation, die mehrspurige Musik und komplexe Partituren unterstützt.

• Modellarchitektur: Basierend auf Tunesformer, mit patch-level und character-level Decodern.

• Trainingsparadigma:

• Vortraining: Vortraining auf 1,6 Millionen Musikstücken.

• Feinabstimmung: Feinabstimmung auf 9.000 hochwertigen klassischen Partituren, die 152 Komponisten abdecken.

• Bestärkendes Lernen: Optimierung der Qualität und Steuerbarkeit der erzeugten Musik durch die CLaMP-DPO-Methode.

NotaGen Experimente und Bewertung

• Subjektive A/B-Tests: NotaGen übertrifft beim subjektiven A/B-Test das Basismodell in der Qualität der erzeugten Musik und erreicht ein Niveau, das dem menschlicher Komposition nahekommt.

• CLaMP-DPO-Methode: Optimierung der Qualität der erzeugten Musik durch das vom kontrastiven Lernmodell CLaMP² gelieferte Feedback, ohne manuelle Annotationen oder vordefinierte Belohnungen.

NotaGen Anwendungsfälle

• Professionelle Komponisten: Als Inspirations-Werkzeug zur schnellen Erzeugung hochwertiger Partituren.

• Musikbegeisterte: Senkung der Einstiegshürde in die Musikkomposition und Bereitstellung individueller kreativer Unterstützung.

• Musikunterricht: Als Lehrmittel, das Schülern hilft, die Merkmale verschiedener Stile und Epochen zu verstehen.

Projektseite: https://electricalexis.github.io/notagen-demo

GitHub-Repository: https://github.com/ElectricAlexis/NotaGen

Paper: https://arxiv.org/pdf/2502.18008