NotaGen: modelo de IA para generar partituras clásicas de alta calidad 117

¿Qué es NotaGen?

NotaGen es un modelo de generación de música con IA desarrollado conjuntamente por el Conservatorio Central de Música, la Universidad de Beihang y la Universidad de Tsinghua, entre otras instituciones, especializado en generar partituras clásicas de alta calidad. Mediante la imitación del paradigma de entrenamiento de los grandes modelos de lenguaje (LLM), es capaz de generar partituras clásicas de alta calidad.

Características principales de NotaGen

Generación de partituras clásicas de alta calidad

• NotaGen puede generar partituras acordes a un estilo específico según el período (como Barroco, Clásico, Romántico), el compositor (como Bach, Mozart, Chopin) y el instrumento (como teclado, cuarteto de cuerdas, orquesta) que indique el usuario.

Paradigma de entrenamiento avanzado

• Preentrenamiento: preentrenamiento sobre más de 1,6 millones de obras musicales para aprender las estructuras y patrones básicos de la música.

• Ajuste fino: ajuste fino basado en aproximadamente 9000 obras clásicas de alta calidad para mejorar la comprensión de estilos y compositores específicos.

• Aprendizaje por refuerzo: optimización de la calidad y controlabilidad de la música generada mediante el método CLaMP-DPO, sin necesidad de anotaciones humanas ni recompensas predefinidas.

Representación de datos multimodal

• NotaGen utiliza la notación ABC intercalada (Interleaved ABC Notation), que reordena las notas de las distintas voces en una sola línea y las diferencia mediante el indicador de voz [V:]. Esta representación permite manejar con flexibilidad música multipista y partituras complejas.

Arquitectura del modelo

• NotaGen adopta la arquitectura Tunesformer, que incluye dos niveles de decodificadores GPT-2: patch-level decoder y character-level decoder. El patch-level decoder captura las relaciones temporales entre patches, y luego pasa los estados ocultos al character-level decoder, que predice de forma autorregresiva los caracteres del siguiente patch.

Muestras generadas

• NotaGen ofrece muestras generadas en múltiples estilos, incluyendo teclado, música de cámara, orquesta, lied, coro y orquesta vocal. Además, se ha experimentado con la generación en estilos de música popular.

Tecnología de NotaGen

• Representación de datos: adopta la notación ABC intercalada, compatible con música multipista y partituras complejas.

• Arquitectura del modelo: basada en Tunesformer, incluye decodificadores patch-level y character-level.

• Paradigma de entrenamiento:

• Preentrenamiento: preentrenamiento sobre 1,6 millones de obras musicales.

• Ajuste fino: ajuste fino sobre 9000 partituras clásicas de alta calidad, abarcando 152 compositores.

• Aprendizaje por refuerzo: optimización de la calidad y controlabilidad de la música generada mediante el método CLaMP-DPO.

Experimentos y evaluación de NotaGen

• Pruebas subjetivas A/B: NotaGen supera a los modelos de referencia en la calidad de la música generada, acercándose al nivel de un compositor humano.

• Método CLaMP-DPO: optimización de la calidad de la música generada mediante la retroalimentación proporcionada por el modelo de aprendizaje contrastivo CLaMP², sin necesidad de anotaciones humanas ni recompensas predefinidas.

Casos de uso de NotaGen

• Compositores profesionales: como herramienta de inspiración para generar rápidamente partituras de alta calidad.

• Aficionados a la música: reduce la barrera de entrada a la creación musical y ofrece soporte creativo personalizado.

• Educación musical: como herramienta didáctica que ayuda a los estudiantes a comprender las características de la música de diferentes estilos y períodos.

Página del proyecto: https://electricalexis.github.io/notagen-demo

Repositorio de GitHub: https://github.com/ElectricAlexis/NotaGen

Paper: https://arxiv.org/pdf/2502.18008