NotaGen: ИИ-модель для генерации качественных классических партитур 123

Что такое NotaGen?

NotaGen — это модель генерации музыки с помощью ИИ, разработанная совместно Центральной консерваторией музыки, Пекинским университетом аэронавтики и астронавтики и Университетом Цинхуа. Она специализируется на создании высококачественных классических нотных записей. Модель имитирует парадигму обучения больших языковых моделей (LLM) и способна генерировать высококачественные классические ноты.

Ключевые особенности NotaGen

Генерация высококачественных классических нот

• NotaGen может создавать ноты в заданном стиле в соответствии с указанной пользователем эпохой (например, барокко, классицизм, романтизм), композитором (например, Бах, Моцарт, Шопен) и инструментом (например, клавишные, струнный квартет, оркестр).

Передовая парадигма обучения

• Предварительное обучение: проводится на более чем 1,6 миллиона музыкальных произведений для изучения базовой структуры и закономерностей музыки.

• Тонкая настройка: выполняется на основе около 9000 высококачественных классических произведений для улучшения понимания конкретных стилей и композиторов.

• Обучение с подкреплением: оптимизация качества и управляемости генерируемой музыки с помощью метода CLaMP-DPO без необходимости ручной разметки или заранее определённых вознаграждений.

Мультимодальное представление данных

• NotaGen использует чередующуюся нотацию ABC (Interleaved ABC Notation), которая перестраивает ноты разных голосов в одну строку и разделяет их с помощью указателя голоса [V:]. Такое представление позволяет гибко обрабатывать многодорожечную музыку и сложные нотные записи.

Архитектура модели

• NotaGen использует архитектуру Tunesformer, включающую два уровня декодеров GPT-2: patch-level decoder и character-level decoder. Patch-level decoder фиксирует временны́е зависимости между патчами, после чего скрытое состояние передаётся в character-level decoder, который авторегрессионно предсказывает символы следующего патча.

Примеры генерации

• NotaGen предоставляет множество сгенерированных образцов в различных стилях, включая клавишные, камерную музыку, оркестровую, вокальные циклы, хоровую и вокально-оркестровую музыку. Кроме того, были предприняты попытки генерации в стиле популярной музыки.

Технология NotaGen

• Представление данных: используется чередующаяся нотация ABC, поддерживающая многодорожечную музыку и сложные нотные записи.

• Архитектура модели: основана на Tunesformer и включает декодеры patch-level и character-level.

• Парадигма обучения:

• Предварительное обучение: проводится на 1,6 миллиона музыкальных произведений.

• Тонкая настройка: выполняется на 9000 высококачественных классических нотах, охватывающих 152 композиторов.

• Обучение с подкреплением: оптимизация качества и управляемости генерируемой музыки с помощью метода CLaMP-DPO.

Эксперименты и оценка NotaGen

• Субъективное A/B-тестирование: NotaGen превосходит базовые модели по качеству генерируемой музыки и приближается к уровню композиторского мастерства человека.

• Метод CLaMP-DPO: оптимизация качества генерируемой музыки с помощью обратной связи от модели контрастного обучения CLaMP² без необходимости ручной разметки или заранее определённых вознаграждений.

Сценарии использования NotaGen

• Профессиональные композиторы: как инструмент для вдохновения, позволяющий быстро создавать высококачественные ноты.

• Любители музыки: снижает порог входа в музыкальное творчество и обеспечивает персонализированную поддержку создания.

• Музыкальное образование: служит учебным пособием, помогающим студентам понять особенности музыки разных стилей и эпох.

Домашняя страница проекта: https://electricalexis.github.io/notagen-demo

Репозиторий на GitHub: https://github.com/ElectricAlexis/NotaGen

Статья: https://arxiv.org/pdf/2502.18008