대본 기획 도우미▸ 
AI 앱 
AI 뉴스 
NotaGen: 고품질 클래식 악보 생성 특화 AI 음악 모델
NotaGen: 고품질 클래식 악보 생성 특화 AI 음악 모델소개
NotaGen이란 무엇인가?
NotaGen은 중앙음악학원, 베이징 항공항천대학교, 칭화대학교 등 기관이 공동 개발한 AI 음악 생성 모델로, 고품질의 클래식 악보 생성에 집중합니다. 대규모 언어 모델(LLM)의 학습 패러다임을 모방하여 고품질의 클래식 악보를 생성할 수 있습니다.
NotaGen 핵심 특징
고품질 클래식 악보 생성
NotaGen은 사용자가 지정한 시대(바로크, 클래식, 낭만주의 등), 작곡가(바흐, 모차르트, 쇼팽 등) 및 악기(키보드, 현악 사중주, 오케스트라 등)에 따라 특정 스타일에 맞는 악보를 생성할 수 있습니다.
先进的 훈련 패러다임
사전 학습: 160만 곡 이상의 악곡에서 사전 학습을 수행하여 음악의 기본 구조와 패턴을 학습합니다.
미세 조정: 약 9000곡의 고품질 클래식 작품을 기반으로 미세 조정하여 특정 스타일과 작곡가에 대한 이해를 강화합니다.
강화 학습: CLaMP-DPO 방법을 통해 생성 음악의 품질과 제어성을 최적화하며, 수동 주석이나 사전 정의된 보상이 필요하지 않습니다.
다중 모달 데이터 표현
NotaGen은 인터리브된 ABC 표기법(Interleaved ABC Notation)을 사용하여 여러 성부의 음표를 한 줄로 재배열하고 성부 표시자 [V:]로 구분합니다. 이러한 표현 방식은 다중 트랙 음악과 복잡한 악표를 유연하게 처리할 수 있습니다.
모델 아키텍처
NotaGen은 Tunesformer 아키텍처를 채택하며, 패치 수준 디코더와 문자 수준 디코더라는 두 계층의 GPT-2 디코더를 포함합니다. 패치 수준 디코더로 패치 간의 시간적 관계를 포착한 후, 은닉 상태를 문자 수준 디코더에 전달하여 다음 패치의 문자를 자기회귀적으로 예측합니다.
생성 샘플
NotaGen은 키보드, 실내악, 오케스트라, 예술곡, 합창, 성악 오케스트라 등 다양한 스타일의 생성 샘플을 제공합니다. 또한 팝 음악 스타일 생성도 시도했습니다.
NotaGen 기술
데이터 표현: 인터리브된 ABC 표기법을 채택하여 다중 트랙 음악과 복잡한 악보를 지원합니다.
모델 아키텍처: Tunesformer를 기반으로 하며 패치 수준 및 문자 수준 디코더를 포함합니다.
훈련 패러다임:
사전 학습: 160만 곡의 악곡에서 사전 학습을 수행합니다.
미세 조정: 152명의 작곡가가 포함된 9000곡의 고품질 클래식 악보에서 미세 조정을 수행합니다.
강화 학습: CLaMP-DPO 방법을 통해 생성 음악의 품질과 제어성을 최적화합니다.
NotaGen 실험 및 평가
주관적 A/B 테스트: NotaGen은 생성 음악의 품질에서 베이스라인 모델보다 우수하며 인간 작곡 수준에 근접합니다.
CLaMP-DPO 방법: 대비 학습 모델 CLaMP²가 제공하는 피드백을 통해 생성 음악의 품질을 최적화하며, 수동 주석이나 사전 정의된 보상이 필요하지 않습니다.
NotaGen 사용 시나리오
전문 작곡가:灵感灵感 영감의 도구로 사용하여 고품질 악보를 빠르게 생성합니다.
음악 애호가: 음악 창작의门槛门槛 진입 장벽을 낮추고 개인화된 창작 지원을 제공합니다.
음악 교육: 교수 도구로 활용하여 학생들이 다양한 스타일과 시대의 음악적 특징을 이해하도록 돕습니다.
프로젝트 홈페이지: https://electricalexis.github.io/notagen-demo
GitHub 저장소: https://github.com/ElectricAlexis/NotaGen
논문: https://arxiv.org/pdf/2502.18008
