대본 기획 도우미▸ 
AI 앱 
AI 뉴스 
InspireMusic: 알리 통의 실험실에서 출시한 오픈소스 음악 생성 프레임워크
InspireMusic: 알리 통의 실험실에서 출시한 오픈소스 음악 생성 프레임워크소개
InspireMusic은 알리바바 통의实验室(通义实验室)에서 출시한 오픈소스 음악 생성 프레임워크로, 오디오 분야의 다수 최첨단 연구 성과를 통합한 기술 아키텍처를 갖추고 있어 개발자와 연구자에게 음악 제작, 스타일 변환 및 사운드 효과 합성의 전 과정 솔루션을 제공합니다. 이 프레임워크는 다중 모달 대규모 모델 기술에 기반하며, 텍스트 설명 또는 오디오 입력을 통한 지능형 창작을 지원하고, 동시에 완비된 모델 튜닝 도구 체인을 제공합니다.
InspireMusic의 텍스트-음악 창작 모드는 매우 강력합니다. 텍스트 설명을 통해 다양한 스타일과 감정의 음악을 생성할 수 있으며, 사용자는 개인 취향에 따라 재즈나 멜로디가 아름다운 동요 등 다양한风格的 작품을 생성할 수 있습니다.
InspireMusic 핵심 기능:
음악 생성: InspireMusic은 사용자가 제공하는 텍스트 설명(예: 감정, 스타일, 화성 등)을 기반으로 요구 사항에 부합하는 음악 작품을 자동으로 생성할 수 있습니다.
오디오 스타일 변환: 이 기술은 기존 오디오 샘플을 다른 스타일의 음악으로 변환하여 사용자가 손쉽게 스타일 변환 효과를 구현할 수 있도록 합니다.
훈련 및 튜닝 도구: InspireMusic은 개발자에게 일련의 오디오 생성 모델 훈련 및 튜닝 도구를 제공하여 생성 효과를 최적화하고 개인화된 요구 사항을 충족시킵니다.
다중 모달 애플리케이션: 텍스트, 오디오 및 이들의 상호작용을 결합함으로써 InspireMusic은 풍부한 음악 창작 경험을 제공하며, 다양한 유형의 음악 생성 및 편집 기능을 지원합니다.
주요 특징
통합된 오디오 생성 프레임워크: 오디오 대규모 모델 기술에 기반하여 InspireMusic은 음악, 노래 및 오디오 생성을 지원하며, 사용자에게 다양한 선택을 제공합니다.
유연하고 제어 가능한 생성: 텍스트 프롬프트와 음악 특징 설명에 기반하여, 사용자는 생성되는 음악의 스타일과 구조를 정밀하게 제어할 수 있습니다.
간편한 사용성: 간단한 모델 미세 조정 및 추론 도구를 제공하여, 사용자에게 효율적인 훈련 및 튜닝 도구를 제공합니다.
InspireMusic 주요 기술 원리:
오디오 Tokenizer: 고압축률의 단일 코드북 WavTokenizer를 통해 입력된 연속 오디오 특징을 이산 오디오 토큰으로 변환하여, 모델이 처리할 수 있는 오디오 데이터 형식을 지원합니다.
자기회귀 Transformer 모델: 이 모델은 Qwen 모델을 기반으로 초기화되어, 텍스트 프롬프트에 따라 오디오 토큰을 예측하며, 텍스트 설명과 일치하는 음악 시퀀스를 이해하고 생성할 수 있습니다.
확산 모델 (Conditional Flow Matching, CFM): 생성된 오디오 토큰으로부터 고품질 오디오 특징을 복원하여, 음악 생성의 일관성과 자연스러움을 강화합니다.
Vocoder: 재구성된 오디오 특징을 고품질 오디오 파형으로 변환하여 최종적으로 음악 작품을 출력합니다. 다양한 샘플링 레이트(예: 24kHz 및 48kHz)를 지원하며, 5분 이상의 긴 오디오 작품을 생성할 수 있습니다.
핵심 모델:
InspireMusic 모델 프레임워크: 오디오 토크나이저, 자기회귀 Transformer 모델, 상미분 방정식 기반 확산 모델인 Conditional Flow Matching (CFM) 모델, Vocoder로 구성되며, 텍스트 기반 음악 생성, 음악 이어쓰기 등의 작업을 지원합니다.
InspireMusic의 응용 분야:
음악 창작: 사용자는 간단한 텍스트 설명 또는 오디오 프롬프트를 통해 다양한 스타일의 음악 작품을 생성할 수 있습니다.
교육 및 학습: 이 툴킷은 음악 애호가와 학습자에게 사용하기 쉬운 창작 플랫폼을 제공합니다.
게임 및 엔터테인먼트: InspireMusic은 게임 배경 음악 또는 사운드 효과를 생성하는 데 사용될 수 있습니다.
영화 및 TV 제작: 영화 및 TV 음악과 사운드 효과 제작에 사용됩니다.
광고 및 마케팅: InspireMusic은 광고 요구 사항에 부합하는 음악을 생성할 수 있습니다.
연구 및 개발: 연구자와 개발자에게 음악 생성 모델의 훈련 및 튜닝 도구를 제공합니다.
사용 방식:
최근 알리바바 통의实验室는 자사의 음악 생성 기술 InspireMusic이正式 오픈소스화되었다고 발표했습니다. 사용자는 GitHub 저장소, ModelScope 창작 공간, HuggingFace Spaces 등의 플랫폼을 통해 InspireMusic에 접근하고 사용할 수 있습니다.
GitHub 저장소:https://github.com/FunAudioLLM/InspireMusic
ModelScope:https://modelscope.cn/studios/iic/InspireMusic/summary
HuggingFace:https://huggingface.co/spaces/FunAudioLLM/InspireMusic
