M2UGen: 멀티모달 음악 이해 및 생성 프레임워크 121

텐센트가 멀티모달 음악 생성 모델 M2UGen을 출시하여 이미지, 비디오로 음악 생성을 지원합니다. M2UGen은 음악 이해와 멀티모달 음악 생성 작업을 융합한 트렌드를 선도하는 프레임워크로, 사용자의 음악 예술 창작을 돕는 것을 목표로 합니다. 강력한 기능을 통해 M2UGen은 전방위적인 음악 생성 및 편집 경험을 제공합니다.

M2UGen 데모 주소:https://huggingface.co/M2UGen

M2UGen 프로젝트 주소:https://github.com/shansongliu/M2UGen

M2UGen 논문 주소:https://arxiv.org/abs/2311.11255

M2UGen 모델은 음악 이해 및 생성 모델로, 텍스트, 이미지, 비디오 및 오디오로부터 음악 질의응답과 음악 생성, 그리고 음악 편집을 수행할 수 있습니다. 이 모델은 음악 이해를 위한 MERT, 이미지 이해를 위한 ViT, 비디오 이해를 위한 ViViT와 같은 인코더, 그리고 MusicGen/AudioLDM2 모델을 음악 생성 모델(음악 디코더)로, 그리고 어댑터와 LLaMA 2 모델을 활용합니다.

음악의 생성과 이해

저희는 음악 이해와 멀티모달 음악 생성 작업을 동시에 수행할 수 있는 M2UGen 프레임워크를 소개하며, 이는 사용자가 음악과 관련된 예술 창작을 수행하는 데 도움을 주는 것을 목표로 합니다.

음악 지향 데이터셋

저희는 멀티모달 음악 지향 대규모 명령어 데이터셋을 생성하기 위한 체계적인 방법을 제안하며, MU-LLaMA 모델과 MosaicML의 MPT-7B-Chat 모델을 사용하여 음악 지향 데이터셋을 생성합니다.

또한 BLIP 이미지 캡션 모델과 VideoMAE 캡션 모델을 활용하여 각 모달리티에 캡션을 추가합니다.

텍스트로부터 음악을 생성할 수 있을 뿐만 아니라, 이미지, 비디오 및 오디오로부터 음악을 생성하는 것도 지원하며, 이미 존재하는 음악을 편집할 수도 있습니다. 이 프로젝트는 음악 이해를 위해 MERT 등의 인코더를, 이미지 이해를 위해 ViT를, 비디오 이해를 위해 ViViT를 활용하며, MusicGen/AudioLDM2 모델을 음악 생성 모델(음악 디코더)로 사용합니다. 사용자는 특정 악기를 손쉽게 제거하거나 교체하고, 음악의 리듬과 속도를 조정할 수 있습니다. 이를 통해 사용자는 자신만의 독창적인创意에 부합하는 음악 작품을 창작할 수 있습니다.

또한 M2UGen에는 어댑터와 LLaMA 2 모델이 추가되어, 이 모델이 다양한 능력을 갖추도록 합니다.