M2UGen: мультимодальная платформа для понимания и генерации музыки 116

Tencent выпустил мультимодальную модель генерации музыки M2UGen, поддерживающую создание музыки из изображений и видео. M2UGen — это передовой фреймворк, объединяющий задачи понимания музыки и мультимодальной генерации музыки, призванный помочь пользователям в создании музыкальных произведений. Благодаря своим мощным возможностям M2UGen предоставляет комплексный опыт генерации и редактирования музыки.

Демо-адрес M2UGen:https://huggingface.co/M2UGen

Адрес проекта M2UGen:https://github.com/shansongliu/M2UGen

Адрес статьи M2UGen:https://arxiv.org/abs/2311.11255

Модель M2UGen представляет собой модель понимания и генерации музыки, способную выполнять музыкальные вопросы и ответы, а также генерировать музыку на основе текста, изображений, видео и аудио, а также редактировать музыку. Данная модель использует кодировщики, такие как MERT для понимания музыки, ViT для понимания изображений и ViViT для понимания видео, а также модели MusicGen/AudioLDM2 в качестве моделей генерации музыки (музыкальный декодер), адаптеры и модель LLaMA 2.

Генерация и понимание музыки

Мы представляем фреймворк M2UGen, способный одновременно решать задачи понимания музыки и мультимодальной генерации музыки, призванный помочь пользователям в создании музыкальных произведений.

Наборы данных для музыки

Мы предлагаем систематический подход для создания крупных мультимодальных музыкальных наборов данных в виде инструкций. Мы используем модель MU-LLaMA и модель MPT-7B-Chat от MosaicML для генерации музыкальных наборов данных.

Мы также используем модель создания подписей к изображениям BLIP и модель создания подписей VideoMAE для аннотирования соответствующих модальностей.

Помимо генерации музыки из текста, она также поддерживает создание музыки из изображений, видео и аудио, а также позволяет редактировать уже существующую музыку. В проекте используются такие кодировщики, как MERT для понимания музыки, ViT для понимания изображений и ViViT для понимания видео, а также модели MusicGen/AudioLDM2 в качестве моделей генерации музыки (музыкальный декодер). Пользователи могут легко удалять или заменять определённые инструменты, настраивать ритм и темп музыки. Это позволяет пользователям создавать музыкальные произведения, соответствующие их уникальному творческому замыслу.

Кроме того, в M2UGen также интегрированы адаптеры и модель LLaMA 2, что придаёт модели широкий спектр возможностей.