M2UGen : framework multimodal pour comprendre et générer de la musique 126

Tencent a publié le modèle de génération musicale multimodale M2UGen, qui prend en charge la génération de musique à partir d'images et de vidéos. M2UGen est un framework de pointe qui combine les tâches de compréhension musicale et de génération musicale multimodale, dans le but d'aider les utilisateurs dans leurs créations musicales artistiques. Grâce à ses puissantes fonctionnalités, M2UGen offre une expérience complète de génération et d'édition musicale.

Adresse de démonstration de M2UGen :https://huggingface.co/M2UGen

Adresse du projet M2UGen :https://github.com/shansongliu/M2UGen

Adresse de l'article sur M2UGen :https://arxiv.org/abs/2311.11255

Le modèle M2UGen est un modèle de compréhension et de génération musicale capable de répondre à des questions et de générer de la musique à partir de texte, d'images, de vidéos et d'audio, ainsi que d'éditer de la musique. Ce modèle utilise des encodeurs tels que MERT pour la compréhension musicale, ViT pour la compréhension d'images et ViViT pour la compréhension vidéo, ainsi que les modèles MusicGen/AudioLDM2 comme modèles de génération musicale (décodeur musical), et intègre des adaptateurs et le modèle LLaMA 2.

Génération et compréhension musicale

Nous présentons le framework M2UGen, capable de gérer simultanément les tâches de compréhension musicale et de génération musicale multimodale, visant à assister les utilisateurs dans leurs créations artistiques liées à la musique.

Jeux de données orientés musique

Nous proposons une approche systématique pour générer de grands jeux de données d'instructions multimodales orientés vers la musique. Nous utilisons le modèle MU-LLaMA et le modèle MPT-7B-Chat de MosaicML pour générer des jeux de données orientés musique.

Nous utilisons également le modèle de sous-titrage d'images BLIP et le modèle de sous-titrage VideoMAE pour ajouter des sous-titres à leurs modalités respectives.

Outre la génération de musique à partir de texte, il prend également en charge la génération de musique à partir d'images, de vidéos et d'audio, et permet également d'éditer de la musique existante. Ce projet utilise des encodeurs tels que MERT pour la compréhension musicale, ViT pour la compréhension d'images et ViViT pour la compréhension vidéo, et utilise les modèles MusicGen/AudioLDM2 comme modèles de génération musicale (décodeur musical). Les utilisateurs peuvent facilement supprimer ou remplacer un instrument spécifique, ajuster le rythme et la vitesse de la musique. Cela permet aux utilisateurs de créer des œuvres musicales conformes à leur créativité unique.

De plus, M2UGen intègre également des adaptateurs et le modèle LLaMA2, conférant au modèle de multiples capacités.