M2UGen: multimodales Framework für Musikverständnis und -generierung 117

Tencent veröffentlicht das multimodale Musikgenerierungsmodell M2UGen, das die Generierung von Musik aus Bildern und Videos unterstützt. M2UGen ist ein richtungsweisendes Framework, das Musikverständnis und multimodale Musikgenerierungsaufgaben miteinander vereint und darauf abzielt, Nutzer beim musikkünstlerischen Schaffen zu unterstützen. Durch seine leistungsstarken Funktionen bietet M2UGen ein umfassendes Musikgenerierungs- und Bearbeitungserlebnis.

M2UGen Demo-Adresse:https://huggingface.co/M2UGen

M2UGen Projekt-Adresse:https://github.com/shansongliu/M2UGen

M2UGen Paper-Adresse:https://arxiv.org/abs/2311.11255

Das Modell M2UGen ist ein Modell für Musikverständnis und -generierung, das musikalische Frage-Antwort-Aufgaben sowie Musikgenerierung aus Text, Bildern, Videos und Audio sowie Musikbearbeitung durchführen kann. Das Modell nutzt Encoder wie MERT für das Musikverständnis, ViT für das Bildverständnis und ViViT für das Videoverständnis sowie die Modelle MusicGen/AudioLDM2 als Musikgenerierungsmodelle (Musik-Decoder) sowie Adapter und das LLaMA-2-Modell.

Musikgenerierung und -verständnis

Wir stellen das M2UGen-Framework vor, das in der Lage ist, Aufgaben des Musikverständnisses und der multimodalen Musikgenerierung gleichzeitig zu übernehmen und darauf abzielt, Nutzer bei musikbezogenen künstlerischen Kreationen zu unterstützen.

Datensatz für Musik

Wir schlagen eine systematische Methode zur Erstellung eines großen, auf multimodale Musik ausgerichteten Instruktionsdatensatzes vor und verwenden das Modell MU-LLaMA sowie das Modell MPT-7B-Chat von MosaicML zur Generierung des musikbezogenen Datensatzes.

Wir nutzen außerdem das Bilduntertitelungsmodell BLIP und das VideoMAE-Untertitelungsmodell, um die jeweiligen Modalitäten zu beschriften.

Neben der Musikgenerierung aus Text unterstützt es auch die Generierung von Musik aus Bildern, Videos und Audio sowie die Bearbeitung bereits vorhandener Musik. Das Projekt verwendet Encoder wie MERT für das Musikverständnis, ViT für das Bildverständnis und ViViT für das Videoverständnis und nutzt die Modelle MusicGen/AudioLDM2 als Musikgenerierungsmodelle (Musik-Decoder). Nutzer können bestimmte Instrumente einfach entfernen oder ersetzen und das Tempo sowie die Geschwindigkeit der Musik anpassen. Dadurch können Nutzer Musikwerke schaffen, die ihrer einzigartigen Kreativität entsprechen.

Darüber hinaus integriert M2UGen Adapter und das LLaMA-2-Modell, sodass das Modell über vielfältige Fähigkeiten verfügt.