M2UGen: framework multimodal para comprensión y generación de música 122

Tencent lanza el modelo de generación de música multimodal M2UGen que admite la generación de música a partir de imágenes y vídeos. M2UGen es un marco vanguardista que integra tareas de comprensión musical y generación de música multimodal, con el objetivo de ayudar a los usuarios en la creación artística musical. Gracias a sus potentes funciones, M2UGen ofrece una experiencia completa de generación y edición de música.

Dirección de demostración de M2UGen:https://huggingface.co/M2UGen

Dirección del proyecto M2UGen:https://github.com/shansongliu/M2UGen

Dirección del artículo de M2UGen:https://arxiv.org/abs/2311.11255

El modelo M2UGen es un modelo de comprensión y generación de música capaz de realizar preguntas y respuestas sobre música, así como generación de música, a partir de texto, imágenes, vídeos y audio, además de edición de música. El modelo utiliza codificadores, como MERT para la comprensión musical, ViT para la comprensión de imágenes y ViViT para la comprensión de vídeos, junto con los modelos MusicGen/AudioLDM2 como modelos de generación de música (decodificadores de música), además de adaptadores y el modelo LLaMA 2.

Generación y comprensión de música

Presentamos el marco M2UGen, capaz de abordar simultáneamente tareas de comprensión musical y generación de música multimodal, con el objetivo de asistir a los usuarios en la creación artística relacionada con la música.

Conjuntos de datos orientados a la música

Proponemos un método sistemático para generar grandes conjuntos de datos de instrucciones orientados a música multimodal. Utilizamos el modelo MU-LLaMA y el modelo MPT-7B-Chat de MosaicML para generar los conjuntos de datos orientados a la música.

También aprovechamos el modelo de subtitulación de imágenes BLIP y el modelo de subtitulación VideoMAE para añadir subtítulos a sus respectivas modalidades.

Además de generar música a partir de texto, también admite la generación de música a partir de imágenes, vídeos y audio, y permite editar música ya existente. El proyecto emplea codificadores como MERT para la comprensión musical, ViT para la comprensión de imágenes y ViViT para la comprensión de vídeos, y utiliza los modelos MusicGen/AudioLDM2 como modelos de generación de música (decodificadores de música). Los usuarios pueden eliminar o sustituir fácilmente instrumentos específicos y ajustar el ritmo y la velocidad de la música. Esto permite a los usuarios crear obras musicales que se ajusten a su creatividad única.

Además, M2UGen incorpora adaptadores y el modelo LLaMA 2, lo que dota al modelo de múltiples capacidades.