InspireMusic: framework de código abierto para generación de música del laboratorio Tongyi de Alibaba 137

InspireMusic es un framework de generación de música de código abierto desarrollado por el laboratorio Tongyi de Alibaba. Su arquitectura técnica integra múltiples研究成果 de vanguardia en el campo del audio, ofreciendo a desarrolladoresedores e investigadores una solución de proceso completo para creación música, transferir estilos y sintetizar efectos de sonido. El marco se apoya en la tecnología multimodal de modelos grandes, admite la creación inteligente mediante descripciones de texto o entradas de audio, y ofrece una cadena de herramientas para el ajuste de modelos.

El modo de creación de música a partir de texto de InspireMusic es muy potente. Admite la generación de música de diversos estilos y emociones a través de descripciones textuales, lo que permite a los usuarios crear obras variadas, como jazz o canciones infantiles con melodías encantadoras, según sus preferencias personales.

Funciones principales de InspireMusic:

• Generación de música: InspireMusic puede generar automáticamente obras musicales que cumplen con los requisitos a partir de descripciones de texto proporcionadas por el usuario, como emoción, estilo, armonía, etc.

• Transferencia de estilo de audio: esta tecnología admite la conversión de muestras de audio existentes en música de diferentes estilos, lo que permite a los usuarios lograr fácilmente efectos de transferencia de estilo.

• Herramientas de entrenamiento y ajuste: InspireMusic ofrece a los desarrolladores una serie de herramientas de entrenamiento y ajuste para modelos de generación de audio, con el fin de optimizar los resultados generados y satisfacer necesidades personalizadas.

• Aplicaciones multimodales: combinando texto, audio y su interacción, InspireMusic puede ofrecer una experiencia rica de creación musical y admite múltiples funciones de generación y edición de música.

Características principales

• Marco unificado de generación de audio: basado en tecnología de modelos grandes de audio, InspireMusic admite la generación de música, canciones y audio, ofreciendo a los usuarios una variedad de opciones;

• Generación flexible y controlable: a partir de indicaciones de texto y descripciones de características musicales, los usuarios pueden controlar con precisión el estilo y la estructura de la música generada;

• Simple y fácil de usar: herramientas sencillas de ajuste e inferencia de modelos, que ofrecen a los usuarios herramientas eficientes de entrenamiento y ajuste.

Principios técnicos principales de InspireMusic:

• Audio Tokenizer: mediante un WavTokenizer de un solo libro de códigos con alta relación de compresión, convierte las características de audio continuas de entrada en tokens de audio discretos, admitiendo el formato de datos de audio procesado por el modelo.

• Modelo Transformer autorregresivo: este modelo se inicializa basándose en el modelo Qwen y se utiliza para predecir tokens de audio a partir de indicacioneses de texto, capaz de comprender y generar secuencias musicales que coincidan con la descripción textual.

• Modelo de difusión (Conditional flow matching, CFM): se utiliza para recuperar características de audio de alta calidad a partir de los tokens de audio generados, mejorando la coherencia y naturalidad de la generación de música.

• Vocoder: convierte las características de audio reconstruidas en formas de onda de audio de alta calidad, generando finalmente la obra musical. Admite múltiples frecuencias de muestreo (como 24 kHz y 48 kHz) y puede generar obras de audio de más de 5 minutos de duración.

Modelos principales:

Marco de modelos de InspireMusic: compuesto por un tokenizer de audio, un modelo Transformer autorregresivo, un modelo de difusión basado en ecuaciones diferenciales ordinarias, es decir, un modelo Conditional Flow Matching (CFM), y un Vocoder, admite tareas como generación de música a partir de texto y continuación de música.

Aplicaciones de InspireMusic:

• Creación musical: los usuarios pueden generar obras musicales de diversos estilos mediante sencillas descripciones de texto o indicaciones de audio.

• Educación y aprendizaje: este conjunto de herramientas ofrece a los aficionados y estudiantes de música una plataforma de creación fácil de usar.

• Juegos y entretenimiento: InspireMusic puede usarse para generar música de fondo o efectos de sonido para videojuegos.

• Producción audiovisual: se utiliza para bandas sonoras y efectos de sonido en cine y televisión.

• Publicidad y marketing: InspireMusic puede generar música que se ajuste a las necesidades publicitarias.

• Investigación científica y desarrollo: ofrece a los investigadores y desarrolladores herramientas de entrenamiento y ajuste para modelos de generación musical.

Cómo usarlo:

Hace poco, el laboratorio tongyi de Alibaba anunció que su tecnología de generación musical InspireMusic ya es oficialmente de código abierto. Los usuarios pueden acceder y usar InspireMusic a través del repositorio de GitHub, ModelScope Studio y HuggingFace Spaces.

Repositorio de GitHub:https://github.com/FunAudioLLM/InspireMusic

ModelScope:https://modelscope.cn/studios/iic/InspireMusic/summary

HuggingFace:https://huggingface.co/spaces/FunAudioLLM/InspireMusic