InspireMusic : framework open source de génération musicale par le laboratoire Tongyi d'Alibaba 129

InspireMusic est un framework open source de génération musicale lancé par le laboratoire Tongyi d'Alibaba. Son architecture technique intègre plusieurs résultats de recherche de pointe dans le domaine audio, offrant aux développeurs et aux chercheurs une solution complète pour la création musicale, la conversion de style et la synthèse d'effets sonores. S'appuyant sur la technologie des grands modèles multimodaux, ce framework prend en charge la création intelligente via des descriptions textuelles ou des entrées audio, tout en fournissant une chaîne complète d'outils d'ajustement de modèles.

Le mode de création musique-à-partir-de-texte d'InspireMusic est extrêmement puissant. Il permet de générer de la musique de divers styles et émotions à partir de descriptions textuelles, et les utilisateurs peuvent créer des œuvres variées, telles que du jazz ou des comptines aux mélodies suaves, selon leurs préférences personnelles.

Fonctionnalités principales d'InspireMusic :

• Génération musicale : InspireMusic peut générer automatiquement des œuvres musicales correspondant aux exigences de l'utilisateur, sur la base des descriptions textuelles fournies, telles que l'émotion, le style, l'harmonie, etc.

• Conversion de style audio : cette technologie permet de transformer des échantillons audio existants en musique de styles différents, permettant aux utilisateurs d'obtenir facilement des effets de conversion de style.

• Outils d'entraînement et d'ajustement : InspireMusic offre aux développeurs une série d'outils d'entraînement et d'ajustement pour les modèles de génération audio, afin d'optimiser les résultats de génération et de répondre aux besoins personnalisés.

• Applications multimodales : en combinant texte, audio et leurs interactions, InspireMusic offre une expérience de création musicale riche et prend en charge plusieurs types de génération et d'édition musicales.

Caractéristiques principales

• Framework unifié de génération audio : basé sur la technologie des grands modèles audio, InspireMusic prend en charge la génération de musique, de chansons et d'audio, offrant aux utilisateurs un choix diversifié ;

• Génération flexible et contrôlable : à partir d'invites textuelles et de descriptions de caractéristiques musicales, les utilisateurs peuvent contrôler avec précision le style et la structure de la musique générée ;

• Simple et facile à utiliser : des outils simples de réglage fin et d'inférence offrant aux utilisateurs des outils efficaces d'entraînement et d'ajustement.

Principes techniques principaux d'InspireMusic :

• Tokenizer audio : via le WavTokenizer à codebook unique à haut taux de compression, les caractéristiques audio continues en entrée sont converties en tokens audio discrets, prenant en charge le format de données audio traité par le modèle.

• Modèle Transformer autorégressif : ce modèle est initialisé à partir du modèle Qwen et est utilisé pour prédire les tokens audio en fonction d'invites textuelles, capable de comprendre et de générer des séquences musicales correspondant aux descriptions textuelles.

• Modèle de diffusion (Conditional Flow Matching, CFM) : utilisé pour reconstituer des caractéristiques audio de haute qualité à partir des tokens audio générés, renforçant la cohérence et le naturel de la génération musicale.

• Vocoder : convertit les caractéristiques audio reconstruites en formes d'onde audio de haute qualité, produisant finalement l'œuvre musicale. Il prend en charge plusieurs fréquences d'échantillonnage (telles que 24 kHz et 48 kHz) et peut générer des œuvres audio de plus de 5 minutes.

Modèle principal :

Le framework du modèle InspireMusic est composé d'un tokenizer audio, d'un modèle Transformer autorégressif, d'un modèle de diffusion basé sur des équations différentielles ordinaires (Conditional Flow Matching, CFM) et d'un Vocoder, et peut prendre en charge des tâches telles que la génération de musique à partir de texte et la continuation musicale.

Applications d'InspireMusic :

• Création musicale : les utilisateurs peuvent générer des œuvres musicales de divers styles à partir de simples descriptions textuelles ou d'invites audio.

• Éducation et apprentissage : cette boîte à outils offre aux amateurs et apprenants en musique une plateforme de création facile à utiliser.

• Jeux et divertissement : InspireMusic peut être utilisé pour générer de la musique de fond ou des effets sonores pour les jeux.

• Production cinématographique et télévisuelle : utilisé pour les bandes-son et les effets sonores de films et d'émissions.

• Publicité et marketing : InspireMusic peut générer de la musique répondant aux besoins publicitaires.

• Recherche scientifique et développement : fournit aux chercheurs et développeurs des outils d'entraînement et d'ajustement pour les modèles de génération musicale.

Mode d'utilisation :

Récemment, le laboratoire Tongyi d'Alibaba a annoncé que sa technologie de génération musicale InspireMusic est officiellement open source. Les utilisateurs peuvent accéder à InspireMusic et l'utiliser via le dépôt GitHub, l'espace créatif ModelScope ainsi que HuggingFace Spaces.

Dépôt GitHub :https://github.com/FunAudioLLM/InspireMusic

ModelScope :https://modelscope.cn/studios/iic/InspireMusic/summary

HuggingFace :https://huggingface.co/spaces/FunAudioLLM/InspireMusic