Qinyue : Grand Modèle Musical IA 172

Le grand modèle musical Qin Yue est un grand modèle d'IA dédié à la musique, développé conjointement par le laboratoire Qin Lab de Tencent et le AI Lab de Tencent. Il dispose de riches capacités de composition et d'arrangement musical assistés par IA. Il suffit de saisir des mots-clés en chinois ou en anglais, des phrases descriptives ou un fichier audio pour que le grand modèle Qin Yue génère directement de la musique.

Principales caractéristiques fonctionnelles du grand modèle Qin Yue :

• Génération musicale : Le grand modèle Qin Yue est capable de générer intelligemment de la musique à partir de mots-clés en chinois ou en anglais, de phrases descriptives ou d'entrées audio fournies par l'utilisateur, permettant ainsi la création musicale automatisée.

• Génération de partitions : Outre la génération audio, le grand modèle Qin Yue peut également générer des partitions détaillées, comprenant la mélodie, les accords, l'accompagnement et les percussions sur plusieurs pistes, offrant aux utilisateurs une structure musicale riche.

• Édition automatique : Le modèle prend en charge une série d'opérations d'édition automatique sur les partitions générées, notamment la poursuite de la partition, la régénération de pistes ou de mesures spécifiques, le réarrangement, la modification du type d'instrument et du rythme.

• Alignement audio-texte : Grâce à des techniques d'apprentissage contrastif, le grand modèle Qin Yue construit un espace de caractéristiques partagé permettant d'aligner les étiquettes audio ou les descriptions textuelles avec l'audio lui-même, fournissant ainsi des signaux de contrôle conditionnel au modèle de génération, ce qui renforce la pertinence et la précision de la génération musicale.

• Extraction de représentations partition/audio : Le modèle est capable de convertir des partitions ou des fichiers audio en une série de séquences discrètes de caractéristiques (tokens), qui constituent la base des prédictions du grand modèle de langage.

• Prédiction par grand modèle de langage : À l'aide d'une architecture de type decoder-only, le grand modèle Qin Yue est entraîné par prédiction de la caractéristique suivante (next token prediction) ; les séquences prédites peuvent être reconverties en partitions ou en audio, permettant ainsi la conversion de texte en musique.

• Restauration audio : Grâce aux technologies de flow matching et de vocodeur, le grand modèle Qin Yue est capable de restaurer les séquences de représentations audio prédites en audio écoutable, améliorant ainsi le caractère réaliste et la qualité du son.

• Respect de la théorie musicale : Lors du processus de génération musicale, le grand modèle Qin Yue respecte la théorie musicale, garantissant que la mélodie, les accords, le rythme et d'autres éléments respectent la logique musicale et l'esthétique humaine.

Domaines d'application du grand modèle Qin Yue

• Création musicale : Fournir aux musiciens professionnels des outils efficaces de composition et d'arrangement, simplifiant les tâches fastidieuses du processus créatif.
  

• Domaine de l'éducation : Aider les étudiants à comprendre et à apprendre la théorie musicale grâce à des partitions générées automatiquement pour s'exercer.

• Industrie du divertissement : Les utilisateurs ordinaires peuvent également découvrir le charme de la création musicale par des opérations simples, augmentant ainsi l'interactivité et le caractère ludique.

Le laboratoire Tianqin de Tencent Music se consacre à la recherche et à la mise en œuvre de technologies multimédias et d'applications d'IA pour des produits tels que QQ Music, Quanmin K Ge (chant pour tous), Tencent Music People, Kuwo et Kugou. Parmi les projets phares dont il est responsable figurent, sur QQ Music, l'identification de chansons à l'écoute, la reconnaissance de fredonnements, l'identification de reprises, l'horodatage des paroles, la qualité sonore Zhenpin, DMEE, le montage vidéo de clips, la reconnaissance de sous-titres et la reconnaissance de célébrités ; sur Quanmin K Ge, l'évaluation du chant, la correction intelligente de la voix, les effets sonores intelligents et la synthèse vocale ; sur Lanren Changting, la lecture IA et les textes IA ; ainsi que dans l'interaction en direct, l'évaluation intelligente, l'identification des moments forts et l'amélioration de la vidéo de bout en bout (cloud et terminal combinés). Parallèlement, le laboratoire explore également les technologies d'humains virtuels dans le métaverse : de petits personnages virtuels frères et sœurs, Xiaotian et Xiaoqin, axés sur l'image virtuelle, la danse virtuelle, la génération d'expressions de chant et les spectacles de musique et de lumière, seront bientôt dévoilés — restez à l'écoute.

Actuellement, les technologies liées au grand modèle Qin Yue ont été mises en service sur la plateforme Qiming Xing de Tencent Music, où les utilisateurs peuvent s'inscrire gratuitement pour en faire l'expérience.