Mureka O1 : le premier grand modèle de raisonnement musical au monde, par Kunlun Tech 164

Qu'est-ce que Mureka O1 ?

Mureka O1 est le premier grand modèle de raisonnement musical au monde, publié par Kunlun Wanwei. Il adopte une technologie de chaîne de pensée (Chain of Thought) et, grâce à un raisonnement multi-tours et à une génération structurée, est capable de créer des œuvres musicales de haute qualité. Il prend en charge plusieurs langues, styles musicaux et expressions émotionnelles, et dispose de fonctionnalités telles que le clonage de timbre et la référence de chansons. Il offre une génération rapide et à faible latence. Son API ouverte et ses services de fine-tuning de modèles fournissent un puissant support en ia pour les domaines de la création musicale, de la production, de l'éducation et du divertissement.

Principe technique

• Technologie de chaîne de pensée (Chain of Thought, CoT) : simule le processus de réflexion en plusieurs étapes propre à l'humain, en décomposant les tâches complexes de génération musicale en plusieurs étapes de raisonnement successives. Lors de la génération musicale, le modèle est capable de mener une réflexion plus approfondie et de s'auto-optimiser, améliorant ainsi la qualité et la cohérence de la musique produite.

• Raisonnement multi-tours : le modèle commence par une création initiale, puis, lors des tours suivants, il revient et optimise continuellement ses résultats précédents, aboutissant finalement à une œuvre musicale de haute qualité.

• Génération structurée : contrairement aux modèles autorégressifs traditionnels qui génèrent l'audio pas à pas, Mureka O1 pré-génère la structure musicale globale avant la prédiction fine des tokens audio, améliorant considérablement la cohérence structurelle de la musique générée et la précision de l'arrangement instrumental.

• Basé sur le modèle CLAP : ne nécessite pas d'annotation manuelle, offrant une grande scalabilité et améliorant l'interprétabilité ainsi que la qualité de la musique générée.

• Optimisation par apprentissage par renforcement : optimisation des performances du modèle grâce à une vérification et une correction continues des erreurs, par exemple via des fonctions de récompense prédéfinies (telles que la qualité musicale, la cohérence stylistique, etc.) pour l'auto-optimisation.

• Optimiseur de politique : comprend des techniques de compression de gradient, d'exploration et d'exploitation, améliorant l'efficacité d'entraînement et la qualité de génération du modèle.

• Sources de données diversifiées : les données d'entraînement incluent des données synthétiques, des données annotées par des experts humains, une base de données de chaîne de pensée (CoT Dataset), etc., fournissant au modèle de riches matériaux d'apprentissage.

Fonctionnalités et caractéristiques de Mureka O1

• Prise en charge multilingue : prend en charge la création de paroles et la génération de musique instrumentale dans 10 langues (anglais, chinois, japonais, coréen, français, espagnol, portugais, allemand, italien, russe).

• Styles musicaux variés et expressions émotionnelles : couvre de nombreux styles tels que le jazz, l'électronique, la pop, la country, le rhythm and blues, la soul, le blues, le rock, la dance, ainsi que diverses émotions comme la joie, l'abandon, le mystère, l'énergie et la tristesse.

• Fonction de référence de chanson : les utilisateurs peuvent télécharger un fichier audio ou fournir un lien YouTube comme consigne de创作.

• Fonction de clonage de timbre : les utilisateurs peuvent choisir parmi plusieurs voix de chanteurs officiels, ou télécharger leur propre voix pour que l'IA l'apprenne et la reproduise, générant ainsi des œuvres personnalisées exclusives.

• Génération musicale à faible latence : réalise une génération musicale à faible latence à la pointe du secteur, offrant une expérience utilisateur immédiate et de haute qualité.

• Service d'API ouverte et fine-tuning de modèle : fournit une API de génération audio musicale et une API de synthèse vocale, prend en charge plusieurs types d'entrée, et propose également un service de fine-tuning basé sur Mureka V6.

Performances

Dépasse Suno V4 : dans les évaluations subjectives et objectives, Mureka O1 surpasse nettement Suno V4 en termes de qualité de la voix, de la musique de fond et du mixage, avec des améliorations significatives également au niveau de la richesse de l'instrumentation, de la structure compositionnelle et de la qualité mélodique.

Génération plus rapide : la vitesse de génération d'une chanson complète est deux fois supérieure à celle de Suno V4, offrant aux utilisateurs une expérience de création plus efficace.

Tutoriel d'utilisation de Mureka O1

• Accéder au site officiel : ouvrez le site officiel de Mureka.

• Créer un compte : inscrivez-vous et connectez-vous à l'aide d'une adresse e-mail Google.

• Choisir le mode de création :

  Mode simple : saisissez une description de chanson de moins de 300 caractères, par exemple « une chanson pleine d'émotions sincères, exprimant le profond sentiment de nostalgie d'un ami », puis cliquez sur « Créer ».

  Mode avancé : offre des options de création plus riches, telles que le téléchargement d'une chanson de référence, le choix de la voix d'un chanteur, la saisie de paroles, la sélection du style musical et de l'émotion, etc.

• Choisir le modèle : cliquez pour sélectionner Mureka O1 ou Mureka V6, etc.

• Générer la musique : cliquez sur « Create » et attendez que la musique soit générée.

• Exporter : une fois générée, vous pouvez écouter, télécharger, partager la musique ou l'éditer davantage.

Scénarios d'application de Mureka O1

• Création musicale : assiste dans la composition de mélodies et de paroles, et stimule l'inspiration.

• Production musicale : génère des bandes-son pour le cinéma, la publicité et les jeux vidéo.

• Éducation musicale : sert d'outil pédagogique pour générer des accompagnements d'entraînement.

• Divertissement musical : génère des listes de lecture personnalisées et offre des expériences interactives.

• Marketing publicitaire : génère des musiques exclusives pour les publicités et les marques.

• Développement de jeux : génère en temps réel de la musique dynamique en fonction des scènes du jeu.

• Production audiovisuelle : génère des bandes-son et des插入曲 pour les œuvres cinématographiques et télévisuelles.

• Événements d'entreprise : génère de la musique pour les événements et la promotion de marque.

Site officiel :https://www.mureka.ai/