Seed-Music : un modèle de génération musicale signé ByteDance 114

Seed-Music est un modèle de génération musicale développé par ByteDance. Les utilisateurs peuvent générer de la musique en saisissant des données multimodales (telles que des descriptions textuelles, des références audio, des partitions, des invites vocales, etc.), et il offre des fonctions pratiques de post-édition, comme la modification des paroles ou des mélodies.

Seed-Music combine un modèle de langage autorégressif avec un modèle de diffusion afin d'offrir un contrôle précis sur la musique générée, tout en préservant la qualité de cette dernière.

Seed-Music prend également en charge le téléchargement par l'utilisateur de courts extraits vocaux, que le système convertit en chansons complètes.

De plus, Seed-Music ne se limite pas à la génération vocale et instrumentale, mais prend aussi en charge la synthèse vocale, la conversion de voix chantée, l'édition musicale, etc., convenant ainsi à différents types d'utilisateurs.

Caractéristiques principales de Seed-Music :

• Génération de musique haute qualité

• Prise en charge de la génération d'œuvres vocales et instrumentales. Les utilisateurs peuvent saisir du texte, de l'audio, etc., afin de réaliser des créations musicales diversifiées.

• Génération musicale contrôlée

• Offre un contrôle musical à grain fin, permettant aux utilisateurs de générer une musique correspondant à leurs besoins à partir de paroles, de descriptions de style, d'audio de référence, de partitions, etc.

• Entrée multimodale : Seed-Music prend en charge plusieurs modes de saisie, tels que les paroles, la description de style, l'audio de référence, les partitions, les invites vocales, etc., pour un contrôle à grain fin.

• Contrôle du style : les utilisateurs peuvent spécifier le style, le rythme, la mélodie, etc. de la musique via du texte ou des références audio, afin de générer des œuvres correspondant à leurs besoins.

Synthèse et conversion vocale

• Synthèse vocale chantée : génère un chant naturel et expressif dans plusieurs langues.

• Conversion de chant zéro-shot : un simple enregistrement vocal ou chanté de 10 secondes suffit pour être converti en musique de styles différents.

• Lyrics2Song : convertit les paroles saisies en chant accompagné, prenant en charge la génération de morceaux courts et longs.

• Invites audio et transfert de style : prend en charge la continuation audio et le transfert de style, générant de nouvelles musiques dans un style similaire à partir d'un audio existant.

• Génération instrumentale : produit de la musique purement instrumentale de haute qualité, adaptée aux contextes sans paroles.

Post-édition musicale

• Prise en charge de la modification des paroles et de la mélodie, permettant aux utilisateurs d'éditer et d'ajuster directement l'audio généré.

• Édition des paroles et de la mélodie : Seed-Music propose des outils interactifs permettant aux utilisateurs de modifier directement les paroles et la mélodie dans l'audio généré, facilitant ainsi les ajustements en post-production.

• Remixage et arrangement musical : le système peut non seulement générer des chansons complètes, mais aussi modifier les morceaux générés, par exemple en ajustant les parties instrumentales, les effets de mixage, etc.

Prise en charge de plusieurs styles et de plusieurs langues

• Seed-Music peut générer des œuvres couvrant de nombreux styles musicaux (pop, classique, jazz, électronique, etc.) et prend en charge la génération de chant multilingue, convenant ainsi à un public mondial.

• Génération en temps réel et prise en charge du streaming

• Prend en charge la génération musicale en temps réel et la sortie en streaming, améliorant l'interactivité et l'efficacité créative des utilisateurs.

Applications de Seed-Music :

• Paroles transformées en chanson : les utilisateurs peuvent saisir des paroles, et Seed-Music est capable de générer automatiquement une chanson complète. Cela est particulièrement utile pour les utilisateurs qui écrivent des paroles mais manquent de compétences en composition.

• Édition musicale : Seed-Music offre des fonctionnalités d'édition musicale très flexibles. Les utilisateurs peuvent ajouter ou supprimer des pistes ou changer de style via une feuille de lead (lead sheet), obtenant ainsi différentes versions d'une œuvre musicale.

• Conversion de chant multilingue : le système prend en charge la conversion d'une voix chantée en chinois vers une sortie vocale en anglais, élargissant ainsi les possibilités et la diversité créative.

• Génération d'une chanson complète à partir d'un extrait audio : même à partir d'un court extrait audio, Seed-Music peut l'étendre en une chanson complète, ce qui est très pratique pour les utilisateurs ayant besoin de générer rapidement du contenu musical.

• Génération musicale à partir d'entrées multimodales : prend en charge la génération de musique via des descriptions textuelles, des références audio, des partitions, etc., répondant aux besoins créatifs des différents utilisateurs.

Par ailleurs, Seed-Music dispose également d'une fonction de clonage de voix humaine pour générer des chansons, offrant des ajustements précis au niveau des notes, adaptée à la création musicale multilingue.

Actualités associées :

Quels produits possède ByteDance