DiffRhythm : le premier outil mondial de génération musicale de bout en bout basé sur un modèle de diffusion 190

Qu'est-ce que DiffRhythm ?

DiffRhythm est le premier outil au monde de génération de musique par IA de bout en bout basé sur un modèle de diffusion. Que vous soyez un débutant en musique ou un producteur professionnel expérimenté, il vous suffit de saisir des paroles, un style, une émotion ou d'autres descriptions textuelles pour produire rapidement de la musique dans divers styles, de la symphonie classique au cyberpunk, sans aucune intervention manuelle, vous aidant ainsi à créer facilement vos propres œuvres musicales.

Fonctionnalités et caractéristiques de DiffRhythm

• Génération de bout en bout : traite directement les formes d'onde audio brutes, éliminant les étapes intermédiaires de conversion symbolique, ce qui permet de préserver pleinement les émotions subtiles de la musique.

• Compréhension multimodale : capable d'intégrer des informations textuelles, musicales et même visuelles pour saisir avec précision des caractéristiques stylistiques abstraites telles que « vintage chaleureux » ou « ambiance futuriste high-tech ».

• Contrôle dynamique : permet d'ajuster en temps réel le rythme et les progressions d'accords, combinant les éléments musicaux avec autant de flexibilité que mélanger des couleurs sur une palette.

• Modèle de diffusion latent : basé sur un modèle de diffusion, il peut synthétiser en seulement dix secondes une chanson complète comprenant voix et accompagnement, d'une durée pouvant aller jusqu'à 4 minutes et 45 secondes, tout en conservant une grande musicalité et une excellente intelligibilité.

• Structure non autorégressive : vitesse d'inférence rapide et structure simple, garantissant l'évolutivité de l'outil.

Technologie clé de DiffRhythm

Le cœur de DiffRhythm repose sur un modèle de diffusion, dont le principe de fonctionnement ressemble à un « jeu d'élimination du bruit », divisé en deux étapes :

• Bruitage progressif : on ajoute progressivement du bruit aléatoire à un fragment musical original jusqu'à ce qu'il devienne un bruit blanc.

• Débruitage inverse : grâce à un réseau neuronal entraîné, on reconstitue progressivement, à partir de ce bruit, une musique correspondant aux exigences de l'utilisateur, pour finalement obtenir un audio de haute qualité.

Avantages par rapport aux outils de musique IA traditionnels

• Génération de bout en bout : traite directement les formes d'onde audio brutes, sans conversion intermédiaire, préservant les émotions subtiles.

• Compréhension multimodale : combine plusieurs types d'entrées pour capturer avec précision des styles abstraits.

• Contrôle dynamique : ajustement en temps réel du rythme et des progressions d'accords, permettant une combinaison flexible des éléments musicaux.

Comment utiliser DiffRhythm

1. Génération de paroles horodatées par IA : vous pouvez définir le thème et le style de la chanson et laisser l'IA générer des paroles horodatées ; vous pouvez également écrire vos propres paroles puis y ajouter des horodatages.

2. Génération de la chanson : soumettez les paroles horodatées via l'interface pour obtenir la chanson. Toutefois, dans la version actuelle, la durée maximale des chansons générées est de 95 secondes ; les paroles trop longues seront tronquées.

Applications de DiffRhythm

• Créateurs de contenu : les blogueurs de courtes vidéos peuvent générer en moins d'une minute une musique de fond adaptée à l'ambiance de leur vidéo, sans soucis de droits d'auteur.

• Développeurs de jeux indépendants : créer à faible coût une bibliothèque d'effets sonores de haute qualité pour les scènes.

• Industrie musicale : les maisons de disques peuvent utiliser l'IA pour créer des versions remixées de chansons à succès, prolongeant ainsi le cycle de vie de leurs propriétés intellectuelles.

• Secteur du spectacle : génération en temps réel d'improvisations synchronisées avec les retours interactifs du public.

Dépôt GitHub :https://github.com/ASLP-lab/DiffRhythm

Démonstration en ligne :https://huggingface.co/spaces/ASLP-lab/DiffRhythm

Page du projet :https://aslp-lab.github.io/DiffRhythm.github.io/