DiffRhythm: la primera herramienta del mundo de generación de música de extremo a extremo basada en un modelo de difusión 189

¿Qué es DiffRhythm?

DiffRhythm es la primera herramienta de generación de música con IA del mundo basada en un modelo de difusión de extremo a extremo AI音乐生成工具. Tanto si estás dando tus primeros pasos en la música como si eres un productor profesional con experiencia, solo tienes que introducir descripciones de texto como letras, estilo y emoción, y podrá producir rápidamente música en una gran variedad de estilos, desde sinfonías clásicas hasta cyberpunk, sin necesidad de intervención manual, ayudándote a crear fácilmente tus propias obras musicales.

Características de DiffRhythm

• Generación de extremo a extremo: procesa directamente la forma de onda de audio original, eliminando pasos intermedios de conversión simbólica, para preservar por completo las emociones sutiles presentes en la música.

• Comprensión multimodal: capaz de integrar información de texto, música e incluso imágenes, capturando con precisión características de estilo abstractas como "cálido y retro" o "estética tecnológica futurista".

• Controlabilidad dinámica: permite ajustar en tiempo real el ritmo y la progresión de acordes, combinando elementos musicales con la misma flexibilidad que mezclar colores en una paleta.

• Modelo de difusión latente: basado en un modelo de difusión, es capaz de sintetizar en tan solo diez segundos una canción completa con voz y acompañamiento, con una duración máxima de 4 minutos y 45 segundos, y con una alta musicalidad e inteligibilidad.

• Estructura no autorregresiva: velocidad de inferencia rápida y estructura sencilla, lo que garantiza la herramienta sea escalable.

Tecnología clave de DiffRhythm

El núcleo de DiffRhythm es el modelo de difusión, cuyo principio de funcionamiento se parece a un "juego de eliminación de ruido", dividido en dos etapas:

• Añadir ruido hacia adelante (Forward diffusion): se añade ruido aleatorio poco a poco al fragmento musical original hasta convertirlo en ruido blanco.

• Eliminación de ruido hacia atrás (Reverse diffusion): mediante una red neuronal entrenada, se restaura progresivamente la música que cumple los requisitos del usuario a partir de ese ruido, obteniendo finalmente audio de alta calidad.

Ventajas frente a las herramientas de música con IA tradicionales

• Generación de extremo a extremo: procesa directamente la forma de onda de audio original, sin necesidad de conversiones intermedias, preservando las emociones sutiles.

• Comprensión multimodal: combina múltiples entradas para capturar con precisión estilos abstractos.

• Controlabilidad dinámica: ajuste en tiempo real del ritmo y la progresión de acordes, combinando elementos musicales con flexibilidad.

Cómo usar DiffRhythm

1. Generación de letras con marcas de tiempo mediante IA: puedes definir el tema y el estilo de la canción y dejar que la IA genere las letras con marcas de tiempo; también puedes escribir tus propias letras y añadir las marcas de tiempo manualmente.

2. Generar la canción: introduce las letras con marcas de tiempo en la interfaz y envíalas para obtener la canción. No obstante, en la versión actual, la duración máxima de las canciones generadas es de 95 segundos; si las letras son demasiado largas, se cortarán.

Aplicaciones de DiffRhythm

• Creadores de contenido: los creadores de vídeos cortos pueden generar en menos de un minuto música de fondo adaptada al estado de ánimo del vídeo, sin preocuparse por problemas de derechos de autor.

• Desarrolladores independientes de videojuegos: crear a bajo coste bibliotecas de efectos de sonido ambientales de alta calidad.

• Industria musical: las discográficas recurren a la IA como apoyo para crear versiones remix de canciones populares, prolongando así el ciclo de vida de sus propiedades intelectuales.

• Sector del espectáculo: generación de música improvisada en tiempo real, sincronizada con la interacción y la respuesta del público.

Repositorio en GitHub:https://github.com/ASLP-lab/DiffRhythm

Demo en línea:https://huggingface.co/spaces/ASLP-lab/DiffRhythm

Dirección del proyecto:https://aslp-lab.github.io/DiffRhythm.github.io/