Seed-Music: modelo de generación de música de ByteDance 115

Seed-Music es un modelo de generación de música desarrollado por ByteDance. Los usuarios pueden generar música introduciendo datos multimodales (como descripciones de texto, referencias de audio, partituras, indicaciones de voz, etc.), y ofrece cómodas funciones de edición posterior, como la modificación de letras o melodías.

Seed-Music combina un modelo de lenguaje autorregresivo con un modelo de difusión para ofrecer un control preciso sobre la música generada, manteniendo al mismo tiempo la calidad de la misma.

Seed-Music también permite subir fragmentos cortos de voz, que el sistema convertirá en canciones completas.

Además, Seed-Music no solo admite la generación de música vocal e instrumental, sino también la síntesis de canto, la conversión de voz cantada, la edición musical y otras funciones, lo que lo hace adecuado para diferentes grupos de usuarios.

Características principales de Seed-Music:

• Generación de música de alta calidad

• Admite la generación de obras vocales e instrumentales. Los usuarios pueden introducir datos mediante texto, audio y otras formas para lograr una creación musical diversa.

• Generación de música controlada

• Ofrece un control musical de grano fino, lo que permite a los usuarios generar música que se ajuste a sus necesidades a partir de letras, descripciones de estilo, audios de referencia, partituras, etc.

• Entrada multimodal: Seed-Music admite múltiples formas de entrada, como letras, descripciones de estilo musical, audios de referencia, partituras, indicaciones de voz, etc., logrando un control granular.

• Control de estilo: los usuarios pueden definir el estilo, el ritmo, la melodía, etc. de la música mediante texto o citas de audio, generando obras que se ajusten a sus necesidades.

Síntesis y conversión de voz

• Síntesis de canto: genera voces cantadas naturales y expresivas en varios idiomas.

• Conversión de canto con zero-shot: solo se necesitan 10 segundos de grabación de voz o canto para convertirla en música de un estilo diferente.

• Lyrics2Song: convierte las letras introducidas en piezas vocales con acompañamiento, admitiendo la generación de música corta y larga.

• Indicaciones de audio y transferencia de estilo: admite la continuación de audio y la transferencia de estilo, generando nueva música de estilo similar a partir de audio existente.

• Generación instrumental: genera música puramente instrumental de alta calidad, adecuada para escenas sin letra.

Edición musical posterior

• Admite la modificación de letras y melodías, lo que permite a los usuarios editar y ajustar directamente en el audio generado.

• Edición de letras y melodía: Seed-Music ofrece herramientas interactivas que permiten a los usuarios editar letras y melodías directamente en el audio generado, facilitando los ajustes posteriores.

• Remezcla y arreglo musical: el sistema no solo genera canciones completas, sino que también permite modificar las canciones generadas, como ajustar las partes de los instrumentos, los efectos de mezcla, etc.

Soporte multilingüe y multiestilo

• Seed-Music puede generar obras que abarcan varios estilos musicales (como pop, clásica, jazz, electrónica, etc.) y admite la generación de canto en varios idiomas, lo que lo hace adecuado para usuarios de todo el mundo.

• Generación en tiempo real y soporte de streaming

• Admite la generación de música en tiempo real y la salida en streaming, mejorando la interactividad y la eficiencia creativa del usuario.

Aplicaciones de Seed-Music:

• Generación de canciones a partir de letras: los usuarios pueden introducir letras y Seed-Music puede generar automáticamente una canción completa. Esto resulta muy útil para usuarios que componen letras pero carecen de capacidad de composición musical.

• Edición musical: Seed-Music ofrece funciones de edición musical altamente flexibles. Los usuarios pueden añadir o eliminar pistas o cambiar el estilo mediante partituras guía (lead sheet) para obtener diferentes versiones de la obra musical.

• Conversión vocal entre idiomas: el sistema admite la conversión de voz cantada en chino a salida vocal en inglés, ampliando las posibilidades y la diversidad creativa.

• Generación de canciones completas a partir de fragmentos de audio: incluso con fragmentos de audio cortos, Seed-Music puede ampliarlos hasta convertirlos en canciones completas, lo que resulta muy práctico para usuarios que necesitan generar contenido musical rápidamente.

• Generación de música mediante entrada multimodal: admite la generación de música mediante la introducción de descripciones de texto, referencias de audio, partituras y otras formas, satisfaciendo las necesidades creativas de diferentes usuarios.

Además, Seed-Music también cuenta con la función de clonar voces humanas para generar canciones, ofreciendo ajustes precisos a nivel de notas, adecuada para la creación musical multilingüe.

Noticias relacionadas:

¿Qué productos pertenecen a ByteDance?