Qinyue: Gran Modelo de Música con IA 169

El modelo de gran tamaño Qinle (琴乐大模型) es un modelo de IA de música a gran escala desarrollado conjuntamente por el Laboratorio Qinle de Tencent y el Laboratorio de IA (AI Lab) de Tencent, con capacidades avanzadas de composición y arreglo musical mediante IA. Simplemente ingresando palabras clave en chino o inglés, frases descriptivas o audio, el modelo de gran tamaño Qinle puede generar música directamente.

Características y funciones principales del modelo de gran tamaño Qinle:

• Generación de música: el modelo de gran tamaño Qinle puede generar música de forma inteligente a partir de palabras clave en chino o inglés, frases descriptivas o entradas de audio proporcionadas por el usuario, logrando la creación musical automática.

• Generación de partituras: además de generar audio, el modelo de gran tamaño Qinle también puede generar partituras detalladas que incluyen múltiples pistas como melodía, acordes, acompañamiento y percusión, ofreciendo a los usuarios una estructura musical rica.

• Edición automática: el modelo admite una serie de operaciones de edición automática sobre las partituras generadas, incluyendo la continuación de partituras, la regeneración de pistas o compases específicos, el ajuste de la instrumentación, la modificación del tipo de instrumento y del ritmo.

• Alineación de audio y texto: mediante técnicas de aprendizaje contrastivo, el modelo de gran tamaño Qinle construye un espacio de características compartido que alinea las etiquetas de audio o las descripciones textuales con el audio en sí, proporcionando señales de control condicional para el modelo generativo y mejorando la relevancia y precisión de la generación musical.

• Extracción de representaciones de partitura/audio: el modelo puede convertir partituras o audio en una secuencia de características discretas (tokens), las cuales sientan las bases para las predicciones del modelo de lenguaje a gran escala.

• Predicción con modelos de lenguaje a gran escala: utilizando una estructura solo decoder, el modelo de gran tamaño Qinle se entrena mediante la predicción de la siguiente característica (next token prediction); las secuencias predichas pueden convertirse de nuevo en partituras o audio, logrando la conversión de texto a música.

• Restauración de audio: mediante técnicas de flow matching y vocoder, el modelo de gran tamaño Qinle puede restaurar las secuencias de representación de audio predichas en audio audible, mejorando el realismo y la calidad del audio.

• Cumplimiento de la teoría musical: durante el proceso de generación musical, el modelo de gran tamaño Qinle sigue la teoría musical, asegurando que elementos como la melodía, los acordes y el ritmo se ajusten a la lógica musical y a la estética humana.

Áreas de aplicación del modelo de gran tamaño Qinle

• Creación musical: proporciona a los músicos profesionales herramientas eficientes de composición y arreglo, simplificando las tareas tediosas del proceso creativo.
  

• Ámbito educativo: ayuda a los estudiantes a comprender y aprender teoría musical, realizando prácticas con partituras generadas automáticamente.

• Industria del entretenimiento: los usuarios comunes también pueden experimentar el encanto de la creación musical mediante operaciones sencillas, aumentando la interactividad y el entretenimiento.

El Laboratorio Tianqin (天琴实验室) de Tencent Music lleva a cabo investigación y落地 de tecnologías multimedia y aplicaciones de IA para productos como QQ Music, Quanmin K Ge (全民K歌), Tencent Music People (腾讯音乐人), Kuwo y Kugou. Entre los proyectos destacados se incluyen: en QQ Music, reconocimiento de canciones, reconocimiento de tarareo, reconocimiento de covers, marcas de tiempo de letras, calidad de sonido Zhenpin, DMEE, edición de vídeo de MV, reconocimiento de subtítulos y reconocimiento de celebridades; en Quanmin K Ge, puntuación de canto, corrección inteligente de voz, efectos de sonido inteligentes y síntesis de voz cantada; en Lanren Changting, lectura por IA y guiones por IA; en interacción en vivo, evaluación inteligente, reconocimiento de momentos destacados y mejora de la calidad de vídeo extremo-nube integrado. Al mismo tiempo, también se está explorando la tecnología de avatares virtuales en el metaverso. Próximamente se presentarán los avatares virtuales de los hermanos Xiao Tian y Xiao Qin, centrados en imagen virtual, baile virtual, generación de expresiones de canto y espectáculos de luces musicales. ¡Estén atentos!

Actualmente, las tecnologías relacionadas con el modelo de gran tamaño Qinle ya están disponibles en la plataforma Qiming (启明星) de Tencent Music, donde los usuarios pueden registrarse de forma gratuita para probarlas.