Asistente de guiones▸ 
Apps AI 
Noticias AI 
TangoFlux: modelo de generación de efectos de sonido a partir de texto (TTA)
TangoFlux: modelo de generación de efectos de sonido a partir de texto (TTA)Introducción
TangoFlux es un modelo avanzado de generación de texto a audio (TTA) desarrollado en colaboración entre la Universidad de Tecnología y Diseño de Singapur (SUTD) y NVIDIA. Cuenta con aproximadamente 515 millones de parámetros y es capaz de generar audio estéreo de 44,1 kHz con una duración de hasta 30 segundos en tan solo 3,7 segundos utilizando una sola GPU A40. TangoFlux no solo puede generar efectos de sonido como cantos de pájaros, silbidos, etc., sino que también es capaz de generar música.
Principios técnicos de TangoFlux
Autocodificador variacional: utiliza un VAE para codificar formas de onda de audio en una representación latente y reconstruir el audio original a partir de dicha representación.
Incrilajes etiquetados de texto y duración: se basan en la codificación de texto y la codificación de duración para controlar el contenido y la duración del audio generado.
Arquitectura FluxTransformer: combina el Diffusion Transformer (DiT) y el Multimodal Diffusion Transformer (MMDiT) para procesar las indicaciones de texto y generar audio.
Coincidencia de flujo: aprende la asignación desde una distribución previa simple hasta una distribución objetivo compleja para generar muestras.
Optimización de preferencias clasificada por CLAP: optimiza la alineación del audio basándose en datos de preferencias generados de forma iterativa.
Funciones principales de TangoFlux
Generación rápida de audio: TangoFlux es capaz de generar contenido de audio de alta calidad en un tiempo muy reducido, lo que lo hace adecuado para escenarios de aplicación que requieren una respuesta rápida.
Salida de audio de alta calidad: el audio generado tiene una alta calidad y reproduce con claridad diversos eventos sonoros, por lo que resulta adecuado para la generación de audio de múltiples tipos, como música y efectos de sonido.
Compatibilidad con la generación de audio largo: este modelo es capaz de gestionar tareas de generación de audio de hasta 30 segundos de duración, por lo que resulta adecuado para la creación de contenidos de audio más extensos.
Generación多样化 de efectos de sonido: TangoFlux no solo puede generar música, sino también diversos efectos de sonido, como cantos de pájaros, silbidos, explosiones, etc., siendo adecuado para múltiples proyectos creativos y de entretenimiento.
Escenarios de aplicación de TangoFlux
Producción de audio para cine, televisión y videojuegos: TangoFlux puede generar de forma rápida efectos de sonido realistas, bandas sonoras y locuciones a partir de guiones o descripciones de escenas, acortando los ciclos de producción, reduciendo costes, mejorando la calidad del audio de las obras y aumentando la interactividad y la sensación de inmersión en los videojuegos.
Fuente de inspiración para la creación musical: es capaz de generar fragmentos musicales diversos según los ajustes establecidos por el creador, lo que ayuda a superar bloqueos creativos, fomenta la innovación musical y da lugar a obras más novedosas.
Mejora de experiencias de RV y RA: genera audio realista en tiempo real a partir del entorno virtual y la interacción del usuario, mejorando la inmersión en juegos de RV y reforzando la percepción de la integración entre lo virtual y lo real en aplicaciones de RA.
Innovación de audio en publicidad y marketing: genera audio único a partir de ideas creativas y la imagen de marca, atrayendo a los consumidores, despertando empatía y aumentando el conocimiento y la reputación de la marca.
Recursos del proyecto TangoFlux
Sitio web oficial del proyecto: tangoflux.github.io
Artículo técnico en arXiv: https://export.arxiv.org/pdf/2412.21037
TangoFlux también emplea el marco CLAP-Ranked Preference Optimization (CRPO), que mejora la capacidad de alineación de audio del modelo mediante la generación y optimización iterativa de datos de preferencias. Este método garantiza que el audio generado no solo tenga calidad, sino que también se ajuste mejor a las preferencias del usuario y a la intención del texto de entrada. Además, el entrenamiento de TangoFlux se basa en conjuntos de datos no propietarios, lo que hace que el modelo sea más abierto y accesible, fomentando la investigación y las aplicaciones posteriores.
TangoFlux se aplica principalmente a la creación de contenidos multimedia, como la generación de música de fondo, efectos de sonido y locuciones en la producción de películas, videojuegos, publicidad y vídeos, mejorando así la eficiencia de producción y reduciendo costes. Sus principios técnicos incluyen el autocodificador variacional (VAE), incrustaciones de texto y duración, la arquitectura FluxTransformer, entre otros, tecnologías que en conjunto respaldan su eficiente capacidad de generación de audio.
Noticias relacionadas:
