Kyutai TTS: herramienta TTS de código abierto diseñada para uso en tiempo real 77

小编 · 2025-07-05

Kyutai TTS es un modelo de texto a voz de código abierto desarrollado por la francesa Kyutai Labs, diseñado para aplicaciones en tiempo real. Con 1.6B parámetros, alcanza tasas de error de palabra del 2,82% en inglés y del 3,29% en francés, con una latencia de generación de voz de solo 220 ms, ideal para livestreaming y asistentes de voz. Sus técnicas de streaming y modelado de baja latencia hacen que la conversión de texto a voz sea más eficiente.

Kyutai TTS: herramienta TTS de código abierto diseñada para uso en tiempo real

Kyutai TTS es un modelo de código abierto de texto a voz desarrollado por Kyutai Labs en Francia, diseñado específicamente para aplicaciones en tiempo real. Cuenta con 1.600 millones de parámetros, con tasas de error de palabras del 2,82 % en inglés y del 3,29 % en francés, y una latencia de generación de voz de solo 220 milisegundos, lo que lo hace adecuado para escenarios como transmisiones en vivo y asistentes de voz. Sus técnicas de procesamiento en streaming y modelado de flujo con baja latencia hacen que la generación de texto y voz sea más eficiente.

Kyutai TTS: herramienta de código abierto de texto a voz diseñada para escenarios en tiempo real

Características técnicas:

Procesamiento en streaming y baja latencia: Kyutai TTS puede generar audio inmediatamente después de recibir el primer token de texto, con una latencia de solo 220 milisegundos. Al procesar 32 solicitudes en una GPU NVIDIA L40S, la latencia es de aproximadamente 350 milisegundos.

Salida de voz de alta precisión: las tasas de error de palabras en inglés y francés son del 2,82 % y del 3,29 % respectivamente, con una similitud del hablante del 77,1 % y del 78,7 %, produciendo una voz natural y cercana a la muestra original.

Generación de contenido extenso: capaz de procesar artículos largos, superando el límite de 30 segundos de los modelos TTS tradicionales.

Clonación de voz: los usuarios proporcionan una muestra de audio de 10 segundos y el modelo puede igualar el timbre, el tono y otras características del hablante. Para garantizar la legalidad, Kyutai TTS ofrece una biblioteca de voces basada en conjuntos de datos públicos, sin publicar directamente el modelo de embeddings de voz.

Marcas de tiempo por palabra: cada palabra del audio generado cuenta con marcas de tiempo precisas, lo que facilita la generación de subtítulos en tiempo real o aplicaciones interactivas.

Arquitectura y entrenamiento:

Modelado de flujo con latencia (DSM): el modelo genera voz en tiempo real mientras recibe el texto, admite entrada de texto en streaming y puede manejar múltiples solicitudes simultáneamente.
Datos de entrenamiento y hardware: entrenado con 2,5 millones de horas de datos de audio públicos, con transcripciones generadas por Whisper, y el proceso de entrenamiento utilizó 32 GPU H100.

Escenarios de aplicación:

Interacción en tiempo real: adecuado para asistentes virtuales, plataformas de educación en línea y generación de subtítulos en tiempo real.
Creación de contenido: puede usarse para generar podcasts, audiolibros y otros contenidos extensos.
Herramientas de asistencia: proporciona servicios de lectura de texto de alta calidad para personas con discapacidad visual.

Comparación con otros TTS:

En comparación con otros modelos TTS del mercado, Kyutai TTS destaca en tasas de error de palabras y similitud del hablante, mostrando un rendimiento especialmente excelente en escenarios de interacción en tiempo real.

Kyutai TTS es de código abierto bajo la licencia CC-BY-4.0, y el código fuente y los pesos están disponibles en GitHub y Hugging Face. Los desarrolladores pueden contribuir con datos de voz para ayudar al modelo a ampliar la variedad de estilos de voz y compatibilidad de idiomas.

Dirección del proyecto: https://kyutai.org/next/tts