ChatTTS: conversión de texto a voz gratuita para escenarios de diálogo 319

ChatTTS vídeo de demostración

ChatTTS, un modelo TTS gratuito en línea de texto a voz diseñado específicamente para escenas de diálogo, adecuado para la conversión de texto a voz natural y conversacional. Es compatible con dos idiomas: inglés y chino. Este modelo TTS de voz debería ser actualmente el que mejor soporte ofrece para el chino. El modelo ChatTTS ha sido entrenado con más de 100.000 horas de datos, y la versión pública ofrece en HuggingFace un modelo preentrenado con 40.000 horas. Está optimizado para tareas conversacionales, capaz de admitir voces de múltiples hablantes, mezcla de chino e inglés, etc.

ChatTTS también puede predecir y controlar características prosódicas de grano fino, como risas, pausas e interjecciones, además de permitir ajustes más detallados como velocidad, tono y emoción del habla.

Características de ChatTTS:

• TTS conversacional: ChatTTS está optimizado para tareas conversacionales, logrando una síntesis de voz natural y fluida, con soporte para múltiples hablantes.

• Control de grano fino: el modelo puede predecir y controlar características prosódicas de grano fino, incluyendo risas, pausas e palabras insertadas, entre otras.

• Mejor prosodia: ChatTTS supera a la mayoría de los modelos TTS de código abierto en cuanto a prosodia. También proporciona modelos preentrenados que permiten investigaciones adicionales.

Funciones de ChatTTS:

• Soporte multilingüe: una de las funciones principales de ChatTTS es admitir varios idiomas, incluidos inglés y chino. Esto le permite servir a una amplia base de usuarios y superar las barreras lingüísticas.

• Entrenamiento con grandes datos: ChatTTS ha sido entrenado con una gran cantidad de datos, aproximadamente 10 millones de horas de datos en chino e inglés. Este extenso entrenamiento da como resultado una síntesis de voz de alta calidad y natural.

• Compatibilidad con tareas de diálogo: ChatTTS es muy adecuado para manejar tareas conversacionales que normalmente se asignan a modelos de lenguaje grandes (LLMs). Puede generar respuestas de diálogo y ofrecer una experiencia de interacción más natural y fluida al integrarse en diversas aplicaciones y servicios.

• Plan de código abierto: el equipo del proyecto planea abrir el código fuente de un modelo base bien entrenado. Esto permitirá que investigadores académicos y desarrolladores de la comunidad investiguen y desarrollen aún más esta tecnología.

• Control y seguridad: el equipo se compromete a mejorar la controlabilidad del modelo, añadir marcas de agua e integrarlo con LLMs. Estos esfuerzos garantizan la seguridad y fiabilidad del modelo.

• Fácil de usar: ChatTTS ofrece a sus usuarios una experiencia sencilla de utilizar. Solo se necesita introducir la información de texto para generar el archivo de voz correspondiente. Esta simplicidad resulta conveniente para los usuarios que necesitan síntesis de voz.

¿Para qué usos se puede emplear ChatTTS?

ChatTTS se puede utilizar en diversas aplicaciones, incluyendo tareas conversacionales para asistentes de modelos de lenguaje grandes, generación de voz para diálogos, presentaciones en vídeo, síntesis de voz para contenido educativo y formativo, y cualquier aplicación o servicio que requiera funciones de texto a voz.

En comparación con otros modelos de texto a voz, ¿qué tiene de especial ChatTTS?

ChatTTS está optimizado específicamente para escenarios conversacionales, siendo especialmente adecuado para aplicaciones de conversación. Admite chino e inglés, y ha sido entrenado con un conjunto de datos a gran escala para garantizar una síntesis de voz de alta calidad y natural. Además, el plan de abrir el código fuente de un modelo base entrenado con 40.000 horas de datos lo distingue, promoviendo una mayor investigación y desarrollo en este campo.

Dirección de descarga del código abierto de ChatTTS en Github: https://github.com/2noise/ChatTTS

Noticias relacionadas:

Recomendación de 10 excelentes modelos de voz TTS de código abierto