CosyVoice: voz natural similar a la humana 111

CosyVoice es un modelo grande de generación de voz basado en codificación cuantizada de voz, una nueva tecnología de síntesis de voz que integra profundamente la comprensión de texto y la generación de voz.Realiza una codificación discreta de la voz y, apoyándose en tecnología de modelos grandes, ofrece una experiencia de generación de voz natural y fluida. En comparación con las técnicas tradicionales de generación de voz, CosyVoicepuede analizar e interpretar con precisión diversos contenidos de texto, transformándolos en una voz natural como la de una persona real.

Solo necesitas proporcionar entre 3 y 10 segundos de audio original, y CosyVoice podrá generar un timbre simulado, incluyendo detalles como la prosodia y las emociones, así como la generación de voz multilingüe.

Sitio web oficial del proyecto CosyVoice:https://www.modelscope.cn/studios/iic/CosyVoice-300M

Dirección del código fuente de CosyVoice:https://github.com/FunAudioLLM/CosyVoice

Dirección de la API de CosyVoice:https://help.aliyun.com/zh/model-studio/developer-reference/cosvoice-large-model-for-speech-synthesis/?spm=a2c4g.11186623.0.0.56f01751Ke29mh

Características de CosyVoice:

• Alto grado de humanización: adopta el algoritmo del modelo grande de voz neuronal generativa CosyVoice, desarrollado por el Laboratorio de Voz Tongyi de Alibaba, lo que permite que la voz generada alcance un nivel superhumanizado en entonación, prosodia y expresión emocional.

• Multilingüe: CosyVoice admite la generación en 5 idiomas: chino, inglés, japonés, cantonés y coreano, y se enfoca en la generación de voz natural. Soporta el control multilingüe, de timbre y emocional, con efectos significativamente superiores a los modelos tradicionales de generación de voz.

• Variedad en la selección de timbres: ofrece una gran cantidad de recursos de bibliotecas de voz de alta calidad, incluyendo diferentes性别, edades, dialectos y diversas voces特色, satisfaciendo las necesidades personalizadas de los usuarios en distintos escenarios. Ya sea la solemnidad de un noticiero o la riqueza emocional de la narración de cuentos, puede manejarlos con facilidad.

• Síntesis en tiempo real y eficiente: el sistema cuenta con una velocidad de respuesta sobresaliente y capacidad de síntesis de voz en streaming, pudiendo lograr una síntesis de voz rápida y precisa en tiempo real tanto para documentos largos como para instrucciones cortas.

• Control de emoción y prosodia: CosyVoice admite la generación de voz con gran variedad de eventos sonoros del lenguaje y múltiples emociones altamente humanizadas, como risas, muletillas, entre otras, así como la generación de voz altamente humanizada con diferentes表现 emocionales.

• Clonación de voz: solo necesitas proporcionar entre 3 y 10 segundos de audio original, y CosyVoice podrá clonar y generar un timbre simulado, incluyendo detalles como la prosodia y las emociones, así como la generación de voz multilingüe.

Aplicaciones de CosyVoice:

CosyVoice es suitable for múltiples escenarios de aplicación, como atención al cliente inteligente, audiolibros, navegación vehicular, tutoría educativa, entre otros.

Contenido de voz para dispositivos inteligentes / transmisión de robots, como robots de atención al cliente inteligente, altavoces inteligentes, humanos digitales, asistentes de voz, etc.

Escenarios de creación de contenido de audio y video que requieren convertir texto en locución, como lectura de novelas, noticieros, comentarios de películas y series, doblaje de guiones, etc.

CosyVoice amplía enormemente las posibilidades de la interacción por voz, mejora la experiencia del usuario y, al mismo tiempo, ofrece un fuerte apoyo para la transformación inteligente de las empresas.

Comparado con el recientemente popular ChatTTS, se puede observar que el audio sintetizado por CosyVoice tiene una mayor一致性 de contenido. CosyVoice realiza un control de grano fino sobre la emoción y la prosodia de la voz generada, lo que mejora notablemente la expresividad emocional del audio, y apenas presenta el fenómeno de alucinaciones con palabras adicionales. CosyVoice modela muy bien la información semántica del texto sintetizado, superando a los humanos en términos de coherencia de contenido y similitud con el hablante.