OpenVoice: clonación de voz instantánea y versátil 140

OpenVoice, un método versátil de clonación de voz instantánea que solo necesita un breve clip de audio del hablante de referencia para replicar su voz y generar voz en múltiples idiomas. OpenVoice permite un control preciso del estilo de la voz, incluyendo emoción, acento, ritmo, pausas e entonación, así como la replicación del color tonal del hablante de referencia. OpenVoice también logra clonación de voz multilingüe zero-shot, aplicable a idiomas no incluidos en grandes conjuntos de datos de entrenamiento de hablantes. OpenVoice también es computacionalmente eficiente, con un coste decenas de veces inferior al de APIs comerciales con peor rendimiento.

Paper de OpenVoice: https://arxiv.org/pdf/2312.01479.pdf

Proyecto OpenVoice: https://github.com/myshell-ai/OpenVoice

Características de OpenVoice:

Clonación precisa del color tonal. OpenVoice puede clonar con precisión el timbre de referencia y generar voz en múltiples idiomas y acentos.

Control flexible del estilo de voz. OpenVoice admite un control preciso del estilo de voz (como emoción y acento), así como de otros parámetros de estilo (incluyendo ritmo, pausas y entonación).

Clonación de voz multilingüe zero-shot. Ni el idioma del habla generado ni el del habla de referencia necesitan estar presentes en grandes conjuntos de datos de entrenamiento multilingües de hablantes.

Uso de OpenVoice:

1. Control flexible del estilo de voz. Consulta demo_part1.ipynb para ver ejemplos de uso de cómo OpenVoice logra un control de estilo flexible sobre la voz clonada.

2. Clonación de voz multilingüe. Consulta demo_part2.ipynb para ver ejemplos de idiomas que están visibles o no en el conjunto de datos de entrenamiento MSML.

3. Uso avanzado. El modelo base del hablante puede sustituirse por cualquier modelo que prefiera el usuario (en cualquier idioma y estilo). Utiliza las funcionalidades demostradas en la demo para extraer las incrustaciones de timbre del nuevo hablante base. se_extractor.get_se

4. Consejos para generar voz natural. Existen muchos métodos TTS de un solo hablante o multihablante que pueden generar voz natural y son fáciles de conseguir. Solo tienes que sustituir el modelo base del hablante por el que prefieras y podrás llevar la naturalidad de la voz al nivel que desees.

Idiomas

Solo damos soporte a inglés y chino en los pesos de este modelo. OpenVoice puede adaptarse a cualquier otro idioma siempre que se proporcione un hablante base.

Desde mayo de 2023, OpenVoice ha estado dando soporte a la función de clonación de voz instantánea de myshell.ai. Hasta noviembre de 2023, el modo de clonación de voz ha sido utilizado decenas de millones de veces por usuarios de todo el mundo, siendo testigo del crecimiento explosivo de los usuarios de la plataforma.