OpenVoice : clonage vocal instantané et polyvalent 139

OpenVoice, une méthode polyvalente de clonage vocal instantané, ne nécessite qu'un court extrait audio du locuteur de référence pour reproduire sa voix et générer une parole dans plusieurs langues. OpenVoice permet un contrôle fin du style vocal, notamment l'émotion, l'accent, le rythme, les pauses et l'intonation, ainsi que la reproduction de la couleur tonale du locuteur de référence. OpenVoice permet également le clonage vocal multilingue zero-shot, y compris pour les langues non présentes dans le grand jeu de données d'entraînement de locuteurs. OpenVoice est également très efficace en termes de calcul, son coût étant数十 fois inférieur à celui des API commerciales les moins performantes.

Papier OpenVoice :https://arxiv.org/pdf/2312.01479.pdf

Projet OpenVoice :https://github.com/myshell-ai/OpenVoice

Fonctionnalités d'OpenVoice :

Clonage précis de la couleur tonale. OpenVoice peut cloner avec précision la tonalité de référence et générer de la parole dans plusieurs langues et accents.

Contrôle flexible du style vocal. OpenVoice permet un contrôle fin du style vocal (comme l'émotion et l'accent) ainsi que d'autres paramètres de style (y compris le rythme, les pauses et l'intonation).

Clonage vocal multilingue zero-shot. La langue de la parole générée et la langue de la parole de référence ne doivent pas nécessairement être présentes dans le grand jeu de données d'entraînement multilingue de locuteurs.

Utilisation d'OpenVoice :

1. Contrôle flexible du style vocal. Veuillez consulter demo_part1.ipynb pour des exemples d'utilisation montrant comment OpenVoice permet un contrôle flexible du style de la voix clonée.

2. Clonage vocal multilingue. Veuillez consulter demo_part2.ipynb pour des exemples dans des langues visibles ou non visibles dans le jeu de données MSML.

3. Utilisation avancée. Le modèle de locuteur de base peut être remplacé par n'importe quel modèle préféré par l'utilisateur (dans n'importe quelle langue et style). Veuillez utiliser la fonctionnalité démontrée dans le démo pour extraire l'intégration de tonalité d'un nouveau locuteur de base. se_extractor.get_se

4. Astuces pour générer une parole naturelle. Il existe de nombreuses méthodes TTS mono-locuteur ou multi-locuteurs capables de générer une parole naturelle, et elles sont facilement accessibles. Remplacez simplement le modèle de locuteur de base par votre modèle préféré, et vous pouvez porter le naturel de la parole au niveau souhaité.

Langues

Nous ne prenons en charge que l'anglais et le chinois pour cette version des poids du modèle. OpenVoice peut s'adapter à toute autre langue, à condition qu'un locuteur de base soit fourni.

Depuis mai 2023, OpenVoice alimente la fonctionnalité de clonage vocal instantané de myshell.ai. Jusqu'en novembre 2023, le mode de clonage vocal a été utilisé des dizaines de millions de fois par des utilisateurs du monde entier, témoignant de la croissance explosive de la base d'utilisateurs de la plateforme.