OpenVoice: vielseitiges Sofort-Stimmenklonen 163

OpenVoice ist eine vielseitige Methode zur sofortigen Stimmklonung, die nur eine kurze Audioaufnahme eines Sprechers als Referenz benötigt, um dessen Stimme zu replizieren und Sprache in mehreren Sprachen zu erzeugen. OpenVoice ermöglicht eine feinkörnige Steuerung des Sprechstils, einschließlich Emotion, Akzent, Rhythmus, Pausen und Intonation, sowie das Klonen der Tonfarbe des Referenzsprechers. OpenVoice realisiert außerdem Zero-Shot-übersprachliche Stimmklonung – auch für Sprachen, die nicht im großen Sprechertrainingsdatensatz enthalten sind. OpenVoice ist zudem recheneffizient und kostet um ein Vielfaches weniger als leistungsschwächere kommerzielle APIs.

OpenVoice-Paper: https://arxiv.org/pdf/2312.01479.pdf

OpenVoice-Projekt: https://github.com/myshell-ai/OpenVoice

OpenVoice-Funktionen:

Präzises Klonen der Tonfarbe. OpenVoice kann die Referenztonfarbe genau klonen und Sprache in mehreren Sprachen und Akzenten erzeugen.

Flexible Steuerung des Sprechstils. OpenVoice unterstützt eine feinkörnige Steuerung des Sprechstils (z. B. Emotion und Akzent) sowie weiterer Stilparameter wie Rhythmus, Pausen und Intonation.

Zero-Shot-übersprachliche Stimmklonung. Weder die Sprache der erzeugten Sprache noch die Sprache der Referenzsprache muss in einem großen mehrsprachigen Sprechertrainingsdatensatz vertreten sein.

OpenVoice-Anwendung:

1. Flexible Steuerung des Sprechstils. Siehe demo_part1.ipynb für eine beispielhafte Anwendung, wie OpenVoice eine flexible Stilsteuerung der geklonten Sprache ermöglicht.

2. Übersprachliche Stimmklonung. Siehe demo_part2.ipynb für Beispiele zu Sprachen, die im MSML-Trainingsdatensatz sichtbar oder unsichtbar sind.

3. Erweiterte Nutzung. Das Basissprechermodell kann durch ein beliebiges bevorzugtes Modell (jede Sprache und jeder Stil) ersetzt werden. Verwenden Sie die in den Demos gezeigten Funktionen, um die Tonfarben-Einbettung eines neuen Basissprechers zu extrahieren. se_extractor.get_se

4. Tipps zur Erzeugung natürlicher Sprache. Es gibt viele TTS-Methoden für einzelne oder mehrere Sprecher, die natürliche Sprache erzeugen können und leicht erhältlich sind. Ersetzen Sie einfach das Basissprechermodell durch Ihr bevorzugtes Modell, um die Natürlichkeit der Sprache auf das gewünschte Niveau zu heben.

Sprachen

Wir unterstützen für diese Version der Modellgewichte nur Englisch und Chinesisch. OpenVoice kann an jede andere Sprache angepasst werden, sofern ein Basissprecher bereitgestellt wird.

Seit Mai 2023 unterstützt OpenVoice die Funktion zur sofortigen Stimmklonung auf myshell.ai. Bis November 2023 wurde der Stimmklonungsmodus weltweit zehntausende Male von Nutzern verwendet und begleitete das explosionsartige Wachstum der Plattformnutzer.