OpenVoice: 다기능 즉시 음성 클로닝 159

OpenVoice는 참조 화자의 짧은 오디오 클립만으로 그들의 음성을 복제하고 여러 언어의 음성을 생성할 수 있는 다목적 즉시음성 클론 방법입니다. OpenVoice는 감정, 억양, 속도, 휴지, 운율 등 음성 스타일의 정밀한 제어를 지원하며, 참조 스피커의 음색을 복제할 수도 있습니다. OpenVoice는 또한 대규모 스피커 훈련 세트에 포함되지 않은 언어에 대한 제로샷(zero-shot) 다국어 음성 클론닝을 구현합니다. OpenVoice는 계산 효율성도 뛰어나며, 그 비용은 성능이 떨어지는 상용 API보다 수십 배 저렴합니다.

OpenVoice 논문: https://arxiv.org/pdf/2312.01479.pdf

OpenVoice 프로젝트: https://github.com/myshell-ai/OpenVoice

OpenVoice 특징:

정확한 음색 클로닝. OpenVoice는 참조 음색을 정확하게 복제하여 여러 언어와 억양의 음성을 생성할 수 있습니다.

유연한 음성 스타일 제어. OpenVoice는 음성 스타일(감정, 억양 등)과 속도, 휴지, 운율 등 기타 스타일 매개변수에 대한 정밀한 제어를 지원합니다.

제로샷 다국어 음성 클로닝. 생성된 음성의 언어와 참조 음성의 언어가 대규모 다국어 스피커 훈련 데이터 세트에 포함될 필요가 없습니다.

OpenVoice 사용법:

1. 유연한 음성 스타일 제어. OpenVoice가 클론된 음성에서 유연한 스타일 제어를 구현하는 방법에 대한 예시 사용법은 demo_part1.ipynb를 참조하세요.

2. 다국어 음성 클로닝. MSML 훈련 세트에서 보이는 언어 또는 보이지 않는 언어의 예시는 demo_part2.ipynb를 참조하세요.

3. 고급 사용법. 기본 스피커 모델은 사용자가 선호하는 어떤 모델로도(어떤 언어와 스타일이라도) 교체할 수 있습니다. 데모에서 시연된 기능을 사용하여 새 기본 스피커의 음색 임베딩을 추출하세요. se_extractor.get_se

4. 자연스러운 음성 생성을 위한 팁. 자연스러운 음성을 생성할 수 있는 단일 화자 또는 다중 화자 TTS 방법이 많이 있으며 쉽게 구할 수 있습니다. 기본 스피커 모델을 선호하는 모델로 교체하기만 하면 음성 자연스러움을 원하는 수준으로 높일 수 있습니다.

언어

이 버전의 모델 가중치는 영어와 중국어만 지원합니다. 기본 스피커가 제공되기만 하면 OpenVoice는 다른 어떤 언어로도 적응할 수 있습니다.

2023년 5월 이후로 OpenVoice는 myshell.ai의 즉시 음성 클로닝 기능을 지원해 왔습니다. 2023년 11월까지 음성 클로닝 모드는 전 세계 사용자들에 의해 수천만 회 사용되었으며, 이는 플랫폼 사용자의 폭발적인 성장을 입증합니다.