Помощник сценариста▸ 
AI Приложения 
AI Новости 
OpenVoice: универсальное мгновенное клонирование голоса
OpenVoice: универсальное мгновенное клонирование голосаОписание
OpenVoice — это универсальный метод мгновенного клонирования голоса, который требует лишь короткого аудиофрагмента с голосом говорящего, чтобы воспроизвести его голос и сгенерировать речь на нескольких языках. OpenVoice поддерживает точное управление стилем речи, включая эмоции, акцент, ритм, паузы и интонацию, а также копирование тембральной окраски голоса референсного диктора. Кроме того, OpenVoice реализует кросс-языковое клонирование голоса с нулевым количеством примеров, что работает и для языков, не включённых в крупномасштабный обучающий набор дикторов. При этом OpenVoice вычислительно эффективен: его стоимость в десятки раз ниже, чем у менее производительных коммерческих API.
Статья OpenVoice: https://arxiv.org/pdf/2312.01479.pdf
Проект OpenVoice: https://github.com/myshell-ai/OpenVoice
Особенности OpenVoice:
Точное клонирование тембра. OpenVoice способен точно клонировать референсный тембр и генерировать речь на различных языках и с разными акцентами.
Гибкое управление стилем речи. OpenVoice поддерживает детальный контроль стиля речи (например, эмоций и акцента), а также других параметров стиля, включая ритм, паузы и интонацию.
Кросс-языковое клонирование голоса с нулевым количеством примеров. Ни язык генерируемой речи, ни язык референсного аудио не обязательно должны присутствовать в крупномасштабном многоязычном обучающем наборе дикторов.
Использование OpenVoice:
1. Гибкое управление стилем речи. См. demo_part1.ipynb с примерами того, как OpenVoice обеспечивает гибкое управление стилем клонированной речи.
2. Кросс-языковое клонирование голоса. См. demo_part2.ipynb с примерами как для языков, присутствующих в обучающем наборе MSML, так и для языков, которые в нём не представлены.
3. Продвинутое использование. Базовая модель диктора может быть заменена на любую предпочитаемую вами модель (на любом языке и в любом стиле). Используйте функции, показанные в демонстрациях, чтобы извлечь тембральные эмбеддинги новой базовой модели диктора. se_extractor.get_se
4. Советы по генерации естественной речи. Существует множество одно- и многодикторных TTS-методов, способных генерировать естественную речь, и их легко получить. Просто замените базовую модель диктора на ту, которая вам нравится, и вы сможете поднять естественность речи до желаемого уровня.
Языки
В этой версии весов модели мы поддерживаем только английский и китайский. OpenVoice может быть адаптирован к любому другому языку при условии предоставления базовой модели диктора.
С мая 2023 года OpenVoice обеспечивает работу функции мгновенного клонирования голоса на платформе myshell.ai. По состоянию на ноябрь 2023 года режим клонирования голоса был использован пользователями по всему миру десятки миллионов раз, что свидетельствует о взрывном росте аудитории платформы.
