Voice Engine: модель генерации голоса от OpenAI 107

Voice Engine от Openai — это технология синтеза речи с помощью ИИ и клонирования голоса, которая способна генерировать естественно звучащую речь, близкую к оригиналу, на основе короткого 15-секундного аудиообразца и текстового ввода. Модель была впервые разработана в конце 2022 года и уже применяется в API преобразования текста в речь от OpenAI, а также в предустановленных голосах функций голосовой связи и чтения вслух в ChatGPT. Технология Voice Engine демонстрирует потенциал в различных областях применения, включая помощь при чтении, перевод контента, улучшение предоставления базовых услуг, поддержку невербальных людей и помощь людям с афазией в «восстановлении голоса».

Функциональные особенности OpenAI Voice Engine:

• Генерация речи на основе текста и аудиообразца: Voice Engine способен использовать текстовый ввод и один 15-секундный аудиообразец для генерации естественно звучащей речи, которая очень похожа на голос оригинального говорящего.

• Высокая реалистичность и эмоциональная насыщенность: технология не только копирует голос оригинального говорящего, но и создаёт эмоционально насыщенную и реалистичную речь, которая отличается высоким качеством с точки зрения разборчивости, связности речи, тембра и естественности.

• Универсальность применения: Voice Engine уже продемонстрировал свой потенциал во множестве областей, включая помощь при чтении, перевод контента, улучшение предоставления базовых услуг, поддержку невербальных людей и помощь людям с афазией в «восстановлении голоса». Кроме того, технология используется для перевода видео, переводя голос докладчика на множество языков с сохранением оригинального акцента и бесшовной синхронизацией с движением губ, создавая неотличимых от реальных цифровых аватаров.

• Безопасность и осторожное использование: из-за риска злоупотребления синтезированной речью OpenAI заняла осторожную позицию в отношении выпуска Voice Engine. Несмотря на то, что технология уже опробована в небольшом масштабе и применяется в API преобразования текста в речь, а также в функциях голосовой связи и чтения вслух в ChatGPT, компания подчёркивает обеспокоенность по поводу злоупотребления синтезированными голосами и изучает соответствующие меры безопасности.

Сценарии применения OpenAI Voice Engine:

• Помощь людям с афазией в восстановлении голоса: с помощью короткого аудиообразца и текстового ввода Voice Engine может помочь людям, утратившим способность говорить из-за болезни или по другим причинам, вновь обрести свой голос.

• Помощь при чтении: для детей и людей, которые не умеют читать, Voice Engine может генерировать естественную и эмоционально насыщенную речь для облегчения чтения и обучения.

• Перевод контента: используя Voice Engine, можно переводить текстовый контент на множество языков и генерировать речевой вывод, близкий к голосу оригинального говорящего, охватывая глобальную аудиторию.

• Поддержка невербальной коммуникации: для людей, которые не могут пользоваться традиционной устной речью, Voice Engine предоставляет новый способ самовыражения, расширяя их возможности общения.

• Помощь пациентам в восстановлении голоса: в медицинской сфере Voice Engine используется для того, чтобы помочь пациентам, утратившим или изменившим свой голос из-за болезни или по другим причинам, вернуться к состоянию, близкому к нормальному.

• Образовательное применение: например, детская образовательная компания Age of Learning использует Voice Engine для предоставления детям аудиокниг и обеспечения персонализированного интерактивного взаимодействия в реальном времени.

• Программное обеспечение для автоматического распознавания и генерации речи: технология Voice Engine может найти широкое применение в виртуальных помощниках, устройствах умного дома и других сценариях для автоматического распознавания и генерации речи.

Эти сценарии применения демонстрируют многообразие и потенциал технологии Voice Engine — от помощи определённым группам людей в восстановлении голоса до образовательной поддержки, содействия межкультурной коммуникации и улучшения повседневного опыта.

Таким образом, OpenAI Voice Engine использует текстовый ввод и короткие аудиообразцы для генерации высокореалистичной и эмоционально насыщенной речи, способной имитировать голос оригинального говорящего. Эта технология уже продемонстрировала широкий потенциал применения во многих областях, но одновременно сталкивается с проблемами безопасности и рисков злоупотребления. Из-за риска злоупотребления технологией синтеза речи OpenAI заняла осторожную позицию в отношении неё, и в настоящее время технология находится лишь на стадии ограниченного предварительного доступа. Кроме того, OpenAI подчёркивает, что сгенерированная естественная речь обладает богатыми эмоциями и реалистичным тембром, но в то же время осознаёт связанные с этой технологией «серьёзные риски» и «потенциал злоупотребления синтезированными голосами».