OpenAI выпустила три новые голосовые модели: две речь-в-текст и одну текст-в-речь 197

20 марта 2025 года Openai выпустила три новые модели обработки голоса, включая две модели преобразования речи в текст (GPT-4o-transcribe и GPT-4o-mini-transcribe), а также одну модель преобразования текста в речь (GPT-4o-mini-tts).

Модели преобразования речи в текст

• GPT-4o-transcribe: Эта модель обучена на разнообразных и качественных аудионаборах данных в течение длительного времени, что позволяет ей лучше улавливать тонкости речи, сокращать количество ошибок распознавания и значительно повышать надёжность транскрипции. Она подходит для сложных сценариев с разнообразными акцентами, шумной обстановкой и изменяющейся скоростью речи, например для колл-центров и транскрибирования записей совещаний.

• GPT-4o-mini-transcribe: Это облегчённая версия GPT-4o-transcribe, обеспечивающая более высокую скорость и эффективность. Хотя её частота ошибок на уровне слов (WER) немного выше, чем у полной версии модели, она всё же превосходит прежнюю модель Whisper и больше подходит для сценариев с ограниченными ресурсами, где требуется качественное распознавание речи.

Модель преобразования текста в речь

• GPT-4o-mini-tts: Эта модель впервые поддерживает «управляемость» (steerability): разработчики могут не только указывать модели, «что говорить», но и контролировать, «как говорить» — например, задавать стиль голоса как «спокойный», «серфер», «профессиональный», «средневековый рыцарь» и т. д., а также настраивать стиль речи по инструкциям, например «говори как сочувствующий агент службы поддержки».

Технологические инновации

• Предварительное обучение на реальных аудионаборах данных для оптимизации производительности модели.

• Усовершенствованные методы дистилляции для переноса знаний из большой модели в малую.

• Обучение с подкреплением для повышения точности транскрибирования и снижения «галлюцинаций».

Сценарии применения

• Колл-центры: обеспечение более точного распознавания речи и более естественного синтеза голоса для повышения качества обслуживания клиентов.

• Записи совещаний: быстрое и точное преобразование речи участников совещания в текст.

• Персонализированная поддержка клиентов: настройка стиля голоса для создания более тёплого и выразительного речевого взаимодействия.

• Креативное повествование: добавление к историям выразительных голосовых эффектов.

Цены

• Цена GPT-4o-transcribe такая же, как у прежней модели Whisper, — 0,006 доллара за минуту.

• Цена GPT-4o-mini-transcribe составляет 0,003 доллара за минуту.

• Цена GPT-4o-mini-tts составляет 1 цент за минуту.

Сайт голосовых моделей OpenAI: OpenAI.fm — на нём представлены разнообразные готовые шаблоны с настройками персонажа, тона, диалекта, произношения и т. д. Пользователи могут опробовать и создать соответствующие аудио с помощью GPT-4o-mini-tts. Кроме того, OpenAI предоставляет обновлённую версию Agent SDK, которая помогает разработчикам удобнее создавать голосовых агентов.

Официальный сайт: http://openai.fm/

Официальный блог: https://openai.com/index/introducing-our-next-generation-audio-models/