Особенности, цены и сценарии использования голосовых моделей OpenAI GPT-4o-transcribe, GPT-4o-mini-transcribe и GPT-4o-mini-tts 201

Openaiпредставила новое поколение голосовых моделей, предоставляющих разработчикам более мощные возможности голосового взаимодействия и поддерживающих разработку голосовых агентов. Эти модели включают в себя две модели преобразования речи в текст (gpt-4o-transcribe и gpt-4o-mini-transcribe), а также одну модель преобразования текста в речь (gpt-4o-mini-tts). Каковы особенности каждой из них?

1. GPT-4o-transcribe (модель преобразования речи в текст)

Особенности:

• Высокоточная транскрипция: прошла длительное обучение на больших и разнообразных наборах высококачественных аудиоданных, что позволяет лучше улавливать тонкие нюансы речи, уменьшать количество ошибок распознавания и значительно повышать надёжность транскрипции.

• Адаптация к сложным сценариям: обладает высокой устойчивостью к акцентам, темпу речи и окружающему шуму, обеспечивая точное распознавание и транскрипцию речевого содержания даже в условиях фонового шума, сильного акцента говорящего или быстрого темпа речи.

• Способность обработки длинной речи: способна обрабатывать длительные речевые входные данные, что подходит для сценариев, требующих непрерывной транскрипции речи на протяжении длительного времени.

Сценарии использования:

• Протоколирование совещаний: преобразование речевого содержания совещаний в текст в режиме реального времени или постфактум для удобства整理 и обзора после совещания, повышения эффективности работы.

• Запись интервью: в таких сценариях, как журналистские интервью и беседы с персонами, быстрое и точное преобразование речи интервьюируемого в текст для последующего редактирования и публикации.

• Голосовые заметки: преобразование голосовых заметок пользователя в текст для удобства просмотра и整理 в любое время.

• Колл-центры для клиентов: точное распознавание речи клиентов и преобразование её в текст, что позволяет операторам службы поддержки быстро понять потребности клиентов и выполнить соответствующую обработку.

Ценообразование:

• Цена за 1 миллион входных аудио-токенов составляет $6.00, что примерно равно $0.006 за минуту.

2. GPT-4o-mini-transcribe (облегчённая версия модели преобразования речи в текст)

Особенности:

• Высокая эффективность и скорость: модель имеет меньший размер и более высокую скорость вычислений, что позволяет выполнять задачи транскрипции речи за короткое время.

• Низкое потребление ресурсов: относительно низкие требования к аппаратным ресурсам, подходит для работы на устройствах с ограниченными ресурсами.

• Высокое соотношение цена/качество: хотя частота ошибок на уровне слов (WER) немного выше, чем у полной версии модели, она всё же превосходит исходную модель Whisper.

Сценарии использования:

• Голосовой ввод на мобильных устройствах: обеспечивает пользователям быструю функцию транскрипции голосового ввода на смартфонах, планшетах и других мобильных устройствах, например, голосовой ввод текстовых сообщений.

• Небольшие голосовые приложения: подходит для небольших голосовых приложений с относительно невысокими требованиями к точности транскрипции, но требующих быстрого отклика, таких как распознавание голосовых команд, простые голосовые заметки и т. д.

• Среды с ограниченными ресурсами: в сценариях с ограниченными вычислительными ресурсами, таких как проекты небольших предприятий или индивидуальных разработчиков, обеспечивает эффективное и экономичное решение для транскрипции речи.

Ценообразование:

• Цена за 1 миллион входных аудио-токенов составляет $3.00, что примерно равно $0.003 за минуту.

3. GPT-4o-mini-tts (модель преобразования текста в речь)

Особенности:

• Управляемость: впервые поддерживает «управляемость», позволяя разработчикам не только указывать модели, «что говорить», но и контролировать, «как говорить». Например, можно заранее задать стиль голоса как «спокойный», «серфер», «профессиональный», «средневековый рыцарь» и т. д., а также корректировать стиль голоса в соответствии с инструкциями, например, «говори как сочувствующий агент службы поддержки».

• Естественная и плавная речь: генерируемая речь естественна, плавна и выразительна, способна выполнять соответствующее голосовое воспроизведение в зависимости от текстового содержания и заданного стиля.

• Многоязычная поддержка: поддерживает преобразование текста в речь на нескольких языках, удовлетворяя потребности пользователей на разных языках.

Сценарии использования:

• Аудиокниги: преобразование текстов книг, статей и т. д. в аудиоконтент, предоставляя пользователям более яркий и интересный опыт чтения.

• Интеллектуальная служба поддержки: обеспечивает функцию синтеза речи для систем интеллектуальной службы поддержки, позволяя роботам службы поддержки общаться с пользователями естественным и выразительным голосом, улучшая пользовательский опыт.

• Голосовые объявления: в таких сценариях, как новостные передачи, прогнозы погоды, дорожные сводки и т. д., преобразование текстового содержания в речь для трансляции.

• Создание креативного контента: в таких областях, как креативное повествование, создание рекламы, озвучивание видео и т. д., генерирует речь с определённым стилем и эмоциями в соответствии с различными креативными потребностями.

Ценообразование:

• Цена за 1 миллион входных текстовых токенов составляет $0.60, цена за 1 миллион выходных аудио-токенов составляет $12.00, что примерно равно $0.015 за минуту.

Такие модели, как GPT-4o-transcribe, уже открыты для разработчиков через API-интерфейс OpenAI и очень легко интегрируются в приложения — требуется лишь небольшой объём кода. Разработчики могут выбрать подходящую для себя модель в зависимости от функциональных и环境альных потребностей, а также попробовать её на официальном сайте.

Официальный сайт:http://open ai.fm/

Блог:https://openai.com/index/introducing-our-next-generation-audio-models/