Что такое GPT-4o от OpenAI и какие у него возможности? 217

Openai только что выпустила GPT-4o в 10 утра по тихоокеанскому времени в понедельник, 13 мая — это новая модель искусственного интеллекта, объединяющая текст, изображения, видео и голос в одной универсальной модели.

Она способна отвечать на запросы пользователей в реальном времени, отвечая голосом, и вы можете в любой момент её прервать. GPT-4o обладает возможностями визуального восприятия, распознаёт объекты и быстро реагирует и отвечает на основе визуальной информации, демонстрируя очень сильные способности к логическому рассуждению. Она также способна определять эмоции пользователей по их голосу.

Её скорость в 2 раза выше, чем у GPT4-turbo, а цена на 50% дешевле!

Что такое GPT-4o?

GPT-4o (буква «o» означает «omni») — это шаг к более естественному взаимодействию человека и машины: модель принимает на вход любую комбинацию текста, аудио и изображений и генерирует на выходе любую комбинацию текста, аудио и изображений. Она может реагировать на аудиовход за время всего 232 миллисекунды, в среднем — 320 миллисекунд, что сопоставимо с временем реакции человека в разговоре. По производительности на англоязычных текстах и коде она соответствует GPT-4 Turbo, при этом значительно превосходит его на неанглоязычных текстах, а API работает быстрее и стоит на 50% дешевле. По сравнению с существующими моделями GPT-4o особенно выделяется пониманием визуальной и аудиоинформации.

До появления GPT-4o вы могли общаться с ChatGPT в голосовом режиме со средней задержкой 2,8 секунды (GPT-3.5) и 5,4 секунды (GPT-4). Чтобы добиться этого, голосовой режим представлял собой конвейер из трёх отдельных моделей: простая модель преобразовывала аудио в текст, GPT-3.5 или GPT-4 принимала текст и выдавала текст, а третья простая модель преобразовывала этот текст обратно в аудио. Этот подход означал, что основной источник интеллекта — GPT-4 — терял большой объём информации: он не мог напрямую воспринимать тон, нескольких говорящих или фоновый шум, а также не мог воспроизводить смех, пение или выражать эмоции.

С помощью GPT-4o мы обучили новую модель сквозным образом по тексту, изображению и аудио, что означает, что все входные и выходные данные обрабатываются одной и той же нейронной сетью. Поскольку GPT-4o — наша первая модель, объединяющая все эти модальности, мы пока лишь поверхностно изучаем её возможности и ограничения.

Оценка модели GPT-4o

Согласно традиционным бенчмаркам, GPT-4o обеспечивает производительность уровня GPT-4 Turbo в задачах на текст, рассуждения и кодинг, одновременно устанавливая новые высокие планки для многоязычных, аудио- и визуальных возможностей.

Токенизация языков в GPT-4o

20 языков были выбраны в качестве репрезентативных для оценки сжатия нового токенизатора в различных языковых семьях.

Безопасность и ограничения модели

GPT-4o имеет встроенные средства безопасности в кросс-модальной архитектуре благодаря таким методам, как фильтрация обучающих данных и уточнение поведения модели после обучения. Мы также создали новые системы безопасности для защиты голосового вывода.

Мы оценили GPT-4o в соответствии с нашей системой оценки готовности (Preparedness Framework) и в рамках наших добровольных обязательств. Наши оценки в области кибербезопасности, CBRN, убедительности и автономности модели показали, что GPT-4o не набирает выше среднего уровня риска ни в одной из этих категорий. Эта оценка включала проведение серии автоматизированных и ручных оценок на протяжении всего процесса обучения модели. Мы тестировали версии модели до и после применения мер безопасности с помощью специального дообучения и промптов, чтобы лучше выявить возможности модели.

Мы также провели масштабное сотрудничество с более чем 70 внешними командами красных командexternal experts, включая внешних экспертов в области социальной психологии, предвзятости и справедливости, а также дезинформации, чтобы определить риски, которые были введены или усилены новыми модальностями. Мы использовали полученные знания для разработки мер безопасности, повышающих безопасность взаимодействия с GPT-4o. Мы продолжим снижать выявленные новые риски.

Мы осознаём, что аудиорежим GPT-4o несёт в себе различные новые риски. Сегодня мы публично выпускаем текстовый и графический ввод, а также текстовый вывод. В ближайшие недели и месяцы мы будем работать над технической инфраструктурой, доступностью после обучения и безопасностью, необходимой для выпуска других модальностей. Например, на момент выпуска аудиовыход будет ограничен выбором предопределённых голосов и будет соответствовать нашим существующим политикам безопасности. Более подробную информацию обо всех модальностях GPT-4o мы представим в готовящейся к выпуску системной карте.

Мы надеемся получить обратную связь, которая поможет определить задачи, в которых GPT-4 Turbo по-прежнему превосходит GPT-4o, чтобы мы могли продолжать совершенствовать модель.

Доступность модели

GPT-4o — это наша новейшая разработка, расширяющая границы глубокого обучения, и на этот раз — в направлении практичности. За последние два года мы вложили значительные усилия в повышение эффективности на каждом уровне стека. В качестве первого результата этой работы мы можем предложить более широкий доступ к модели уровня GPT-4. Возможности GPT-4o будут внедряться итеративно (начиная с сегодняшнего дня — расширение доступа для красных команд).

Текстовые и графические возможности GPT-4o начинают внедряться в ChatGPT уже сегодня. Мы предоставляем GPT-4o в бесплатном тарифе, а пользователям Plus — до 5 раз больший лимит сообщений. В ближайшие недели мы запустим в ChatGPT Plus альфа-версию нового голосового режима GPT-4o.

Разработчики также могут получить доступ к GPT-4o через API в качестве текстовой и визуальной модели. По сравнению с GPT-4 Turbo, GPT-4o обеспечивает удвоенную скорость, вдвое меньшую цену и в 5 раз более высокие лимиты запросов. Мы планируем в ближайшие недели предоставить ограниченному кругу надёжных партнёров доступ к новым аудио- и видеовозможностям GPT-4o через API.

Более подробная информация о GPT-4o: https://openai.com/index/hello-gpt-4o/