Что нового в серии GPT-4.1 по сравнению с GPT-4o? Ключевые отличия 69

Openai вчера вечером выпустила серию GPT4.1, которая заменила 4o и обладает отличным соотношением цены и качества (в рамках экосистемы OpenAI). Она поддерживает сверхдлинный контекст в 1M токенов и показывает выдающуюся производительность. Версии 4.1 nano и mini отличаются доступной ценой и хорошо подходят для задач обработки больших объёмов длинных текстов. Возможности кодирования превосходят GPT 4.5, но уступают моделям рассуждения, таким как o1. GPT-4.1 демонстрирует заметные улучшения по сравнению с GPT-4o во многих аспектах. Ниже приведены их основные различия:

1. Повышение производительности

Возможности кодирования:

• GPT-4.1: набрала 54,6% в тесте кодирования SWE-bench Verified, что на 21,4% выше, чем у GPT-4o.

• GPT-4o: набрала 33,2% в том же тесте.

• Улучшение: GPT-4.1 отлично справляется с обработкой кодовых репозиториев, выполнением задач и генерацией рабочего кода, проходящего тесты.

Следование инструкциям:

• GPT-4.1: набрала 38,3% в тесте Scale MultiChallenge, что на 10,5% выше, чем у GPT-4o.

• GPT-4o: набрала 27,8% в том же тесте.

• Улучшение: GPT-4.1 лучше справляется со сложными инструкциями, форматированием вывода и избеганием ошибочного поведения.

Понимание длинных текстов:

• GPT-4.1: набрала 72,0% в тесте понимания длинных текстов Video-MME, что на 6,7% выше, чем у GPT-4o.

• GPT-4o: набрала 65,3% в том же тесте.

• Улучшение: GPT-4.1 лучше понимает и извлекает ключевую информацию при работе с длинными видео (без субтитров) и длинными документами.

2. Контекстное окно

• GPT-4.1: поддерживает контекстное окно в 1 миллион токенов, что значительно больше, чем 128 тысяч токенов у GPT-4o.

• GPT-4o: поддерживает контекстное окно в 128 тысяч токенов.

• Улучшение: GPT-4.1 способна обрабатывать более крупные кодовые базы, много-документные задачи и длинные тексты, что применимо во многих областях, таких как юриспруденция, программирование и поддержка клиентов.

3. Эффективность модели

• GPT-4.1: значительно улучшена эффективность логического вывода, более низкая задержка и более низкая стоимость.

• GPT-4.1 mini: задержка снижена почти вдвое, стоимость снижена на 83%.

• GPT-4.1 nano: самая быстрая модель с минимальной задержкой, подходящая для задач с требованиями к низкой задержке.

• GPT-4o: относительно менее эффективна при логическом выводе, особенно при обработке крупномасштабного контекста.

4. Понимание изображений

• GPT-4.1: отлично справляется с пониманием изображений, особенно в мультимодальных задачах.

• GPT-4.1 mini: набрала 72,7% в тесте понимания изображений MMMU, превосходя 68,7% у GPT-4o.

• GPT-4o: показывает более слабые результаты в задачах понимания изображений.

5. Стоимость

• GPT-4.1: $2,00 за миллион входных токенов и $8,00 за выходные токены.

• GPT-4.1 mini: $0,40 за миллион входных токенов и $1,60 за выходные токены.

• GPT-4.1 nano: $0,10 за миллион входных токенов и $0,40 за выходные токены.

• GPT-4o: стоимость за миллион входных токенов выше (конкретные данные не указаны), но серия GPT-4.1 имеет преимущество в стоимости.

6. Сценарии применения

• GPT-4.1: подходит для сценариев, требующих мощных вычислительных возможностей и обработки сложных задач, таких как профессиональная разработка программного обеспечения, анализ юридических документов, крупномасштабная обработка данных и т.д.

• GPT-4.1 mini: подходит для использования в средах с ограниченными ресурсами, например на обычных персональных компьютерах и небольших серверах.

• GPT-4.1 nano: в основном предназначена для мобильных устройств и встраиваемых систем, подходит для сценариев с высокими требованиями к скорости отклика и ограниченными ресурсами, таких как быстрая классификация текста, автодополнение и т.д.

• GPT-4o: подходит для общего назначения, но показывает более слабые результаты при обработке крупномасштабного контекста и сложных задач.

Дополнительные показатели тестов см. в блоге OpenAI: https://openai.com/index/gpt-4-1/.