DeepSeek Coder: открытая большая языковая модель для генерации кода от DeepSeek 160

DeepSeek Coder — это серия открытых больших языковых моделей для генерации кода, выпущенная китайской компанией искусственного интеллекта DeepSeek (DeepSeek). Благодаря технологиям глубокого обучения модель повышает способности генерации и понимания кода, увеличивает программистскую эффективность разработчиков и достигает или превосходит производительность ведущих закрытых моделей в ряде бенчмарков.

I. Архитектура модели и ключевые технологии

Архитектура Mixture of Experts (MoE)

DeepSeek Coder V2 использует архитектуру MoE с общим числом параметров 236B и 21B активных параметров, что позволяет динамически выбирать экспертные сети для лучшего соответствия задачам. Обучающие данные охватывают 338 языков программирования (расширение с 86 в версии V1) и поддерживают контекстное окно в 128K токенов, что позволяет обрабатывать сложные кодовые репозитории и задачи с длинным контекстом.

Инновационные методы обучения

• Fill-In-Middle (FIM): код случайным образом разделяется на префикс (Prefix), середину (Middle) и суффикс (Suffix), и модель обучается заполнять недостающую середину, что усиливает возможности автодополнения кода.

• Предварительное обучение на уровне репозитория: наборы данных строятся на основе зависимостей внутри кодовой базы с использованием топологической сортировки для обработки межфайловых зависимостей, что повышает способность генерации кода на уровне проекта.

Оптимизация с помощью обучения с подкреплением

Используется алгоритм GRPO (Group Relative Policy Optimization) для согласования с человеческими предпочтениями, а обратная связь от компилятора и тестовых наборов применяется для оптимизации корректности кода.

II. Производительность и бенчмарки

Возможности генерации кода

• В бенчмарке HumanEval точность DeepSeek Coder V2 достигает 90,2%, превосходя GPT-4-Turbo и Claude 3 Opus8.

• В SWEBench (тест сложных задач по коду) впервые открытая модель набрала более 10%.

• Поддерживается генерация кода на 338 языках, включая Python, Java, Rust и другие, при этом скорость генерации на 20% выше, чем у GPT-4.

Математика и способности к рассуждению

• На математических бенчмарках соревновательного уровня, таких как MATH и aiME, производительность сопоставима с GPT-4o и Gemini 1.5 Pro.

• Цепочка рассуждений (Chain-of-Thought, COT) значительно повышает способность решать сложные задачи.

Универсальная обработка языка

В тесте MMLU (многозадачное понимание языка) модель набирает 79,2%, сохраняя универсальные способности на уровне моделей общего назначения (таких как DeepSeek-V2).

III. Экосистема для разработчиков и сценарии применения

Открытый код и низкая стоимость

• Модель, код и технический отчёт полностью открыты (лицензия MIT), допускается бесплатное коммерческое использование и доработка.

• Стоимость API крайне конкурентоспособна: входные токены стоят всего 0,27 доллара за миллион токенов (при попадании в кэш — всего 0,07 доллара), что значительно ниже 18 долларов у GPT-4.

Интеграция и развёртывание

Предоставляются предобученные модели на Hugging Face и решения для локального частного развёртывания: возможна работа на одной машине с 880 ГБ видеопамяти либо облегчённая версия (V2-Lite) на одной карте с 40 ГБ.

Интеграция с цепочкой инструментов разработки (например, фреймворк vLLM), оптимизация механизма разреженного внимания, снижение потребления памяти и повышение скорости инференса.

Примеры применения

• Автоматическое рецензирование кода: выявление уязвимостей и предложения по оптимизации, ускорение цикла разработки.

• Создание API: автоматическая генерация RESTful-сервисов, GraphQL-запросов и т. п., сокращение объёма шаблонного кода.

• Проекты по машинному обучению: генерация кода для пайплайнов данных и алгоритмов, поддержка комплексной разработки AI-решений.

DeepSeek Coder может широко применяться в разработке программного обеспечения, анализе данных, автоматизированном тестировании и других областях. Модель не только генерирует код, но и отвечает на вопросы, связанные с программированием, помогая разработчикам повышать эффективность работы.

Благодаря технологическим инновациям (таким как архитектура MoE и обучение FIM) и открытой экосистеме DeepSeek Coder переопределяет границы производительности моделей генерации кода. Высокое соотношение цена/качество, поддержка множества языков и возможности работы с кодом на уровне проектов делают её ключевым инструментом повышения эффективности для разработчиков и одновременно способствуют сотрудничеству и развитию глобального сообщества открытого AI. С выходом последующих мультимодальных и более масштабных моделей DeepSeek может стать эталоном в области генерации кода в эпоху AGI.

Репозиторий на GitHub:https://github.com/deepseek-ai/DeepSeek-Coder