Alibaba выпустила Qwen3: два режима мышления и многоязычность 69

小编 · 2025-04-29

Alibaba официально выпустила серию Qwen3 29 апреля 2025 года. Это новейшее пополнение семейства больших языковых моделей Qwen: флагманская Qwen3-235B-A22B и компактная MoE-модель Qwen3-30B-A3B, а также ряд других моделей демонстрируют сильные результаты на бенчмарках по коду, математике и общим возможностям. Веса нескольких моделей Qwen3 были открыты, модели доступны на различных платформах.

Alibaba выпустила Qwen3: два режима мышления и многоязычность

Alibaba 29 апреля 2025 года официально выпустила серию моделей Qwen3. Это новейший представитель серии больших языковых моделей Qwen. Флагманская модель Qwen3-235B-A22B и компактная MoE-модель Qwen3-30B-A3B, а также ряд других моделей продемонстрировали выдающиеся результаты в бенчмарках по коду, математике и общим возможностям. Qwen3 опубликовала в open-source веса нескольких моделей и открыла доступ к ним на различных платформах.

Qwen3 поддерживает два режима мышления, обладает мультиязычными возможностями, а также оптимизированными возможностями Agent и работы с кодом. Объём данных предварительного обучения составил около 36 триллионов токенов, предварительное обучение проходит в три этапа, а пост-обучение использует четырёхэтапный процесс тренировки.

Alibaba представила новейшую модель Qwen3: поддержка двух режимов мышления и мультиязычных возможностей.webp

Ключевые особенности модели

Несколько режимов мышления: поддерживаются режимы мышления и без мышления. Режим мышления подходит для сложных задач, где модель рассуждает пошагово; режим без мышления подходит для простых задач и обеспечивает быстрый отклик. Сочетание двух режимов расширяет возможности управления «бюджетом мышления», позволяя пользователю настраивать его по мере необходимости.
Мультиязычные возможности: поддерживается 119 языков и диалектов, охватывающих индоевропейскую, сино-тибетскую и другие языковые семьи, что открывает возможности для международных приложений.
Усиленные возможности Agent: оптимизированы возможности Agent и работы с кодом, усилена поддержка MCP, а использование Qwen-Agent снижает сложность кода при вызове инструментов.

Alibaba представила новейшую модель Qwen3: поддержка двух режимов мышления и мультиязычных возможностей.webp

Производительность Qwen3

Флагманская модель: Qwen3-235B-A22B — флагманская модель серии, обладающая более чем 235 миллиардами общих параметров и более чем 22 миллиардами активных параметров. В бенчмарках по коду, математике и общим возможностям данная модель продемонстрировала высококонкурентные результаты в сравнении с такими топовыми моделями, как DeepSeek-R1, o1 и o3-mini от Openai, Grok-3 от Маска и Gemini-2.5-Pro от Google.
Компактные модели: компактная MoE-модель Qwen3-30B-A3B имеет количество активных параметров, составляющее 10% от QwQ-32B, но при этом показывает лучшие результаты. Кроме того, такая небольшая модель, как Qwen3-4B, способна сравниться по производительности с Qwen2.5-72B-Instruct.

Технические особенности Qwen3

Гибридная модель рассуждений: Qwen3 — первая в Китае «гибридная модель рассуждений», объединяющая «быстрое мышление» и «медленное мышление» в одной модели. Такая архитектура позволяет модели проводить глубокое рассуждение при решении сложных задач и быстро отвечать на простые запросы.
Мультиязычная поддержка: Qwen3 поддерживает 119 языков и обучена на почти 36 триллионах токенов, что вдвое превышает объём данных обучения Qwen2.5.
Длина контекста: Qwen3 поддерживает длину контекста до 256K, что позволяет решать такие сложные задачи, как анализ длинных документов, генерация кода и многотуровые диалоги.

Alibaba представила новейшую модель Qwen3: поддержка двух режимов мышления и мультиязычных возможностей.webp

Производительность и стоимость моделей Qwen3

Флагманская версия Qwen3-235B-A22B: общее количество параметров составляет 235 миллиардов, активных параметров — 22 миллиарда. По сравнению с DeepSeek-R1 общее количество параметров составляет лишь одну треть от последней, а затраты на развёртывание, по прогнозам, могут быть снижены более чем наполовину. Кроме того, модель поддерживает возможность включения режима «глубокого мышления» по запросу, а для локального развёртывания достаточно 4 видеокарт H20.
Qwen3-30B-A3B: общее количество параметров составляет 30 миллиардов, активных параметров — 3 миллиарда, а общая производительность сопоставима с Qwen2.5-32B.

Функциональные особенности Qwen3

Нативная поддержка протокола MCP: серия Qwen3 обладает возможностями вызова инструментов, которые в сочетании с собственным фреймворком Qwen-Agent значительно снижают сложность программирования, поддерживает выполнение задач Agent-операций на смартфонах и компьютерах, продвигая ИИ от диалога к исполнению.
Мультиязычная поддержка: поддерживается 119 языков, включая китайский, английский, французский, испанский, русский, арабский и другие.
Открытые модели: серия Qwen3 опубликовала в open-source в общей сложности 8 моделей, в том числе:

6 моделей Dense: 0.6B, 1.7B, 4B, 8B, 14B, 32B
2 модели MoE: Qwen3-30B-A3B и флагманская версия Qwen3-235B-A22B
Самая компактная модель Qwen3-0.6B: имеет небольшой объём, что делает её идеальной для развёртывания на оконечных устройствах, таких как смартфоны, при этом сохраняет хорошие способности к пониманию и генерации, что отлично подходит для интеллектуальных приложений на периферии.

Процесс обучения

Предварительное обучение: набор данных значительно расширен по сравнению с Qwen2.5 и достигает примерно 36 триллионов токенов, что вдвое больше, чем у Qwen2.5. Источники данных включают веб-сайты, PDF-документы и другие, а для синтеза математических и кодовых данных используются экспертные модели. Предварительное обучение проходит в три этапа: от тренировки базовых языковых навыков — к увеличению объёма данных, требующих интенсивных знаний, — и далее к расширению длины контекста до 32K токенов.
Пост-обучение: используется четырёхэтапный процесс обучения, включающий холодный старт длинной цепочки рассуждений, обучение с подкреплением для длинной цепочки рассуждений, слияние режимов мышления, а также общее обучение с подкреплением — для разработки гибридной модели, обладающей одновременно способностями к рассуждению и быстрому реагированию.

Как использовать

Базовое использование: для использования Qwen3-30B-A3B в transformers от Hugging Face имеется стандартный пример кода, переключение между режимами мышления осуществляется путём изменения параметра enable_thinking.
Развёртывание: с помощью sglang>=0.4.6.post1 или vllm>=0.8.4 можно создать совместимый с OpenAI API эндпоинт, а удаление определённых параметров позволяет отключить режим мышления.
Локальная разработка: для локальной разработки можно использовать такие инструменты, как ollama, LMStudio, llama.cpp и ktransformers.
Расширенные возможности: предоставляется механизм мягкого переключения, позволяющий добавлять /think и /no_think в подсказках пользователя или системных сообщениях для переключения режима мышления на каждом туре.