dots.llm1: первый опенсорсный LLM от Xiaohongshu Hi Lab 78

Сяохуншу (Xiaohongshu) открыла доступ к своей первой большой модели dots.llm1 7 июня 2025 года. Модель была самостоятельно разработана Hi Lab (Humanistic Intelligence Laboratory) Сяохуншу. dots.llm1 — это модель mixture of experts (MoE) с 142 миллиардами параметров, которая при активации всего 14 миллиардов параметров во время вывода сохраняет высокую производительность и при этом значительно снижает затраты на обучение и инференс.

Особенности модели

• Использование крупномасштабных естественных обучающих данных: применяются 11,2 триллиона токенов несинтетических высококачественных обучающих данных, что встречается крайне редко среди современных открытых больших моделей. Благодаря этому модель демонстрирует высокую производительность в тестах на китайском языке, превосходя DeepSeek V2, V3 и открытые модели Alibaba Qwen2.5 32B и 72B со средним баллом 91,3.

• Архитектурное решение: используется архитектура однонаправленного декодера Transformer, но с заменой feed-forward сети на MoE. Во время инференса активируются не все экспертные сети, а динамически выбирается небольшая часть экспертов для вычислений на основе свойств входных токенов. Такой подход с разреженной активацией значительно снижает вычислительные требования, сохраняя высокую производительность модели. MoE в dots.llm1 состоит из 128 маршрутизирующих экспертов и 2 общих экспертов, каждый из которых представляет собой двухслойную feed-forward сеть с функцией активации SwiGLU. При обработке каждого входного токена через механизм маршрутизации выбираются 6 наиболее релевантных экспертных сетей, и вместе с 2 общими экспертами активируются всего 8 экспертных сетей.

• Оптимизация слоя внимания: используется классический механизм многоголового внимания (MHA), дополненный операцией нормализации RMSNorm, что предотвращает влияние слишком больших или слишком малых входных значений на обучение модели и тем самым повышает её стабильность и производительность.

• Стратегия балансировки нагрузки: в модуле MoE применяется стратегия балансировки нагрузки без вспомогательных потерь (auxiliary-loss-free load balancing).

Производительность модели

• Тесты на китайском языке: модель показывает отличные результаты в тестах на китайском языке. Например, в тесте семантического понимания CLUEWSC она набирает 92,6 балла, что является ведущим показателем в отрасли; в комплексном тесте знаний C-Eval она набирает 92,2 балла, превосходя все сравниваемые модели, включая DeepSeek-V3; средний балл по китайским задачам составляет 80,5, что заметно опережает конкурентов; со средним баллом 91,3 она превосходит открытые DeepSeek V2, V3 и открытые модели Alibaba Qwen2.5 32B и 72B.

• Математические рассуждения: в базовом тесте MATH500 модель набирает 84,8 балла, приближаясь к лучшим отраслевым показателям; на задачах соревнования AIME24 она набирает 33,1 балла, демонстрируя способность решать сложные математические задачи; CNMO24 (Китайская математическая олимпиада) — 40,6 балла, совокупный математический балл — 60,9.

• Возможности на английском языке и в коде: в английских бенчмарках MMLU, DROP, GPQA модель сопоставима с Qwen со средним баллом 64,4; средний балл по возможностям кода достигает уровня Qwen2.5.

• Следование инструкциям и согласование с человеческими предпочтениями: в тестах IFEval, AlpacaEval2, ArenaHard на следование инструкциям и согласование с человеческими предпочтениями средний балл составляет 77,9, что свидетельствует о способности модели точно понимать и выполнять сложные инструкции.

Преимущества контроля затрат

По сравнению с Qwen2.5-72B при обучении на каждый триллион токенов у dots.llm1 количество GPU-часов сократилось с 340 тыс. до 130 тыс. Повышение эффективности достигнуто благодаря уникальной схеме совмещения коммуникации и вычислений, а также эффективной реализации группированного GEMM.

Поддержка модели и сценарии применения

• Поддерживаемые функции: поддерживается китайско-английский двуязычный режим, длина контекста достигает 32768 токенов, а также поддерживается функция function call. Официально предоставленный балл в оценке mmlu-pro лучше, чем у Qwen3-235b-a22b, но сопоставим с новейшей DeepSeek-V3.

• Сценарии применения: благодаря накопленному на платформе Сяохуншу для обмена стилем жизни огромному объёму высококачественного UGC-контента, а также почти 600 миллионам ежедневных поисковых запросов и тому, что 70% месячных активных пользователей используют функцию поиска, dots.llm1 обладает уникальными преимуществами в диалогах о сценариях жизни, творческом письме, ответах на вопросы о жизненном опыте и т. д. Сяохуншу также выстраивает на основе этого собственную систему технологий ИИ.

Адрес открытого исходного кода:https://huggingface.co/rednote-hilab/dots.llm1.base/tree/main