dots.llm1 : le premier LLM open source de Xiaohongshu Hi Lab 73

小红书 a ouvert son premier grand modèle de langage dots.llm1 le 7 juin 2025, développé de manière indépendante par Hi Lab (Laboratoire d'Intelligence Humaniste) de 小红书. dots.llm1 est un modèle de mixture d'experts (MoE) de 142 milliards de paramètres qui n'en active que 14 milliards lors de l'inférence, maintenant ainsi des performances élevées tout en réduisant considérablement les coûts d'entraînement et d'inférence.

Caractéristiques du modèle

• Utilisation de données d'entraînement naturelles à grande échelle : utilisation de 11,2 billions de tokens de données d'entraînement non synthétiques de haute qualité, ce qui est très rare parmi les grands modèles open source actuels. Cela lui confère de solides performances dans les tests en chinois, avec un score moyen de 91,3 surpassant les modèles V2 et V3 open source de DeepSeek ainsi que les modèles Qwen2.5 32B et 72B d'Alibaba.

• Conception architecturale : utilisation d'une architecture Transformer à décodeur unidirectionnel, mais avec remplacement du réseau feed-forward par un MoE. Lors de l'inférence, le réseau n'active pas tous les réseaux d'experts, mais sélectionne dynamiquement une petite partie d'entre eux en fonction de la nature des tokens d'entrée pour effectuer les calculs. Cette méthode d'activation clairsemée réduit considérablement les besoins en puissance de calcul tout en garantissant des performances élevées du modèle. Le MoE de dots.llm1 se compose de 128 experts de routage et de 2 experts partagés, chaque réseau d'expert étant un réseau feed-forward à deux couches utilisant la fonction d'activation SwiGLU. Pour le traitement de chaque token d'entrée, un mécanisme de routage sélectionne les 6 réseaux d'experts les plus pertinents, auxquels s'ajoutent les 2 experts partagés, pour un total de 8 réseaux d'experts activés.

• Optimisation de la couche d'attention : utilisation du mécanisme classique d'attention multi-têtes (MHA), enrichi d'une opération de normalisation RMSNorm, évitant ainsi l'impact de valeurs d'entrée trop grandes ou trop petites sur l'entraînement du modèle, ce qui améliore la stabilité et les performances de celui-ci.

• Stratégie d'équilibrage de charge : introduction d'une stratégie d'équilibrage de charge sans perte auxiliaire sur le module MoE.

Performances du modèle

• Tests en chinois : excellentes performances dans les tests en chinois, avec par exemple un score de 92,6 sur la compréhension sémantique CLUEWSC, un niveau leader dans le secteur ; un score de 92,2 au test de connaissances综合 C-Eval surpassant tous les modèles comparés, y compris DeepSeek-V3 ; un score moyen de 80,5 sur les tâches en chinois, nettement en tête ; avec un score moyen de 91,3 surpassant les modèles V2 et V3 open source de DeepSeek ainsi que les Qwen2.5 32B et 72B open source d'Alibaba.

• raisonnement mathématique : score de 84,8 au test de référence MATH500, proche du sommet du secteur ; score de 33,1 aux questions du concours aime24, démontrant la capacité à traiter des problèmes mathématiques complexes ; score de 40,6 au CNMO24 (Olympiade de Mathématiques de Chine), avec un score global en mathématiques de 60,9.

• Capacités en anglais et en code : comparable à Qwen sur les tests de référence anglais tels que MMLU, DROP et GPQA, avec un score moyen de 64,4 ; capacité de codage atteignant en moyenne le niveau de Qwen2.5.

• Alignement sur les instructions et les préférences humaines : score moyen de 77,9 sur l'alignement des instructions et des préférences humaines avec IFEval, AlpacaEval2 et ArenaHard, indiquant que le modèle est capable de comprendre et d'exécuter avec précision des instructions complexes.

Avantages en matière de contrôle des coûts

Par rapport à Qwen2.5-72B, dots.llm1 a réduit le nombre d'heures GPU de 340K à 130K par billion de tokens entraînés, grâce à sa stratégie unique de chevauchement des communications et des calculs ainsi qu'à une implémentation efficace de GEMM par groupes.

Prise en charge et scénarios d'application du modèle

• Fonctionnalités prises en charge : prise en charge du bilingue chinois-anglais, longueur de contexte allant jusqu'à 32 768 tokens, ainsi que prise en charge de la fonctionnalité function call. Le score d'évaluation mmlu-pro fourni officiellement est meilleur que celui de Qwen3-235b-a22b, mais comparable à celui du dernier DeepSeek-V3.

• Scénarios d'application : grâce à l'accumulation massive de contenu UGC de haute qualité de la plateforme de partage de mode de vie 小红书, ainsi qu'aux près de 600 millions de recherches quotidiennes et au fait que 70 % des utilisateurs actifs mensuels utilisent la fonction de recherche, dots.llm1 présente des avantages d'application uniques dans les domaines de la conversation sur des scénarios de vie, de la rédaction créative et des réponses aux questions d'expérience de vie. 小红书 construit actuellement son propre écosystème technologique d'IA autour de cet axe.

Adresse open source :https://huggingface.co/rednote-hilab/dots.llm1.base/tree/main