dots.llm1: Xiaohongshu Hi Lab veröffentlicht sein erstes Open-Source-LLM 72

小红书 hat am 7. Juni 2025 sein erstes großes Sprachmodell dots.llm1 veröffentlicht, das vom Hi Lab (Humanistic Intelligence Laboratory) von 小红书 eigenständig entwickelt wurde. dots.llm1 ist ein Mixture-of-Experts-Modell (MoE) mit 142 Milliarden Parametern, von denen zur Inferenzzeit nur 14 Milliarden Parameter aktiviert werden. Dadurch wird eine hohe Leistung beibehalten und gleichzeitig die Trainings- und Inferenzkosten erheblich gesenkt.

Modellmerkmale

• Verwendung großer natürlicher Trainingsdaten: Es werden 11,2 Billionen Token nicht-synthetischer, qualitativ hochwertiger Trainingsdaten verwendet, was unter den derzeit Open-Source-großen Sprachmodellen sehr selten ist. Dies verleiht ihm eine starke Leistung in chinesischen Tests, mit einem Durchschnittswert von 91,3, womit es die von DeepSeek Open-Source veröffentlichten Modelle V2 und V3 sowie die von Alibaba Open-Source veröffentlichten Qwen2.5 32B und 72B übertrifft.

• Architekturdesign: Es verwendet eine unidirektionale Decoder-Transformer-Architektur, bei der jedoch das Feedforward-Netzwerk durch MoE ersetzt wird. Während der Inferenz werden nicht alle Expertennetzwerke aktiviert; stattdessen wird basierend auf der Art der Eingabe-Tokens dynamisch eine kleine Auswahl relevanter Expertennetzwerke zur Berechnung aktiviert. Dieser Ansatz der spärlichen Aktivierung reduziert den Rechenaufwand erheblich und gewährleistet gleichzeitig eine hohe Modellleistung. Das MoE von dots.llm1 besteht aus 128 Routing-Experten und 2 geteilten Experten, wobei jedes Expertennetzwerk ein zweischichtiges Feedforward-Netzwerk ist, das die SwiGLU-Aktivierungsfunktion verwendet. Bei der Verarbeitung jedes Eingabe-Tokens wählt ein Routing-Mechanismus die 6 relevantesten Expertennetzwerke aus, zusammen mit den 2 geteilten Experten werden insgesamt 8 Expertennetzwerke aktiviert.

• Optimierung der Attention-Schicht: Es verwendet den klassischen Multi-Head-Attention-Mechanismus (MHA) und fügt diesem eine RMSNorm-Normalisierungsoperation hinzu, um die Auswirkungen zu großer oder zu kleiner Eingabewerte auf das Modelltraining zu vermeiden und so die Stabilität und Leistung des Modells zu verbessern.

• Load-Balancing-Strategie: Im MoE-Modul wurde eine verlustfreie Load-Balancing-Strategie ohne Hilfsverluste eingeführt.

Modellleistung

• Chinesische Tests: Hervorragende Leistung in chinesischen Tests, z. B. 92,6 Punkte im CLUEWSC-Test zum semantischen Verständnis, was branchenführend ist; 92,2 Punkte im C-Eval-Gesamtwissenstest, womit alle Vergleichsmodelle einschließlich DeepSeek-V3 übertroffen werden; durchschnittlich 80,5 Punkte in chinesischen Aufgaben, deutlich führend; mit einem Durchschnitt von 91,3 Punkten werden die von DeepSeek Open-Source veröffentlichten V2 und V3 sowie Alibaba Open Qwen2.5 32B und 72B übertroffen.

• Mathematisches Schlussfolgern: 84,8 Punkte im MATH500-Baselinetest, nahe am Branchenspitzenwert; 33,1 Punkte im AIME24-Wettbewerb, was die Fähigkeit zur Bearbeitung komplexer mathematischer Probleme zeigt; 40,6 Punkte bei CNMO24 (Chinese Mathematical Olympiad); 60,9 Gesamtpunktzahl in Mathematik.

• Englisch- und Codefähigkeiten: In englischen Benchmark-Tests wie MMLU, DROP und GPQA vergleichbar mit Qwen, mit einer Durchschnittspunktzahl von 64,4; die Codefähigkeiten erreichen im Durchschnitt das Niveau von Qwen2.5.

• Anweisungs- und menschliche Präferenzabstimmung: Bei der Abstimmung von Anweisungen und menschlichen Präferenzen in IFEval, AlpacaEval2 und ArenaHard wird eine Durchschnittspunktzahl von 77,9 erreicht, was zeigt, dass das Modell komplexe Anweisungen genau verstehen und ausführen kann.

Vorteile bei der Kostenkontrolle

Im Vergleich zu Qwen2.5-72B reduziert dots.llm1 beim Training pro Billion Token die GPU-Stunden von 340K auf 130K. Diese Effizienzsteigerung ist auf sein einzigartiges Schema zur Überlappung von Kommunikation und Berechnung sowie auf eine effiziente gruppierte GEMM-Implementierung zurückzuführen.

Modellunterstützung und Anwendungsszenarien

• Unterstützte Funktionen: Unterstützt Chinesisch und Englisch als Sprachen, verfügt über eine Kontextlänge von 32.768 Token und unterstützt außerdem die function-call-Funktion. Die vom offiziellen Team bereitgestellten mmlu-pro-Bewertungsergebnisse sind besser als bei Qwen3-235b-a22b, aber vergleichbar mit dem neuesten DeepSeek-V3.

• Anwendungsszenarien: In Kombination mit den massiven, hochwertigen UGC-Inhalten, die 小红书 als Lifestyle-Sharing-Plattform angesammelt hat, sowie den täglich fast 600 Millionen Suchanfragen und 70 % der monatlich aktiven Nutzer, die die Suchfunktion verwenden, bietet dots.llm1 einzigartige Vorteile in Lebensszenario-Dialogen, kreativem Schreiben und der Beantwortung von Lebenserfahrungsfragen. 小红书 baut sein KI-Technologiesystem um diese Stärke herum auf.

Open-Source-Adresse:https://huggingface.co/rednote-hilab/dots.llm1.base/tree/main