脚本プランナー▸ 
AIアプリ 
AIニュース dots.llm1：小紅書Hi Labが発表した初のオープンソース大規模モデル
小编 ·
dots.llm1：小紅書Hi Labが発表した初のオープンソース大規模モデル
小紅書は2025年6月7日に初の大規模モデルdots.llm1を公開しました。これは小紅書Hi Lab（人文智能实验室）が独自開発したもので、dots.llm1は1420億パラメータの专家混合モデル（MoE）であり、推論時には140億パラメータのみを活性化することで、高性能を維持しつつ、訓練と推論のコストを大幅に削減しています。
モデル特徴
大規模自然訓練データの使用：11.2兆トークンの非合成高品質訓練データを使用しており、現段階のオープンソース大規模モデルでは非常に珍しく、これにより中文テストで強力な性能を発揮し、平均スコア91.3でDeepSeekのオープンソースV2、V3および阿里のオープンソースQwen2.5 32B、72Bを上回りました。
アーキテクチャ設計：単方向デコーダーTransformerアーキテクチャを採用していますが、フィードフォワードネットワークをMoEに置き換えています。推論時には全ての専門家ネットワークを活性化するのではなく、入力トークンの特性に応じて動的に少数の専門家ネットワークを選択して計算を行います。このスパース活性化方式は、計算需要を大幅に削減しつつ、モデル高性能を保証しています。dots.llm1のMoEは128個のルーティング専門家と2個の共有専門家で構成され、各専門家ネットワークは2層のフィードフォワードネットワークで、SwiGLU活性化関数を使用しています。各入力トークンの処理において、ルーティングメカニズムにより最も関連する6個の専門家ネットワークを選択し、2個の共有専門家と合わせて合計8個の専門家ネットワークを活性化します。
注意機構層の最適化：古典的な多头注意機構（MHA）を採用し、その上にRMSNorm正規化操作を追加することで、入力値が大きすぎたり小さすぎたりすることによるモデル訓練への影響を回避し、モデルの安定性と性能を向上させています。
負荷分散戦略：MoEモジュールに補助損失なし負荷分散戦略を導入しています。
モデル性能
中文テスト：中文テストで優れたパフォーマンスを発揮しており、例えばCLUEWSC意味理解で92.6点を獲得し、業界トップレベル；C-Eval総合知識テストで92.2点を獲得し、DeepSeek-V3を含む全ての比較モデルを上回りました；中文タスク平均スコア80.5で、明らかにリードしています；平均スコア91.3でDeepSeekのオープンソースV2、V3および阿里のopen Qwen2.5 32B、72Bを上回りました。
数学推論：MATH500ベースラインテストで84.8点を獲得し、業界トップレベルに迫る；aiME24競技問題で33.1点を獲得し、複雑な数学問題を処理する能力を示しています；CNMO24（中国数学オリンピック）で40.6点を獲得し、数学総合スコアは60.9点です。
英語およびコード能力：MMLU、DROP、GPQAなどの英語ベンチマークテストでQwenと同等の性能を発揮し、平均スコア64.4；コード能力の平均スコアはQwen2.5のレベルに達しています。
命令および人的嗜好アライメント：IFEval、AlpacaEval2、ArenaHardなどの命令および人的嗜好アライメントにおいて、平均スコア77.9を獲得し、モデルが複雑な命令を正確に理解し実行できることを示しています。
コスト制御の優位性
Qwen2.5-72Bと比較して、dots.llm1は1兆トークンごとの訓練において、GPU時間が340Kから130Kに削減され、効率向上は独自の通信と計算のオーバーラップスキームおよび高効率なグループ化GEMM実装によるものです。
モデルサポートと応用シーン
サポート機能：中英二言語をサポートし、文脈長は32768トークンに達し、function call機能もサポートしています。公式提供のmmlu-pro評価スコアはQwen3-235b-a22bより優れていますが、最新のDeepSeek-V3と同等です。
応用シーン：小紅書生活方式共有プラットフォームで蓄積された大量の高品質UGCコンテンツ、および日平均約6億の検索量と70%の月活ユーザーが検索機能を使用していることと組み合わせて、dots.llm1は生活シーン対話、クリエイティブ写作、生活経験答疑などの分野で独自の応用優位性を持ち、小紅書もまたこれに基づいて独自のAI技術体系を構築中です。
オープンソースアドレス：https://huggingface.co/rednote-hilab/dots.llm1.base/tree/main
