대본 기획 도우미▸ 
AI 앱 
AI 뉴스 dots.llm1: 샤오훙슈 Hi Lab이 공개한 최초의 오픈소스 대규모 모델
小编 ·
dots.llm1: 샤오훙슈 Hi Lab이 공개한 최초의 오픈소스 대규모 모델
샤오홍슈(小红书)는 2025년 6월 7일 첫 번째 대규모 모델 dots.llm1을 공개했습니다. 이는 샤오홍슈 Hi Lab(인문 지능 연구소)에서 자체 개발한 모델로, dots.llm1은 1,420억 개의 파라미터를 가진 전문가 혼합(MoE) 모델입니다. 추론 시에는 140억 개의 파라미터만 활성화하여 고성능을 유지하면서도 훈련 및 추론 비용을 크게 절감합니다.
모델 특징
대규모 자연 훈련 데이터 사용: 11.2조 token의 비합성 고품질 훈련 데이터를 사용하며, 이는 현재 단계의 오픈소스 대규모 모델에서는 매우 드문 것으로, 중국어 테스트에서 강력한 성능을 가능하게 합니다. 평균 91.3점으로 DeepSeek의 오픈소스 V2, V3 및 알리바바의 오픈소스 Qwen2.5 32B, 72B를 능가합니다.
아키텍처 설계: 단방향 디코더 Transformer 아키텍처를 사용하되, 피드포워드 네트워크를 MoE로 대체합니다. 추론 시 모든 전문가 네트워크를 활성화하지 않고, 입력 토큰의 특성에 따라 소수의 전문가 네트워크를 동적으로 선택하여 계산합니다. 이러한 희소 활성화 방식은 연산 수요를 크게 줄이면서도 모델의 고성능을 보장합니다. dots.llm1의 MoE는 128개의 라우팅 전문가와 2개의 공유 전문가로 구성되며, 각 전문가 네트워크는 2층 피드포워드 네트워크로 SwiGLU 활성화 함수를 사용합니다. 각 입력 토큰 처리 시 라우팅 메커니즘을 통해 가장 관련성이 높은 6개의 전문가 네트워크를 선택하고, 2개의 공유 전문가와 함께 총 8개의 전문가 네트워크를 활성화합니다.
어텐션 레이어 최적화: 클래식한多头 어텐션 메커니즘(MHA)을 사용하며, 그基础上에 입력 값이 너무 크거나 작아지는 것의 영향을 방지하고 모델 훈련의 안정성과 성능을 향상시키기 위해 RMSNorm 정규화 작업을 추가했습니다.
부하 분산 전략: MoE 모듈에 보조 손실 없는 부하 분산 전략을 도입했습니다.
모델 성능
중국어 테스트: 중국어 테스트에서 뛰어난 성능을 보입니다. 예를 들어 CLUEWSC 의미 이해에서 92.6점을 기록해 업계 선도 수준을 달성했고, C-Eval 종합 지식 테스트에서 92.2점을 기록해 DeepSeek-V3를 포함한 모든 비교 모델을 능가했으며, 중국어 작업 평균 점수 80.5점으로显著的领先; 평균 91.3점으로 DeepSeek의 오픈소스 V2, V3 및 알리바바의 오픈소스 Qwen2.5 32B, 72B를 능가합니다.
수학 추론: MATH500 베이스라인 테스트에서 84.8점을 기록해 업계 최고 수준에 근접했으며, aiME24竞赛 문제에서 33.1점을 기록해 복잡한 수학 문제를 처리하는 능력을 보여주었습니다; CNMO24(중국 수학 올림피아드)에서 40.6점, 수학 종합 점수 60.9점을 기록했습니다.
영어 및 코드 능력: MMLU, DROP, GPQA 등 영어 벤치마크 테스트에서 Qwen과 동등한 수준이며, 평균 64.4점을 기록했습니다; 코드 능력 평균 점수는 Qwen2.5 수준에 도달했습니다.
지시 및 인간 선호도 정렬: IFEval, AlpacaEval2, ArenaHard 등 지시 및 인간 선호도 정렬 테스트에서 평균 77.9점을 기록해, 모델이 복잡한 지시를 정확하게 이해하고 실행할 수 있음을 보여줍니다.
비용 통제 장점
Qwen2.5-72B와 비교했을 때, dots.llm1은 훈련 시 1조 token당 GPU 시간을 340K에서 130K로 줄였으며, 이러한 효율성 향상은 고유한 통신 및 계산 오버랩方案과 효율적인 그룹 GEMM 구현 덕분입니다.
모델 지원 및 적용 시나리오
지원 기능: 중영(中英) 이중국어를 지원하며, 컨텍스트 길이는 32,768 token에 달합니다. 또한 function call 기능도 지원합니다. 공식에서 제공하는 mmlu-pro 평가 점수는 Qwen3-235b-a22b보다 우수하지만, 최신 DeepSeek-V3와 동등한 수준입니다.
적용 시나리오: 샤오홍슈의 라이프스타일 공유 플랫폼에서 축적된 대규모 고품질 UGC 콘텐츠와 일평균 약 6억 회의 검색량, 월간 활성 사용자 중 70%가 검색 기능을 사용하는 점을 결합하여, dots.llm1은 생활 시나리오 대화, 창의적 글쓰기, 생활 경험 질의응답 등에서 독특한 적용 장점을 가지고 있습니다. 샤오홍슈 또한 이러한 강점을 중심으로 자체 AI 기술 체계를 구축하고 있습니다.
오픈소스 주소:https://huggingface.co/rednote-hilab/dots.llm1.base/tree/main
