dots.llm1: el primer LLM open source de Xiaohongshu Hi Lab 74

Xiaohongshu abrió su primer modelo de gran lenguaje dots.llm1 el 7 de junio de 2025, desarrollado de forma independiente por Hi Lab (Laboratorio de Inteligencia Humanística) de Xiaohongshu. dots.llm1 es un modelo de mezcla de expertos (MoE) con 142.000 millones de parámetros que, al activar solo 14.000 millones de parámetros durante la inferencia, mantiene un alto rendimiento y reduce significativamente los costes de entrenamiento e inferencia.

Características del modelo

• Uso de datos de entrenamiento naturales a gran escala: utiliza 11,2 billones de tokens de datos de entrenamiento no sintéticos y de alta calidad, algo poco común en los actuales modelos de gran tamaño de código abierto, lo que le otorga un gran rendimiento en pruebas en chino, superando con una puntuación media de 91,3 a los modelos V2 y V3 de código abierto de DeepSeek y al Qwen2.5 32B y 72B de código abierto de Alibaba.

• Diseño de la arquitectura: utiliza la arquitectura Transformer de decodificación unidireccional, pero reemplaza la red feed-forward por MoE. Durante la inferencia no se activan todas las redes de expertos, sino que se selecciona dinámicamente una pequeña parte de las redes de expertos para realizar los cálculos según la naturaleza de los tokens de entrada; este enfoque de activación dispersa reduce enormemente la demanda de potencia computacional y, al mismo tiempo, garantiza un alto rendimiento del modelo. El MoE de dots.llm1 se compone de 128 expertos enrutados y 2 expertos compartidos; cada red de expertos es una red feed-forward de dos capas que utiliza la función de activación SwiGLU. Para procesar cada token de entrada, un mecanismo de enrutamiento selecciona las 6 redes de expertos más relevantes, junto con 2 expertos compartidos, activando en total 8 redes de expertos.

• Optimización de la capa de atención: utiliza el clásico mecanismo de atención multi-cabezal (MHA) y, sobre esta base, añade la operación de normalización RMSNorm, lo que evita el impacto de valores de entrada demasiado grandes o demasiado pequeños en el entrenamiento del modelo, mejorando así su estabilidad y rendimiento.

• Estrategia de equilibrio de carga: se introduce una estrategia de equilibrio de carga sin pérdida auxiliar en el módulo MoE.

Rendimiento del modelo

• Pruebas en chino: su rendimiento en las pruebas en chino es excelente, por ejemplo, obtiene una puntuación de 92,6 en la comprensión semántica CLUEWSC, un nivel líder en el sector; en la prueba integral de conocimientos C-Eval obtiene 92,2, superando a todos los modelos comparados, incluido DeepSeek-V3; la puntuación media en tareas en chino es de 80,5, con una clara ventaja; con una puntuación media de 91,3 supera a los modelos V2 y V3 de código abierto de DeepSeek y al Qwen2.5 32B y 72B de código abierto de Alibaba.

• Razonamiento matemático: obtiene 84,8 puntos en la prueba de referencia MATH500, cerca del nivel más alto del sector; en las preguntas del concurso AIME24 obtiene 33,1 puntos, lo que demuestra su capacidad para abordar problemas matemáticos complejos; en la CNMO24 (Olimpiada Matemática China) obtiene 40,6 puntos, con una puntuación matemática global de 60,9.

• Capacidad en inglés y código: en pruebas de referencia en inglés como MMLU, DROP y GPQA es comparable a Qwen, con una puntuación media de 64,4; la capacidad de programación alcanza en promedio el nivel de Qwen2.5.

• Alineación con instrucciones y preferencias humanas: en pruebas de alineación con instrucciones y preferencias humanas como IFEval, AlpacaEval2 y ArenaHard, la puntuación media es de 77,9, lo que indica que el modelo es capaz de comprender y ejecutar instrucciones complejas con precisión.

Ventajas en el control de costes

En comparación con Qwen2.5-72B, dots.llm1 reduce las horas de GPU de 340K a 130K por cada billón de tokens durante el entrenamiento; esta mejora en la eficiencia se debe a su exclusivo esquema de superposición de comunicación y computación, así como a una implementación eficiente de GEMM agrupado.

Soporte y escenarios de aplicación del modelo

• Funciones compatibles: admite chino e inglés, con una longitud de contexto de 32.768 tokens, y también es compatible con la función function call. La puntuación de la evaluación mmlu-pro proporcionada oficialmente es mejor que la de Qwen3-235b-a22b, pero comparable a la del último DeepSeek-V3.

• Escenarios de aplicación: combinando la gran cantidad de contenido UGC de alta calidad acumulado por la plataforma de分享 de estilo de vida de Xiaohongshu, junto con casi 600 millones de búsquedas diarias y el 70 % de usuarios activos mensuales que utilizan la función de búsqueda, dots.llm1 presenta ventajas únicas de aplicación en diálogos de escenarios de vida, escritura creativa y resolución de dudas sobre experiencias de vida. Xiaohongshu también está construyendo su propio sistema tecnológico de IA en torno a esto.

Dirección de código abierto:https://huggingface.co/rednote-hilab/dots.llm1.base/tree/main