DeepSeek Open Source Week – Día 3: DeepGemm 249

小编 · 2025-02-26

DeepGEMM es una biblioteca diseñada para la multiplicación eficiente de matrices de uso general (GEMM) en FP8, con escalado de grano fino, compatible con GEMM estándar y agrupada para Mezcla de Expertos (MoE).

DeepSeek Open Source Week – Día 3: DeepGemm

¿Qué es DeepGemm?

DeepGEMM es una biblioteca diseñada específicamente para la multiplicación eficiente de matrices generales (GEMM) en FP8, con funciones de escalado de grano fino, que admite GEMM agrupadas tanto normales como de expertos mixtos (MoE).

Características técnicas de DeepGemm

Escrito en CUDA: DeepGEMM está escrito en CUDA, no requiere compilación y emplea un módulo ligero de compilación Just-In-Time (JIT) para compilar todos los kernels en tiempo de ejecución.
Escalado de grano fino: admite GEMM agrupadas normales y de expertos mixtos (MoE), aptas para distintas formas de matrices y necesidades de cálculo.
Optimización del rendimiento: utiliza la acumulación (promoción) a dos niveles de los núcleos CUDA para resolver el problema de acumulación imprecisa de los Tensor Cores FP8, y aprovecha las funciones TMA de Hopper para acelerar el movimiento de datos.

Principales ventajas de DeepGemm

Rendimiento excelente: a pesar de su diseño ligero, su rendimiento iguala o incluso supera al de bibliotecas ajustadas por expertos para diversas formas de matrices.
Fácil acceso: como recurso limpio y accesible, DeepGEMM es una opción ideal para aprender sobre la multiplicación de matrices en FP8 y las técnicas de optimización en Hopper.
Flexibilidad: admite la selección automática del tamaño de bloque, el número de warpgroups, la mejor etapa de pipeline y el tamaño de clúster TMA, para adaptarse a distintas necesidades de cálculo.

Casos de uso de DeepGemm

DeepGEMM es adecuado para escenarios que requieren operaciones eficientes de multiplicación de matrices, especialmente en el entrenamiento e inferencia de modelos de ia, donde puede mejorar significativamente la eficiencia computacional y el rendimiento.

github：https://github.com/deepseek-ai/DeepGEMM