Jour 3 de la semaine open source de DeepSeek : DeepGemm 251

小编 · 2025-02-26

DeepGEMM est une bibliothèque conçue pour la multiplication matricielle générale (GEMM) FP8 efficace, avec mise à l'échelle à grain fin, prenant en charge la GEMM classique et la GEMM groupée pour les mixtures d'experts (MoE).

Jour 3 de la semaine open source de DeepSeek : DeepGemm

Qu'est-ce que DeepGemm ?

DeepGEMM est une bibliothèque conçue pour la multiplication de matrices générales (GEMM) FP8 efficace, avec des fonctionnalités de mise à l'échelle à grain fin, prenant en charge les GEMM standard et groupées par experts (MoE).

Caractéristiques techniques de DeepGemm

Écrit en CUDA : DeepGEMM est écrit en CUDA, ne nécessite aucune compilation et utilise un module léger de compilation à la volée (JIT) pour compiler tous les noyaux à l'exécution.
Mise à l'échelle à grain fin : prend en charge les GEMM standard et groupées par experts (MoE), adaptées à différentes formes de matrices et besoins de calcul.
Optimisation des performances : utilise une accumulation à deux niveaux des cœurs CUDA (promotion) pour résoudre le problème d'accumulation imprécise des Tensor Cores FP8, et exploite les fonctionnalités TMA de Hopper pour accélérer le mouvement des données.

Principaux avantages de DeepGemm

Performances exceptionnelles : malgré sa conception légère, ses performances égalent voire dépassent celles de bibliothèques ajustées par des experts pour diverses formes de matrices.
Facilité d'accès : en tant que ressource propre et facile d'accès, DeepGEMM est un choix idéal pour apprendre la multiplication de matrices FP8 et les techniques d'optimisation sur Hopper.
Flexibilité : prend en charge la sélection automatique de la taille des blocs, du nombre de warpgroups, des meilleures étapes de pipeline et de la taille de cluster TMA, afin de s'adapter à différents besoins de calcul.

Cas d'utilisation de DeepGemm

DeepGEMM convient aux scénarios nécessitant des opérations de multiplication de matrices efficaces, en particulier dans l'entraînement et l'inférence de modèles ai d'apprentissage profond, où il peut considérablement améliorer l'efficacité et les performances de calcul.

github :https://github.com/deepseek-ai/DeepGEMM