День 3 недели open source от DeepSeek: DeepGemm 246

Что такое DeepGemm?

DeepGEMM — это библиотека, разработанная специально для эффективного умножения матриц общего назначения (GEMM) с использованием FP8, обладающая функцией мелкозернистого масштабирования и поддерживающая как обычное, так и групповое GEMM для моделей со смесью экспертов (MoE).

Технические особенности DeepGemm

• Написана на CUDA: DeepGEMM написана на CUDA и не требует компиляции, используя легковесный модуль JIT (just-in-time) для компиляции всех ядер во время выполнения.

• Функция мелкозернистого масштабирования: поддерживает обычное и групповое GEMM для MoE, подходя для различных форм матриц и вычислительных потребностей.

• Оптимизация производительности: использует двухуровневое накопление на ядрах CUDA (промоушн) для решения проблемы неточного накопления тензорных ядер FP8, а также применяет функции Hopper TMA для ускорения перемещения данных.

Основные преимущества DeepGemm

• Превосходная производительность: несмотря на лёгкость дизайна, её производительность соответствует или даже превосходит экспертно настроенные библиотеки для различных форм матриц.

• Простота доступа: являясь чистым и легкодоступным ресурсом, DeepGEMM представляет собой идеальный выбор для изучения Hopper FP8 матричного умножения и техник оптимизации.

• Гибкость: поддерживает автоматический выбор размера блоков, количества warpgroups, оптимального количества стадий конвейера и размера кластера TMA для соответствия различным вычислительным потребностям.

Сценарии применения DeepGemm

DeepGEMM подходит для сценариев, требующих эффективных операций умножения матриц, особенно при обучении и инференсе моделей глубокого обучения ai, где она способна значительно повысить вычислительную эффективность и производительность.

github：https://github.com/deepseek-ai/DeepGEMM

Другие связанные ссылки

1. Проект второго дня недели открытого кода DeepSeek: Deepep

2. Проект первого дня недели открытого кода DeepSeek: DeepSeek FlashMLA