DeepSeek 오픈소스 위크 3일차: DeepGemm 248

DeepGemm이란 무엇인가?

DeepGEMM은 고효율 FP8 범용 행렬 곱셈(GEMM)을 위해 설계된 라이브러리로, 세밀한 스케일링 기능을 갖추고 있으며 일반 GEMM과 혼합 전문가(MoE) 그룹 GEMM을 모두 지원합니다.

DeepGemm의 기술적 특징

• CUDA로 작성됨: DeepGEMM은 CUDA로 작성되었으며 컴파일이 필요 없고, 경량 JIT(Just-In-Time) 모듈을 사용하여 런타임에 모든 커널을 컴파일합니다.

• 세밀한 스케일링 기능: 다양한 행렬 형태와 계산 요구 사항에 적합한 일반 및 혼합 전문가(MoE) 그룹 GEMM을 지원합니다.

• 성능 최적화: CUDA 코어의 2단계 누적을 통해 부정확한 FP8 텐서 코어 누적 문제를 해결하고, Hopper TMA 기능을 활용하여 데이터 이동을 가속화합니다.

DeepGemm의 주요 장점

• 우수한 성능: 가볍게 설계되었음에도 불구하고 다양한 행렬 형태에 대해 전문가가 직접 튜닝한 라이브러리와 동등하거나 그 이상의 성능을 발휘합니다.

• 접근 용이성: 깔끔하고 접근하기 쉬운 리소스로서, DeepGEMM은 Hopper FP8 행렬 곱셈 및 최적화 기술을 학습하는 데 이상적인 선택입니다.

• 유연성: 다양한 계산 요구 사항에 맞춰 블록 크기, warpgroup 수, 최적 파이프라인 단계 및 TMA 클러스터 크기를 자동으로 선택할 수 있도록 지원합니다.

DeepGemm의 활용 시나리오

DeepGEMM은 특히 딥러닝 ai 모델 학습 및 추론과 같이 고효율 행렬 곱셈 연산이 필요한 시나리오에 적합하며, 계산 효율성과 성능을 크게 향상시킬 수 있습니다.

github：https://github.com/deepseek-ai/DeepGEMM

기타 관련 링크

1. DeepSeek 오픈소스 주간 둘째 날 오픈소스 프로젝트: Deepep

2. DeepSeek 오픈소스 주간 첫째 날 오픈소스 프로젝트: DeepSeek FlashMLA