DeepSeek Open-Source Week, Tag 2: DeepEP veröffentlicht 258

Gestern war der erste Tag der Open-Source-Woche von DeepSeek ai. Das vorgestellte Projekt war FlashMLA. Innerhalb von weniger als einer halben Stunde hatte es auf GitHub bereits über 300 Stars, und in nur einer Stunde wurden über 100.000 Aufrufe verzeichnet – ein echter Hype. Heute ist der zweite Tag der Open-Source-Woche von DeepSeek, und das zweite vorgestellte Projekt ist: Deepep.

Was ist Deepep?

Deepep ist eine Open-Source-EP-Kommunikationsbibliothek für das Training und die Inferenz von MOE-Modellen. Sie basiert auf einer fortschrittlichen Mixture-of-Experts-Architektur und nutzt umfangreiche Datensätze, um die Effektivität von Pre-Training und Fine-Tuning zu verbessern. DeepEP zielt darauf ab, die Rechenlast und den Speicherverbrauch zu reduzieren, sodass Anwender große Modelle effizient auf Standardhardware ausführen können.

Funktionsmerkmale von Deepep

Optimierung der MoE-Architektur:

• DeepEP ist speziell für Mixture-of-Experts (MoE) und Expert Parallelism (EP) konzipiert und stellt effiziente All-to-All-GPU-Kernel für Trainings- und Inferenzaufgaben bereit.

• Unterstützt Berechnungen mit niedriger Präzision, einschließlich FP8 und BF16, was die Recheneffizienz steigert und Grafikspeicher spart.

Hochleistungskommunikation:

• Bietet Kommunikations-Kernel mit hohem Durchsatz und niedriger Latenz und unterstützt NVLink- und RDMA-Netzwerke. Bei Tests auf einer H800-GPU wurde eine maximale Bandbreite von 153 GB/s (NVLink) und 46 GB/s (RDMA) erreicht.

• Optimiert für asymmetrische Bandbreitenweiterleitungsszenarien von NVLink zu RDMA und gewährleistet so hohen Durchsatz.

Kommunikation mit niedriger Latenz:

• Stellt RDMA-basierte Low-Latency-Kernel bereit, die sich besonders für die Inferenz-Decoding-Phase eignen, mit Latenzen von nur 163 Mikrosekunden.

• Führt eine Hook-basierte Methode zur Überlappung von Kommunikation und Berechnung ein, die keine GPU-SM-Ressourcen beansprucht und so die Rechenleistung maximiert.

Hardware-Optimierung:

• Nutzt unveröffentlichte PTX-Befehle, um die Leistung der Hopper-Architektur zu steigern.

• Unterstützt InfiniBand-Netzwerke und ist theoretisch mit RoCE kompatibel, was flexible Netzwerkkonfigurationsoptionen bietet.

Anwendungsszenarien von Deepep

Training großer Modelle:

• Geeignet für das Training von Mixture-of-Experts (MoE)-Modellen; bietet effiziente Unterstützung für parallele Kommunikation und steigert die Trainingseffizienz deutlich.

Inferenzaufgaben:

• Besonders geeignet für latenzkritische Inferenz-Decoding-Szenarien; steigert die Effizienz deutlich, senkt die Latenz und erhöht den Inferenzdurchsatz.

Anforderungen an Hochleistungsrechnen:

• Perfekt auf moderne Hochleistungsrechenanforderungen abgestimmt, unterstützt verschiedene Hardwareplattformen einschließlich der Hopper-GPU-Architektur und kann in Zukunft auf weitere Geräte ausgeweitet werden.

Verwendung und Integration von Deepep

Benutzerfreundlichkeit:

• Unterstützt die Hopper-GPU-Architektur und erfordert eine Umgebung mit Python 3.8+, CUDA 12.3+ und PyTorch 2.1+.

• Für die Installation ist eine modifizierte NVSHMEM-Version des Teams erforderlich; die Installationsanleitung ist detailliert beschrieben.

Integrationsweise:

• Open Source und einfach zu integrieren – Build und Test lassen sich mit wenigen Befehlen ausführen.

• Nach der Installation kann das deep_ep-Modul direkt importiert und genutzt werden; Beispielcode und Testskripte werden mitgeliefert.

DeepEP ist auf GitHub als Open Source verfügbar unter: https://github.com/deepseek-ai/DeepEP

1. Open-Source-Projekt vom ersten Tag der DeepSeek-Open-Source-Woche: DeepSeek FlashMLA