DeepSeek Open-Source Week, día 2: llega DeepEP 260

Ayer fue el primer día de la ai semana open source de DeepSeek, el proyecto open source fue FlashMLA, en menos de media hora Github ya tenía más de 300 Stars, y en tan solo 1 hora superó las 100.000 lecturas, fue todo un éxito. Hoy es el segundo día de la semana open source de DeepSeek, y DeepSeek ha publicado su segundo proyecto: Deepep.

¿Qué es Deepep?

Deepep es una biblioteca de comunicación EP de código abierto para el entrenamiento e inferencia de modelos MOE. Se basa en la arquitectura avanzada de Mixture-of-Experts y aprovecha al máximo grandes conjuntos de datos para mejorar la eficacia de su preentrenamiento y ajuste fino. El diseño de DeepEP está orientado a reducir la carga computacional y el uso de memoria, permitiendo a los usuarios ejecutar modelos a gran escala de forma eficaz en hardware convencional.

Características y funcionalidades de Deepep

Optimización de la arquitectura MoE:

• DeepEP está diseñado específicamente para Mixture-of-Experts (MoE) y Expert Parallel (EP), y proporciona núcleos GPU all-to-all eficientes,适用于 tareas de entrenamiento e inferencia.

• Admite运算 de baja precisión, incluidos FP8 y BF16, lo que mejora la eficiencia computacional y ahorra memoria de vídeo.

Comunicación de alto rendimiento:

• Proporciona núcleos de comunicación de alto rendimiento y baja latencia, compatibles con redes NVLink y RDMA. Probado en GPU H800, el ancho de banda máximo可达 153 GB/s (NVLink) y 46 GB/s (RDMA).

• Optimizado para escenarios de reenvío de ancho de banda asimétrico de NVLink a RDMA, garantizando un rendimiento de alto rendimiento.

Comunicación de baja latencia:

• Proporciona núcleos RDMA puros de baja latencia, especialmente indicados para la fase de decodificación de inferencia, con latencias tan bajas como 163微秒.

• Introduce un método basado en hook para solapar comunicación y cálculo, sin ocupar recursos SM de la GPU, maximizando la eficiencia computacional.

Optimización de hardware:

• Aprovecha instrucciones PTX no publicadas para mejorar el rendimiento de la arquitectura Hopper.

• Admite redes InfiniBand y teóricamente es compatible con RoCE, ofreciendo opciones flexibles de configuración de red.

Escenarios de aplicación de Deepep

Entrenamiento de modelos a gran escala:

• Apto para el entrenamiento de modelos Mixture-of-Experts (MoE), proporcionando soporte de comunicación paralela eficiente y mejorando显著 la eficiencia del entrenamiento.

Tareas de inferencia:

• Especialmente adecuado para escenarios de decodificación de inferencia sensibles a la latencia, mejorando显著 la eficiencia, reduciendo la latencia y aumentando el rendimiento de inferencia.

Necesidades de computación de alto rendimiento:

• Perfectamente适配 a las necesidades modernas de computación de alto rendimiento, admite múltiples plataformas de hardware, incluida la arquitectura GPU Hopper, y podría扩展 a más dispositivos en el futuro.

Uso e integración de Deepep

Facilidad de uso:

• Compatible con la arquitectura GPU Hopper, requiere entornos con Python 3.8+, CUDA 12.3+ y PyTorch 2.1+.

• Para la instalación es necesario搭配 la versión modificada por el equipo de NVSHMEM; la guía de instalación es详细.

Formas de integración:

• De código abierto y fácil de integrar,只需 unas pocas líneas de命令即可 construir y ejecutar pruebas.

• Tras la instalación, basta con importar el módulo deep_ep para usarlo directamente; proporciona código de ejemplo y scripts de prueba.

DeepEP ya es de código abierto en GitHub, dirección: https://github.com/deepseek-ai/DeepEP

1. Proyecto open source del primer día de la semana open source de DeepSeek: DeepSeek FlashMLA