DeepSeek-V3/R1-671B: guía de ajuste fino de parámetros completos y tutorial 129

¿Qué es la Guía de Ajuste Fino de Parámetros Completos DeepSeek-V3/R1-671B?

La Guía de Ajuste Fino de Parámetros Completos DeepSeek-V3/R1-671B es una guía de código abierto sobre el ajuste fino de parámetros completos del modelo DeepSeek-V3/R1-671B, lanzada conjuntamente por el Instituto de Automatización de la Academia China de Ciencias y Wenge Zhongke. El proyecto proporciona código y scripts completos desde el entrenamiento hasta la inferencia, y resume la experiencia y soluciones a los problemas surgidos durante los procesos de entrenamiento y despliegue.

Características

• Soporte de ajuste fino de parámetros completos: proporciona código y scripts completos desde el entrenamiento hasta la inferencia, soportando paralelismo de datos y paralelismo de secuencias.

• Optimización de hardware: proporciona recomendaciones detalladas de configuración de hardware y resultados experimentales para ayudar a utilizar de forma eficiente los recursos computacionales.

• Adaptación del formato de datos: soporta el formato de datos estándar Openai y amplía la compatibilidad con datos de reasoning.

• Despliegue de inferencia: soporta la conversión de los pesos del modelo al formato de Hugging Face y el despliegue de inferencia a través de frameworks como vLLM.

Usos de la Guía de Ajuste Fino de Parámetros Completos DeepSeek-V3/R1-671B

• Procesamiento de lenguaje natural: adecuada para tareas como generación de texto, traducción automática y análisis de sentimientos.

• Razonamiento en escenarios complejos: capaz de manejar documentos extensos y tareas en múltiples dominios, como diagnóstico médico辅助 y análisis financiero.

• Investigación científica y exploración tecnológica: como plataforma de experimentación tecnológica para explorar posibles vías hacia la inteligencia artificial general (AGI).

• Aplicaciones empresariales: puede usarse en escenarios como atención al cliente inteligente y análisis de documentos, mejorando la eficiencia y la capacidad de toma de decisiones de las empresas.

Cómo usar la Guía de Ajuste Fino de Parámetros Completos DeepSeek-V3/R1-671B

1. Configuración de hardware

• Se necesitan 32 servidores, cada uno con la siguiente configuración:

• 8 x GPU NVIDIA H100 80GB

• CPU de 96 núcleos

• 2TB de memoria

• 100TB de almacenamiento compartido

• Red InfiniBand 400G

2. Configuración del entorno

conda create -n ds_env python=3.10
conda activate ds_env
pip install -r requirements.txt
cp -r ./code/xtuner /path/to/env/site-packages

3. Preparación de datos

Ejemplo de formato de datos:

{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "用户问题"},
{"role": "assistant", "content": "思考过程\n最终回答", "loss": true}
]
}

4. Iniciar el entrenamiento

Use pdsh o slurm para iniciar el entrenamiento:

pdsh -R ssh -w node[0-31] 'bash ./code/scripts/sft_deepseek.sh'

5. Conversión de pesos del modelo

Convierta los resultados del entrenamiento al formato de Hugging Face:

bash ./code/scripts/convert_pth_to_hf.sh

6. Despliegue de inferencia

Despliegue con vLLM:

# Iniciar Ray
pdsh -R ssh -w node0 "conda activate vllm && ray start --head"
pdsh -R ssh -w node1,node2,node3 "conda activate vllm && ray start --address='node0:6379'"
# Iniciar vLLM
pdsh -R ssh -w node0 "vllm serve /path/to/model --tensor-parallel-size 8 --pipeline-parallel-size 4"

Repositorio de GitHub：https://github.com/ScienceOne-AI/DeepSeek-671B-SFT-Guide