Assistant scénario▸ 
Apps AI 
Actualités AI DeepSeek-V3/R1-671B : guide de fine-tuning complet et tutoriel
小编 ·
DeepSeek-V3/R1-671B : guide de fine-tuning complet et tutoriel
Qu'est-ce que le guide de fine-tuning complet des paramètres DeepSeek-V3/R1-671B ?
Le guide de fine-tuning complet des paramètres DeepSeek-V3/R1-671B est un guide open source sur le fine-tuning complet des paramètres du modèle DeepSeek-V3/R1-671B, publié conjointement par l'Institut d'automatisation de l'Académie chinoise des sciences et Zhongke WenGe. Le projet fournit le code et les scripts complets de l'entraînement à l'inférence, et résume les expériences ainsi que les solutions aux problèmes rencontrés lors de l'entraînement et du déploiement.
Fonctionnalités
Prise en charge du fine-tuning complet des paramètres : fournit le code et les scripts complets de l'entraînement à l'inférence, et prend en charge le parallélisme des données et le parallélisme de séquences.
Optimisation matérielle : fournit des recommandations détaillées sur la configuration matérielle et des résultats expérimentaux pour aider à utiliser efficacement les ressources de calcul.
Adaptation du format de données : prend en charge le format de données standard Openai et étend la compatibilité avec les données de raisonnement (reasoning).
Déploiement de l'inférence : prend en charge la conversion des poids du modèle au format Hugging Face, et permet le déploiement de l'inférence via des frameworks tels que vLLM.
Utilisations du guide de fine-tuning complet des paramètres DeepSeek-V3/R1-671B
Traitement du langage naturel : convient à des tâches telles que la génération de texte, la traduction automatique et l'analyse des sentiments.
Raisonnement dans des scénarios complexes : capable de traiter des documents longs et des tâches multi-domaines, telles que l'aide au diagnostic médical, l'analyse financière, etc.
Recherche scientifique et exploration technologique : sert de plateforme d'expérimentation technologique pour explorer les voies potentielles vers l'intelligence artificielle générale (AGI).
Applications d'entreprise : utilisable dans des scénarios tels que le service client intelligent et l'analyse de documents, afin d'améliorer l'efficacité et la prise de décision des entreprises.
Comment utiliser le guide de fine-tuning complet des paramètres DeepSeek-V3/R1-671B
1. Configuration matérielle
32 serveurs sont nécessaires, chacun étant configuré avec :
8 x NVIDIA H100 80GB GPU
96 cœurs CPU
2 To de mémoire
100 To de stockage partagé
Réseau InfiniBand 400G
2. Configuration de l'environnement
conda create -n ds_env python=3.10 conda activate ds_env pip install -r requirements.txt cp -r ./code/xtuner /path/to/env/site-packages
3. Préparation des données
Exemple de format de données :
{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "用户问题"},
{"role": "assistant", "content": "思考过程\n最终回答", "loss": true}
]
}4. Lancement de l'entraînement
Utilisez pdsh ou slurm pour lancer l'entraînement :
pdsh -R ssh -w node[0-31] 'bash ./code/scripts/sft_deepseek.sh'
5. Conversion des poids du modèle
Convertissez les résultats d'entraînement au format Hugging Face :
bash ./code/scripts/convert_pth_to_hf.sh
6. Déploiement de l'inférence
Utilisez vLLM pour le déploiement :
# Démarrer Ray pdsh -R ssh -w node0 "conda activate vllm && ray start --head" pdsh -R ssh -w node1,node2,node3 "conda activate vllm && ray start --address='node0:6379'" # Démarrer vLLM pdsh -R ssh -w node0 "vllm serve /path/to/model --tensor-parallel-size 8 --pipeline-parallel-size 4"
Dépôt GitHub :https://github.com/ScienceOne-AI/DeepSeek-671B-SFT-Guide
