Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten DeepSeek-V3/R1-671B: Leitfaden und Tutorial zum Full-Parameter-Fine-Tuning
小编 ·
DeepSeek-V3/R1-671B: Leitfaden und Tutorial zum Full-Parameter-Fine-Tuning
Was ist der DeepSeek-V3/R1-671B Vollparameter-Feinabstimmungs-Leitfaden?
Der DeepSeek-V3/R1-671B Vollparameter-Feinabstimmungs-Leitfaden ist ein Open-Source-Leitfaden zur Vollparameter-Feinabstimmung des Modells DeepSeek-V3/R1-671B, der gemeinsam vom Institut für Automatisierung der Chinesischen Akademie der Wissenschaften und CASS Wenge herausgegeben wurde. Das Projekt bietet vollständigen Code und Skripte vom Training bis zur Inferenz und fasst Erfahrungen sowie Lösungen für Probleme zusammen, die während des Trainings und der Bereitstellung auftreten.
Funktionsmerkmale
Unterstützung der Vollparameter-Feinabstimmung: Bietet vollständigen Code und Skripte vom Training bis zur Inferenz und unterstützt Datenparallelität sowie Sequenzparallelität.
Hardware-Optimierung: Bietet detaillierte Hardware-Konfigurationsempfehlungen und Versuchsergebnisse, um Rechenressourcen effizient zu nutzen.
Datenformat-Anpassung: Unterstützt das Openai-Standarddatenformat und erweitert die Kompatibilität mit Reasoning-Daten.
Inferenz-Bereitstellung: Unterstützt die Konvertierung der Modellgewichte in das Hugging Face-Format und die Inferenz-Bereitstellung über Frameworks wie vLLM.
Anwendungsbereiche des DeepSeek-V3/R1-671B Vollparameter-Feinabstimmungs-Leitfadens
Verarbeitung natürlicher Sprache: Geeignet für Aufgaben wie Textgenerierung, maschinelles Übersetzen und Stimmungsanalyse.
Komplexes Szenario-Reasoning: Kann lange Dokumente und bereichsübergreifende Aufgaben verarbeiten, wie z. B. medizinische Diagnoseunterstützung und Finanzanalyse.
Wissenschaftliche Forschung und technologische Erkundung: Als technische Versuchsplattform zur Erkundung potenzieller Wege zur allgemeinen künstlichen Intelligenz (AGI).
Unternehmensanwendungen: Kann in Szenarien wie intelligentem Kundenservice und Dokumentenanalyse eingesetzt werden, um die Effizienz und Entscheidungsfähigkeit von Unternehmen zu verbessern.
So verwenden Sie den DeepSeek-V3/R1-671B Vollparameter-Feinabstimmungs-Leitfaden
1. Hardware-Konfiguration
Es werden 32 Server benötigt, jeder mit folgender Konfiguration:
8 x NVIDIA H100 80GB GPUs
96-Kern-CPU
2 TB Arbeitsspeicher
100 TB gemeinsamer Speicher
InfiniBand 400G Netzwerk
2. Umgebungskonfiguration
conda create -n ds_env python=3.10 conda activate ds_env pip install -r requirements.txt cp -r ./code/xtuner /path/to/env/site-packages
3. Datenvorbereitung
Beispiel für das Datenformat:
{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "用户问题"},
{"role": "assistant", "content": "思考过程\n最终回答", "loss": true}
]
}4. Training starten
Starten Sie das Training mit pdsh oder slurm:
pdsh -R ssh -w node[0-31] 'bash ./code/scripts/sft_deepseek.sh'
5. Konvertierung der Modellgewichte
Konvertieren Sie die Trainingsergebnisse in das Hugging Face-Format:
bash ./code/scripts/convert_pth_to_hf.sh
6. Inferenz-Bereitstellung
Bereitstellung mit vLLM:
# Starten Ray pdsh -R ssh -w node0 "conda activate vllm && ray start --head" pdsh -R ssh -w node1,node2,node3 "conda activate vllm && ray start --address='node0:6379'" # Starten vLLM pdsh -R ssh -w node0 "vllm serve /path/to/model --tensor-parallel-size 8 --pipeline-parallel-size 4"
GitHub-Repository:https://github.com/ScienceOne-AI/DeepSeek-671B-SFT-Guide
