DeepSeek-V3/R1-671B全パラメータ微調整ガイドおよび使い方チュートリアル 134

DeepSeek-V3/R1-671B 全パラメータファインチューニングガイドとは？

DeepSeek-V3/R1-671B 全パラメータファインチューニングガイドは、DeepSeek-V3/R1-671B モデルの全パラメータファインチューニングに関するオープンソースのガイドであり、中国科学院自動化研究所と中科聞歌（SciKnowTech）が共同で公開しました。プロジェクトでは、トレーニングから推論までの完全なコードとスクリプトが提供されており、トレーニングおよびデプロイメントの過程で得られた経験や問題の解決策がまとめられています。

機能特徴

• 全パラメータファインチューニングのサポート：トレーニングから推論までの完全なコードとスクリプトを提供し、データ並列とシーケンス並列をサポートします。

• ハードウェア最適化：詳細なハードウェア構成の提案と実験結果を提供し、計算資源の効率的な活用を支援します。

• データ形式適応：Openai 標準データ形式をサポートし、reasoning データへの対応も拡張しています。

• 推論デプロイメント：モデルの重みを Hugging Face 形式に変換し、vLLM などのフレームワークを通じて推論をデプロイすることをサポートします。

DeepSeek-V3/R1-671B 全パラメータファインチューニングガイドの用途

• 自然言語処理：テキスト生成、機械翻訳、感情分析などのタスクに適しています。

• 複雑なシナリオの推論：長文ドキュメントや医療補助診断、金融分析などの複数ドメインタスクを処理できます。

• 科学研究と技術探求：技術実験プラットフォームとして、汎用人工知能（AGI）の潜在的な経路を探求します。

• エンタープライズアプリケーション： intelligent customer service、ドキュメント分析などのシナリオに利用でき、企業の効率と意思決定能力を向上させます。

DeepSeek-V3/R1-671B 全パラメータファインチューニングガイドの使い方

1. ハードウェア構成

• 32 台のサーバーが必要で、各サーバーの構成は以下の通りです：

• 8 x NVIDIA H100 80GB GPU

• 96 コア CPU

• 2TB メモリ

• 100TB 共有ストレージ

• InfiniBand 400G ネットワーク

2. 環境構成

conda create -n ds_env python=3.10
conda activate ds_env
pip install -r requirements.txt
cp -r ./code/xtuner /path/to/env/site-packages

3. データ準備

データ形式の例：

{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "ユーザーからの質問"},
{"role": "assistant", "content": "思考過程\n最終回答", "loss": true}
]
}

4. トレーニングの開始

pdsh または slurm を使用してトレーニングを開始します：

pdsh -R ssh -w node[0-31] 'bash ./code/scripts/sft_deepseek.sh'

5. モデル重みの変換

トレーニング結果を Hugging Face 形式に変換します：

bash ./code/scripts/convert_pth_to_hf.sh

6. 推論デプロイメント

vLLM を使用してデプロイします：

# Ray を起動
pdsh -R ssh -w node0 "conda activate vllm && ray start --head"
pdsh -R ssh -w node1,node2,node3 "conda activate vllm && ray start --address='node0:6379'"
# vLLM を起動
pdsh -R ssh -w node0 "vllm serve /path/to/model --tensor-parallel-size 8 --pipeline-parallel-size 4"

GitHubリポジトリ：https://github.com/ScienceOne-AI/DeepSeek-671B-SFT-Guide