脚本プランナー▸ 
AIアプリ 
AIニュース LLMs-from-scratch：ゼロから大規模言語モデルを構築
小编 ·
LLMs-from-scratch：ゼロから大規模言語モデルを構築
「LLMs-from-scratch」は、Sebastian Raschka氏によって作成されたオープンソースプロジェクトで、開発者がゼロからChatGPTのような大規模言語モデルを構築できるようにすることを目的としています。このプロジェクトは、彼の著書『Build a Large Language Model (From Scratch)』の公式コードリポジトリです。
プロジェクトの目標
ゼロからLLMを構築：段階的なコーディングにより、LLMの内部メカニズムを深く理解できるようにします。
事前学習とファインチューニング：ラベルなしデータでの事前学習や、特定のタスクに向けたファインチューニングのための完全なコード例を提供します。
教育目的：小規模ながら機能完备なモデルを構築することで、大規模モデルの開発プロセスを理解する手助けをします。
主な機能構造
第2章：テキストデータの処理
ゼロからのバイトペアエンコーディング（BPE）トークナイザーの実装。
データローダーの実装と要約の提供。
第3章：アテンション機構の実装
マルチヘッドアテンション機構の実装。
第4章：ゼロからのGPTモデルの実装
完全なGPTモデルのコードを提供。
第5章：ラベルなしデータでの事前学習
事前学習コードとジェネレーターコードを提供。
第6章：テキスト分類のためのファインチューニング
テキスト分類タスク用のファインチューニングコードを提供。
第7章：指示追従のためのファインチューニング
指示ファインチューニングコードと評価コードを提供。
LLMs-from-scratchは、自然言語処理や深層学習に興味を持つ学習者、特にゼロから大規模言語モデルを構築したい開発者に適しています。
英語版オリジナルアドレス：https://github.com/rasbt/LLMs-from-scratch
中国語リソースアドレス：https://github.com/MLNLP-World/LLMs-from-scratch-CN
