LLMs-from-scratch : construisez un grand modèle de langage à partir de zéro 55

« LLMs-from-scratch » est un projet open source créé par Sebastian Raschka, dont l'objectif est d'aider les développeurs à implémenter un grand modèle de langage similaire à ChatGPT à partir de zéro. Ce projet est le dépôt de code officiel accompagnant son livre « Build a Large Language Model (From Scratch) ».

Objectifs du projet

• Construire un LLM à partir de zéro : à travers un codage étape par étape, aider les lecteurs à comprendre en profondeur les mécanismes internes des LLM.

• Pré-entraînement et fine-tuning : fournir des exemples de code complets pour le pré-entraînement sur des données non annotées, ainsi que pour le fine-tuning sur des tâches spécifiques.

• Objectif éducatif : en construisant des modèles petits mais fonctionnellement complets, aider les lecteurs à comprendre le processus de développement des grands modèles.

Structure des fonctionnalités principales

Chapitre 2 : Traitement des données textuelles

• Implémentation d'un tokeniseur BPE (Byte Pair Encoding) à partir de zéro.

• Fourniture de l'implémentation et du résumé du chargeur de données.

Chapitre 3 : Implémentation du mécanisme d'attention

• Implémentation du mécanisme d'attention multi-têtes.

Chapitre 4 : Implémentation du modèle GPT à partir de zéro

Fourniture du code complet du modèle GPT.

Chapitre 5 : Pré-entraînement sur des données non annotées

• Fourniture du code de pré-entraînement et du code du générateur.

Chapitre 6 : Fine-tuning pour la classification de texte

• Fourniture du code de fine-tuning pour les tâches de classification de texte.

Chapitre 7 : Fine-tuning pour le suivi d'instructions

• Fourniture du code de fine-tuning d'instructions et du code d'évaluation.

LLMs-from-scratch convient aux apprenants intéressés par le traitement du langage naturel et l'apprentissage profond, en particulier aux développeurs qui souhaitent construire de grands modèles de langage à partir de zéro.

Adresse de la version originale en anglais :https://github.com/rasbt/LLMs-from-scratch

Adresse des ressources en chinois :https://github.com/MLNLP-World/LLMs-from-scratch-CN