Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten LLMs-from-scratch: ein großes Sprachmodell von Grund auf bauen
小编 ·
LLMs-from-scratch: ein großes Sprachmodell von Grund auf bauen
„LLMs-from-scratch" ist ein Open-Source-Projekt, erstellt von Sebastian Raschka, mit dem Ziel, Entwicklern dabei zu helfen, ein großes Sprachmodell ähnlich wie ChatGPT von Grund auf zu implementieren. Dieses Projekt ist das offizielle Code-Repository, das sein Buch „Build a Large Language Model (From Scratch)" begleitet.
Projektziele
LLM von Grund auf aufbauen: Durch schrittweise Codierung wird den Lesern geholfen, die internen Mechanismen von LLMs tiefgreifend zu verstehen.
Vortraining und Feintuning: Es werden vollständige Codebeispiele bereitgestellt, um auf unmarkierten Daten ein Vortraining durchzuführen sowie ein Feintuning für bestimmte Aufgaben vorzunehmen.
Pädagogischer Zweck: Durch den Aufbau kleinerer, aber voll funktionsfähiger Modelle wird den Lesern geholfen, den Entwicklungsprozess großer Modelle zu verstehen.
Hauptstruktur der Funktionen
Kapitel 2: Verarbeitung von Textdaten
Implementierung eines Byte Pair Encoding (BPE)-Tokenizers von Grund auf.
Bereitstellung der Implementierung und Zusammenfassung von Data Loadern.
Kapitel 3: Implementierung des Aufmerksamkeitsmechanismus
Implementierung des Multi-Head-Attention-Mechanismus.
Kapitel 4: Implementierung des GPT-Modells von Grund auf
Bereitstellung des vollständigen GPT-Modellcodes.
Kapitel 5: Vortraining auf unmarkierten Daten
Bereitstellung von Vortrainings- und Generator-Code.
Kapitel 6: Feintuning für Textklassifikation
Bereitstellung von Feintuning-Code für Textklassifikationsaufgaben.
Kapitel 7: Feintuning für Instruction Following
Bereitstellung von Code für Instruction Fine-Tuning und Evaluierung.
LLMs-from-scratch eignet sich für Lernende, die sich für natürliche Sprachverarbeitung und Deep Learning interessieren, insbesondere für Entwickler, die große Sprachmodelle von Grund auf aufbauen möchten.
Adresse der englischen Originalversion: https://github.com/rasbt/LLMs-from-scratch
Adresse der chinesischen Ressource: https://github.com/MLNLP-World/LLMs-from-scratch-CN
