LLM Course: Sammlung von LLM-Kursen mit Lernpfad und Colab-Notebooks 178

Eine Sammlung von LLM-Kursen mit Lernpfad und Colab-Notebooks, die Nutzern hilft, Wissen und Anwendung von LLMs Schritt für Schritt zu erlernen – von den Grundlagen bis zum fortgeschrittenen Niveau.

#Ai工具箱 #Ai学习资源

Besuchen LLM Course: Sammlung von LLM-Kursen mit Lernpfad und Colab-Notebooks

LLM Course: Sammlung von LLM-Kursen mit Lernpfad und Colab-NotebooksEinführung

Was ist LLM Course?

LLM Course bietet eine Sammlung von Kursen zu LLMs an, einschließlich Lernroadmap und Colab-Notebooks, die den Nutzern helfen, schrittweise von den Grundlagen bis zu fortgeschrittenen Themen Wissen und Anwendungen von LLMs zu erlernen. Die Kurse umfassen Mathematik, Python-Programmierung, neuronale Netze, Verarbeitung natürlicher Sprache (NLP), LLM-Architektur, Vortraining, Feinabstimmung, Präferenzausrichtung, Evaluierung, Quantisierung sowie Bereitstellung.

LLM Course：LLMs课程集合，包括路线图和Colab笔记本.webp

Hauptinhalte von LLM Course

LLM Fundamentals

Mathematische Grundlagen: Lineare Algebra, Analysis, Wahrscheinlichkeitsrechnung und Statistik.
Python-Programmierung: Python-Grundlagen, Data-Science-Bibliotheken, Datenverarbeitung, Machine-Learning-Bibliotheken.
Neuronale Netze: Grundlagen neuronaler Netze, Training und Optimierung, Overfitting und Gegenmaßnahmen.
Verarbeitung natürlicher Sprache (NLP): Textvorverarbeitung, Feature-Extraktion, Worteinbettungen, rekurrente neuronale Netze (RNNs).

LLM Scientist

LLM-Architektur: Transformer-Architektur, Aufmerksamkeitsmechanismen, Sampling-Strategien.
Vortrainierte Modelle: Datenvorbereitung, verteiltes Training, Trainingsoptimierung, Überwachung.
Post-Training-Datensätze: Datenstruktur, Speicherung und Chat-Templates, synthetische Datengenerierung, Datenaugmentierung, Qualitätsfilterung.
Überwachtes Feintuning (SFT): Trainingstechniken, Parametereinstellungen, verteiltes Training, Überwachung.
Präferenzausrichtung: Direct Preference Optimization (DPO), Proximal Policy Optimization (PPO), Überwachung.
Evaluierung: automatisierte Benchmarks, menschliche Bewertung, Modellbewertung, Feedbacksignale.
Quantisierung: Grundlegende Techniken, GGUF & llama.cpp, GPTQ & AWQ, SmoothQuant & ZeroQuant.
Neue Trends: Model Merging, multimodale Modelle, Interpretierbarkeit, Test-Time Compute.

LLM Engineer

LLMs betreiben: LLM API, Open-Source-LLMs, Prompt Engineering, strukturierte Ausgaben.
Aufbau einer Vektor-Datenbank: Dokumentenladen, Splitting, Embedding-Modelle, Vektor-Datenbanken.
Retrieval-Augmented Generation (RAG): Orchestrator, Retriever, Gedächtnis, Evaluierung.
Fortgeschrittenes RAG: Query-Konstruktion, Agenten und Tools, Post-Processing, programmatische LLMs.
Inferenzoptimierung: Flash Attention, Key-Value-Cache, Speculative Decoding.
Bereitstellung von LLMs: lokale Bereitstellung, Demo-Bereitstellung, Server-Bereitstellung, Edge-Bereitstellung.
LLMs absichern: Prompt Injection, Backdoor-Angriffe, Abwehrmaßnahmen.

LLM Course.webp

Werkzeuge und Ressourcen

Werkzeuge: LLM AutoEval, LazyMergekit, LazyAxolotl, AutoQuant, Model Family Tree, ZeroSpace.
Ressourcen: 3Blue1Brown-Videos, StatQuest-Tutorials, Khan-Academy-Kurse, Real-Python-Tutorials, freeCodeCamp-Videos u. v. m.