LLM Course : collection de cours sur les LLM avec feuille de route et notebooks Colab 174

Une collection de cours sur les LLM comprenant une feuille de route d'apprentissage et des notebooks Colab, permettant aux utilisateurs de maîtriser progressivement les LLM, des bases aux notions avancées.

#Ai工具箱 #Ai学习资源

Visiter LLM Course : collection de cours sur les LLM avec feuille de route et notebooks Colab

LLM Course : collection de cours sur les LLM avec feuille de route et notebooks ColabIntroduction

Qu'est-ce que LLM Course ?

LLM Course propose une collection de cours sur les LLMs, comprenant des parcours d'apprentissage et des notebooks Colab, aidant les utilisateurs à maîtriser progressivement les connaissances et les applications des LLMs, du niveau基础的 au niveau avancé. Les cours couvrent les mathématiques, la programmation Python, les réseaux de neurones, le traitement du langage naturel (NLP), l'architecture LLM, le pré-entraînement, le fine-tuning, l'alignement des préférences, l'évaluation, la quantification et le déploiement.

LLM Course：LLMs课程集合，包括路线图和Colab笔记本.webp

Contenu principal de LLM Course

LLM Fundamentals

Fondamentaux mathématiques : algèbre linéaire, calcul, probabilités et statistiques.
Programmation Python : bases de Python, bibliothèques de science des données, traitement des données, bibliothèques de machine learning.
Réseaux de neurones : connaissances fondamentales des réseaux de neurones, entraînement et optimisation, surapprentissage et ses solutions.
Traitement du langage naturel (NLP) : prétraitement de texte, techniques d'extraction de caractéristiques, plongements de mots, réseaux de neurones récurrents (RNNs).

LLM Scientist

Architecture LLM : architecture Transformer, mécanisme d'attention, stratégies d'échantillonnage.
Modèles pré-entraînés : préparation des données, entraînement distribué, optimisation de l'entraînement, surveillance.
Jeux de données post-entraînement : structures de données, stockage et modèles de chat, génération de données synthétiques, augmentation des données, filtrage de qualité.
Fine-tuning supervisé (SFT) : techniques d'entraînement, configuration des paramètres, entraînement distribué, surveillance.
Alignement des préférences : optimisation directe des préférences (DPO), optimisation de politique proximale (PPO), surveillance.
Évaluation : benchmarks automatisés, évaluation humaine, évaluation de modèles, signaux de retour.
Quantification : techniques fondamentales, GGUF & llama.cpp, GPTQ & AWQ, SmoothQuant & ZeroQuant.
Nouvelles tendances : fusion de modèles, modèles multimodaux, interprétabilité, calcul au moment du test.

LLM Engineer

Exécution des LLMs : API LLM, LLMs open source, ingénierie de prompt, sorties structurées.
Construction d'un stockage vectoriel : chargement de documents, découpage, modèles d'embedding, bases de données vectorielles.
Génération augmentée par récupération (RAG) : orchestrateurs, récupérateurs, mémoire, évaluation.
RAG avancé : construction de requêtes, agents et outils, post-traitement, LLMs programmables.
Optimisation de l'inférence : Flash Attention, cache clé-valeur, décodage spéculatif.
Déploiement des LLMs : déploiement local, déploiement de démo, déploiement sur serveur, déploiement en périphérie.
Protection des LLMs : injection de prompt, attaques par porte dérobée, mesures de défense.

LLM Course.webp

Outils et ressources

Outils : LLM AutoEval, LazyMergekit, LazyAxolotl, AutoQuant, Model Family Tree, ZeroSpace.
Ressources : vidéos de 3Blue1Brown, tutoriels StatQuest, cours de Khan Academy, tutoriels Real Python, vidéos de freeCodeCamp, etc.