LLM Course: colección de cursos sobre LLMs con hoja de ruta y cuadernos Colab 176

Una colección de cursos sobre LLMs que incluye una hoja de ruta de aprendizaje y cuadernos Colab, para que el usuario domine progresivamente los conocimientos y aplicaciones de los LLM, desde lo básico hasta lo avanzado.

#Ai工具箱 #Ai学习资源

Visitar LLM Course: colección de cursos sobre LLMs con hoja de ruta y cuadernos Colab

LLM Course: colección de cursos sobre LLMs con hoja de ruta y cuadernos ColabIntroducción

¿Qué es LLM Course?

LLM Course ofrece una colección de cursos sobre LLMs, que incluye una ruta de aprendizaje y cuadernos Colab, ayudando a los usuarios a dominar gradualmente los conocimientos y aplicaciones de los LLMs desde lo básico hasta lo avanzado. Los cursos abarcan matemáticas, programación en Python, redes neuronales, procesamiento del lenguaje natural (NLP), arquitectura de LLMs, preentrenamiento, ajuste fino, alineación de preferencias, evaluación, cuantización e implementación.

LLM Course：LLMs课程集合，包括路线图和Colab笔记本.webp

Contenido principal de LLM Course

Fundamentos de LLM

Fundamentos matemáticos: álgebra lineal, cálculo, probabilidad y estadística.
Programación en Python: fundamentos de Python, bibliotecas de ciencia de datos, procesamiento de datos, bibliotecas de aprendizaje automático.
Redes neuronales: conocimientos básicos de redes neuronales, entrenamiento y optimización, sobreajuste y sus soluciones.
Procesamiento del lenguaje natural (NLP): preprocesamiento de texto, técnicas de extracción de características, word embeddings, redes neuronales recurrentes (RNNs).

Científico de LLM

Arquitectura de LLM: arquitectura Transformer, mecanismos de atención, estrategias de muestreo.
Preentrenamiento de modelos: preparación de datos, entrenamiento distribuido, optimización del entrenamiento, monitorización.
Conjuntos de datos de postentrenamiento: estructura de datos, almacenamiento y plantillas de chat, generación de datos sintéticos, aumento de datos, filtrado de calidad.
Ajuste fino supervisado (SFT): técnicas de entrenamiento, configuración de parámetros, entrenamiento distribuido, monitorización.
Alineación de preferencias: Optimización Directa de Preferencias (DPO), Optimización de Política Proximal (PPO), monitorización.
Evaluación: pruebas de referencia automatizadas, evaluación humana, evaluación de modelos, señales de retroalimentación.
Cuantización: técnicas básicas, GGUF & llama.cpp, GPTQ & AWQ, SmoothQuant & ZeroQuant.
Nuevas tendencias: fusión de modelos, modelos multimodales, interpretabilidad, computación en tiempo de prueba.

Ingeniero de LLM

Ejecución de LLMs: API de LLM, LLMs de código abierto, ingeniería de prompts, salidas estructuradas.
Construcción de almacenes de vectores: carga de documentos, fragmentación, modelos de embeddings, bases de datos vectoriales.
Generación Aumentada por Recuperación (RAG): orquestadores, recuperadores, memoria, evaluación.
RAG avanzado: construcción de consultas, agentes yherramientas, posprocesamiento, LLMs programáticos.
Optimización de inferencia: Flash Attention, caché clave-valor, decodificación especulativa.
Implementación de LLMs: implementación local, implementación demo, implementación en servidor, implementación en el edge.
Protección de LLMs: inyección de prompts, ataques de puerta trasera, medidas defensivas.

LLM Course.webp

Herramientas y recursos

Herramientas: LLM AutoEval, LazyMergekit, LazyAxolotl, AutoQuant, Model Family Tree, ZeroSpace.
Recursos: vídeos de 3Blue1Brown, tutoriales de StatQuest, cursos de Khan Academy, tutoriales de Real Python, vídeos de freeCodeCamp, entre otros.