LLM Course: подборка курсов по большим языковым моделям с дорожной картой и ноутбуками Colab 173

Подборка курсов по большим языковым моделям, включающая учебный план и ноутбуки Colab, которая помогает пользователю шаг за шагом освоить LLM — от основ до продвинутого уровня.

#Ai工具箱 #Ai学习资源

Перейти LLM Course: подборка курсов по большим языковым моделям с дорожной картой и ноутбуками Colab

LLM Course: подборка курсов по большим языковым моделям с дорожной картой и ноутбуками ColabОписание

Что такое LLM Course?

LLM Course представляет собой подборку курсов по большим языковым моделям (LLM), включающую дорожную карту обучения и блокноты Colab, которые помогают пользователям поэтапно осваивать знания и применение LLM — от базового до продвинутого уровня. Курс охватывает математику, программирование на Python, нейронные сети, обработку естественного языка (NLP), архитектуру LLM, предварительное обучение, дообучение, выравнивание предпочтений, оценку, квантование и развёртывание.

LLM Course: подборка курсов по LLM, включая дорожную карту и блокноты Colab.webp

Основное содержание LLM Course

Основы LLM

Математические основы: линейная алгебра, математический анализ, теория вероятностей и статистика.
Программирование на Python: основы Python, библиотеки для обработки данных, обработка данных, библиотеки машинного обучения.
Нейронные сети: основы нейронных сетей, обучение и оптимизация, переобучение и методы его устранения.
Обработка естественного языка (NLP): предварительная обработка текста, методы извлечения признаков, векторные представления слов, рекуррентные нейронные сети (RNN).

LLM Scientist

Архитектура LLM: архитектура Transformer, механизм внимания, стратегии сэмплирования.
Модели предварительного обучения: подготовка данных, распределённое обучение, оптимизация обучения, мониторинг.
Наборы данных для постобучения: структура данных, хранение и шаблоны чатов, генерация синтетических данных, аугментация данных, фильтрация качества.
Контролируемое дообучение (SFT): методы обучения, настройка параметров, распределённое обучение, мониторинг.
Выравнивание предпочтений: прямая оптимизация предпочтений (DPO), оптимизация проксимальной политики (PPO), мониторинг.
Оценка: автоматизированные бенчмарки, ручная оценка, оценка моделей, сигналы обратной связи.
Квантование: базовые методы, GGUF & llama.cpp, GPTQ & AWQ, SmoothQuant & ZeroQuant.
Новые тенденции: слияние моделей, мультимодальные модели, интерпретируемость, вычисления во время тестирования.

LLM Engineer

Запуск LLM: API LLM, LLM с открытым исходным кодом, промпт-инжиниринг, структурированный вывод.
Построение векторного хранилища: загрузка документов, разбиение, модели эмбеддингов, векторные базы данных.
Генерация с расширенным поиском (RAG): оркестраторы, ретриверы, память, оценка.
Продвинутый RAG: построение запросов, агенты и инструменты, постобработка, программные LLM.
Оптимизация вывода: Flash Attention, кэширование ключей-значений, спекулятивное декодирование.
Развёртывание LLM: локальное развёртывание, демонстрационное развёртывание, серверное развёртывание, граничное развёртывание.
Защита LLM: инъекция промптов, атаки через бэкдоры, защитные меры.

LLM Course.webp

Инструменты и ресурсы

Инструменты: LLM AutoEval, LazyMergekit, LazyAxolotl, AutoQuant, Model Family Tree, ZeroSpace.
Ресурсы: видео 3Blue1Brown, учебные пособия StatQuest, курсы Khan Academy, учебные пособия Real Python, видео freeCodeCamp и другие.