LLMs-from-scratch: создаём большую языковую модель с нуля 54

«LLMs-from-scratch» — это проект с открытым исходным кодом, созданный Sebastian Raschka с целью помочь разработчикам реализовать большую языковую модель, подобную ChatGPT, с нуля. Этот проект является официальным репозиторием кода, сопровождающим его книгу «Build a Large Language Model (From Scratch)».

Цели проекта

• Создание LLM с нуля: путём пошагового написания кода помогает читателям глубоко понять внутренние механизмы LLM.

• Предварительное обучение и дообучение: предоставляет полные примеры кода для предварительного обучения на неразмеченных данных, а также для дообучения под конкретные задачи.

• Образовательная цель: помогает читателям понять процесс разработки больших моделей путём построения небольших, но полнофункциональных моделей.

Основная структура функциональности

Глава 2: Обработка текстовых данных

• Реализация токенизатора на основе byte pair encoding (BPE) с нуля.

• Предоставление реализации и итогового загрузчика данных.

Глава 3: Реализация механизма внимания

• Реализация механизма многоголового внимания.

Глава 4: Реализация модели GPT с нуля

Предоставление полного кода модели GPT.

Глава 5: Предварительное обучение на неразмеченных данных

• Предоставление кода для предварительного обучения и кода генератора.

Глава 6: Дообучение для классификации текста

• Предоставление кода дообучения для задач классификации текста.

Глава 7: Дообучение для следования инструкциям

• Предоставление кода инструкционного дообучения и кода оценки.

LLMs-from-scratch подходит для учащихся, интересующихся обработкой естественного языка и глубоким обучением, особенно для разработчиков, которые хотят создавать большие языковые модели с нуля.

Адрес оригинала на английском языке:https://github.com/rasbt/LLMs-from-scratch

Адрес ресурса на китайском языке:https://github.com/MLNLP-World/LLMs-from-scratch-CN