LLMs-from-scratch: 대규모 언어 모델을 밑바닥부터 구현 51

"LLMs-from-scratch"는 Sebastian Raschka가 만든 오픈소스 프로젝트로, 개발자들이 ChatGPT와 유사한 대형 언어 모델을 처음부터 구현할 수 있도록 돕는 것을 목표로 합니다. 이 프로젝트는 그의 저서 《Build a Large Language Model (From Scratch)》과 함께 제공되는 공식 코드 저장소입니다.

프로젝트 목표

• LLM을 처음부터 구축하기: 단계별 코딩 방식을 통해 독자가 LLM의 내부 메커니즘을 깊이 이해하도록 돕습니다.

• 사전 학습 및 미세 조정: 레이블이 없는 데이터에서 사전 학습을 수행하고 특정 작업에 대해 미세 조정을 하는 완전한 코드 예제를 제공합니다.

• 교육 목적: 작지만 기능이 완전한 모델을 구축함으로써 독자가 대형 모델의 개발 과정을 이해하도록 돕습니다.

주요 기능 구조

제 2 장: 텍스트 데이터 처리

• 바이트 페어 인코딩(BPE) 토크나이저를 처음부터 구현합니다.

• 데이터 로더 구현과 요약을 제공합니다.

제 3 장: 어텐션 메커니즘 구현

• 멀티 헤드 어텐션 메커니즘을 구현합니다.

제 4 장: 처음부터 GPT 모델 구현

완전한 GPT 모델 코드를 제공합니다.

제 5 장: 레이블이 없는 데이터에서 사전 학습

• 사전 학습 코드와 생성기 코드를 제공합니다.

제 6 장: 텍스트 분류를 위한 미세 조정

• 텍스트 분류 작업을 위한 미세 조정 코드를 제공합니다.

제 7 장: 지시문 따르기를 위한 미세 조정

• 지시문 미세 조정 코드와 평가 코드를 제공합니다.

LLMs-from-scratch는 자연어 처리와 딥러닝에 관심이 있는 학습자, 특히 처음부터 대형 언어 모델을 구축하고자 하는 개발자에게 적합합니다.

영문 원본 주소:https://github.com/rasbt/LLMs-from-scratch

중국어 자료 주소:https://github.com/MLNLP-World/LLMs-from-scratch-CN