Asistente de guiones▸ 
Apps AI 
Noticias AI LLMs-from-scratch: construye un gran modelo de lenguaje desde cero
小编 ·
LLMs-from-scratch: construye un gran modelo de lenguaje desde cero
"LLMs-from-scratch" es un proyecto de código abierto creado por Sebastian Raschka, cuyo objetivo es ayudar a los desarrolladores a implementar un modelo de lenguaje grande similar a ChatGPT desde cero. Este proyecto es el repositorio de código oficial que acompaña a su libro "Build a Large Language Model (From Scratch)".
Objetivos del proyecto
Construir un LLM desde cero: ayudar a los lectores a comprender en profundidad los mecanismos internos de los LLM mediante una codificación paso a paso.
Preentrenamiento y ajuste fino: proporcionar ejemplos de código completos para el preentrenamiento en datos no etiquetados, así como para el ajuste fino en tareas específicas.
Propósito educativo: ayudar a los lectores a comprender el proceso de desarrollo de modelos grandes mediante la construcción de modelos pequeños pero funcionalmente completos.
Estructura principal de funciones
Capítulo 2: Procesamiento de datos de texto
Implementación de un tokenizador de codificación por pares de bytes (BPE) desde cero.
Implementación y resumen del cargador de datos.
Capítulo 3: Implementación del mecanismo de atención
Implementación del mecanismo de atención multi-cabezal.
Capítulo 4: Implementación del modelo GPT desde cero
Proporciona el código completo del modelo GPT.
Capítulo 5: Preentrenamiento en datos no etiquetados
Proporciona el código de preentrenamiento y el código del generador.
Capítulo 6: Ajuste fino para clasificación de texto
Proporciona el código de ajuste fino para tareas de clasificación de texto.
Capítulo 7: Ajuste fino para el seguimiento de instrucciones
Proporciona el código de ajuste fino de instrucciones y el código de evaluación.
LLMs-from-scratch es adecuado para estudiantes interesados en el procesamiento del lenguaje natural y el aprendizaje profundo, especialmente para desarrolladores que desean construir modelos de lenguaje grandes desde cero.
Dirección original en inglés:https://github.com/rasbt/LLMs-from-scratch
Dirección del recurso en chino:https://github.com/MLNLP-World/LLMs-from-scratch-CN
