Awesome Chinese LLM: Recursos seleccionados sobre LLMs en chino 174

Una colección curada de LLMs chinos de código abierto, centrada en modelos más pequeños, desplegables de forma privada y con menores costes de entrenamiento — actualmente con más de 100 recursos.

#Ai工具箱 #Ai学习资源

Visitar Awesome Chinese LLM: Recursos seleccionados sobre LLMs en chino

Awesome Chinese LLM: Recursos seleccionados sobre LLMs en chinoIntroducción

¿Qué es Awesome Chinese LLM?

Awesome Chinese LLM recopila modelos de lenguaje grandes (LLM) chinos de código abierto, centrándose principalmente en modelos de menor tamaño, que se pueden desplegar de forma privada y con bajos costes de entrenamiento. Cubre modelos base, fine-tuning y aplicaciones en dominios verticales, conjuntos de datos y tutoriales, y actualmente incluye más de 100 recursos relacionados.

¿Qué es Awesome Chinese LLM?.webp

Contenido principal de Awesome Chinese LLM

Resumen de los detalles de los modelos base comunes:

Enumera información como el tamaño de los parámetros, el número de tokens de entrenamiento, la longitud máxima de entrenamiento y si son de uso comercial para modelos como ChatGLM, LLaMA, Baichuan, Qwen, entre otros.

Clasificación de modelos:

Modelos LLM de texto: como ChatGLM, LLaMA, etc.
Modelos LLM multimodales: como VisualGLM-6B, CogVLM, etc., que admiten conversaciones multimodales en imágenes, chino e inglés.
Clasificación de aplicaciones:
Fine-tuning en dominios verticales: cubre múltiples campos como medicina, derecho, finanzas, educación, por ejemplo DoctorGLM (medicina), LawGPT_zh (derecho), Cornucopia (finanzas), etc.
Aplicaciones LangChain: como langchain-ChatGLM, una aplicación de preguntas y respuestas basada en una base de conocimiento local.
Otras aplicaciones: como wenda (plataforma de invocación de LLM), JittorLLMs (biblioteca de inferencia de modelos grandes), etc.

Conjuntos de datos:

Conjuntos de datos de preentrenamiento: como MNBVC (corpus chino a gran escala), WuDaoCorporaText, etc.
Conjuntos de datos SFT: como RefGPT (genera grandes cantidades de conjuntos de datos de diálogo reales y personalizados), COIG, etc.
Conjuntos de datos de preferencias: como CValues (conjunto de datos de alineación de valores), GPT-4-LLM, etc.

Marcos de entrenamiento y fine-tuning de LLM:

Como DeepSpeed Chat (marco de entrenamiento RLHF de un solo clic), LLaMA Efficient Tuning (marco de fine-tuning de LLaMA basado en PEFT), etc.

Marcos de inferencia y despliegue de LLM:

Como vLLM (adecuado para entradas de Prompt a gran escala), DeepSpeed-MII (soporta equilibrio de carga entre múltiples máquinas), etc.
Evaluación de LLM:
Como FlagEval (sistema y plataforma abierta de evaluación de modelos grandes), C-ｅｖａｌ (benchmark de evaluación de conocimientos de modelos grandes en chino), etc.

Tutoriales de LLM:

Conocimientos básicos de LLM: como HuggingLLM (presenta el principio, uso y aplicación de ChatGPT).
Tutoriales de ingeniería de prompts: como curso introductorio de LLM para desarrolladores, guía de ingeniería de prompts, etc.
Tutoriales de aplicaciones de LLM: como LangChain en chino, OpenAI Cookbook, etc.
Tutoriales prácticos de LLM: como LLMs九层妖塔 (Torre de los nueve demonios de LLMs), llm-action, etc.

Características de Awesome Chinese LLM

Recursos abundantes: cubre una amplia gama de recursos, desde modelos y aplicaciones hasta conjuntos de datos y tutoriales.
Clasificación clara: clasifica por tipo de modelo, área de aplicación, uso del conjunto de datos, etc., lo que facilita la búsqueda a los usuarios.
Alta practicidad: ofrece una gran cantidad de modelos y aplicaciones de código abierto listos para usar, adecuados para usuarios con diferentes necesidades.
Contribuciones de la comunidad: anima a los usuarios a contribuir con recursos de código abierto no incluidos para mejorar conjuntamente el proyecto.