Awesome Chinese LLM : Ressources curated sur les grands modèles de langue chinois 173

Une collection curated de LLMs chinois open-source, axée sur les modèles plus petits, déployables en privé et avec des coûts d'entraînement réduits — plus de 100 ressources à ce jour.

#Ai工具箱 #Ai学习资源

Visiter Awesome Chinese LLM : Ressources curated sur les grands modèles de langue chinois

Awesome Chinese LLM : Ressources curated sur les grands modèles de langue chinoisIntroduction

Qu'est-ce qu'Awesome Chinese LLM ?

Awesome Chinese LLM rassemble des modèles de langage open source en chinois (LLM), en se concentrant principalement sur les modèles de petite taille, pouvant être déployés en privé et dont les coûts d'entraînement sont relativement faibles. Il couvre les modèles de base, les ajustements fins dans des domaines verticaux et les applications, ainsi que des jeux de données et des tutoriels, et recense actuellement plus de 100 ressources pertinentes.

Qu'est-ce qu'Awesome Chinese LLM ?.webp

Contenu principal d'Awesome Chinese LLM

Aperçu des détails des modèles de base courants :

Répertorie des informations telles que la taille des paramètres, le nombre de tokens d'entraînement, la longueur maximale d'entraînement et la licence commerciale pour des modèles comme ChatGLM, LLaMA, Baichuan, Qwen, etc.

Classification des modèles :

Modèles LLM textuels : tels que ChatGLM, LLaMA, etc.
Modèles LLM multimodaux : tels que VisualGLM-6B, CogVLM, etc., prenant en charge la conversation multimodale en image, en chinois et en anglais.
Classification des applications :
Ajustement fin dans des domaines verticaux : couvrant plusieurs domaines tels que la santé, le droit, la finance, l'éducation, par exemple DoctorGLM (santé), LawGPT_zh (droit), Cornucopia (finance), etc.
Applications LangChain : telles que langchain-ChatGLM, une application de questions-réponses basée sur une base de connaissances locale.
Autres applications : telles que wenda (plateforme d'appel LLM), JittorLLMs (bibliothèque d'inférence pour grands modèles), etc.

Jeux de données :

Jeux de données de pré-entraînement : tels que MNBVC (corpus chinois à très grande échelle), WuDaoCorporaText, etc.
Jeux de données SFT : tels que RefGPT (génère un grand nombre de jeux de données de conversation réalistes et personnalisés), COIG, etc.
Jeux de données de préférences : tels que CValues (jeu de données d'alignement de valeurs), GPT-4-LLM, etc.

Cadres d'entraînement et d'ajustement fin pour LLM :

Tels que DeepSpeed Chat (cadre d'entraînement RLHF en une seule commande), LLaMA Efficient Tuning (cadre d'ajustement fin LLaMA basé sur PEFT), etc.

Cadres d'inférence et de déploiement pour LLM :

Tels que vLLM (adapté aux entrées de prompts en grand volume), DeepSpeed-MII (prenant en charge l'équilibrage de charge entre plusieurs machines), etc.
Évaluation des LLM :
Tels que FlagEval (système et plateforme ouverte d'évaluation de grands modèles), C-ｅｖａｌ (référence d'évaluation des connaissances pour grands modèles chinois), etc.

Tutoriels sur les LLM :

Connaissances de base sur les LLM : telles que HuggingLLM (introduction aux principes, à l'utilisation et aux applications de ChatGPT).
Tutoriels d'ingénierie de prompt : tels que les cours d'introduction aux LLM pour les développeurs, guides d'ingénierie de prompt, etc.
Tutoriels d'application des LLM : tels que LangChain中文网, OpenAI Cookbook, etc.
Tutoriels pratiques sur les LLM : tels que LLMs九层妖塔, llm-action, etc.

Caractéristiques d'Awesome Chinese LLM

Ressources riches : couvre un ensemble complet de ressources allant des modèles et applications aux jeux de données et tutoriels.
Classification claire : classée par type de modèle, domaine d'application, usage des jeux de données, etc., facilitant la recherche pour les utilisateurs.
Haute praticité : fournit un grand nombre de modèles et applications open source directement utilisables, adaptés aux utilisateurs ayant différents besoins.
Contribution de la communauté : encourage les utilisateurs à contribuer des ressources open source non encore répertoriées afin d'améliorer ensemble le projet.