Awesome Chinese LLM: Kuratierte Ressourcen zu chinesischen Large Language Models 157

Was ist Awesome Chinese LLM?

Awesome Chinese LLM sammelt Open-Source-chinesische Large Language Models (LLMs) und konzentriert sich hauptsächlich auf Modelle mit kleinerer Größe, die privat bereitgestellt werden können und geringere Trainingskosten verursachen. Es deckt Basismodelle, Feintuning für vertikale Domänen sowie Anwendungen, Datensätze und Tutorials ab und enthält mittlerweile über 100 relevante Ressourcen.

Hauptinhalte von Awesome Chinese LLM

Übersicht der Details gängiger Basismodelle:

• Listet Informationen zu Modellen wie ChatGLM, LLaMA, Baichuan, Qwen auf, einschließlich Parametergröße, Anzahl der Trainingstokens, maximaler Trainingslänge und ob sie kommerziell nutzbar sind.

Modellklassifizierung:

• Text-LLM-Modelle: wie ChatGLM, LLaMA usw.

• Multimodale LLM-Modelle: wie VisualGLM-6B, CogVLM usw., die multimodale Dialoge mit Bildern sowie chinesischer und englischer Sprache unterstützen.

• Anwendungsklassifizierung:

• Feintuning für vertikale Domänen: deckt mehrere Bereiche wie Medizin, Recht, Finanzen und Bildung ab, z. B. DoctorGLM (Medizin), LawGPT_zh (Recht), Cornucopia (Finanzen) usw.

• LangChain-Anwendungen: wie langchain-ChatGLM, eine Frage-Antwort-Anwendung basierend auf einer lokalen Wissensdatenbank.

• Weitere Anwendungen: wie wenda (LLM-Aufrufplattform), JittorLLMs (Large-Model-Inferenzbibliothek) usw.

Datensätze:

• Datensätze für das Pre-Training: wie MNBVC (äußerst umfangreicher chinesischer Korpus), WuDaoCorporaText usw.

• SFT-Datensätze: wie RefGPT (Erzeugung umfangreicher realer und maßgeschneiderter Dialogdatensätze), COIG usw.

• Präferenzdatensätze: wie CValues (Werteabgleich-Datensatz), GPT-4-LLM usw.

LLM-Trainings- und Feintuning-Frameworks:

• Wie DeepSpeed Chat (Ein-Klick-RLHF-Trainingsframework), LLaMA Efficient Tuning (PEFT-basiertes LLaMA-Feintuning-Framework) usw.

LLM-Inferenz- und Bereitstellungs-Frameworks:

• Wie vLLM (geeignet für große Mengen an Prompt-Eingaben), DeepSpeed-MII (unterstützt Lastausgleich zwischen mehreren Maschinen) usw.

• LLM-Evaluierung:

• Wie FlagEval (Evaluierungssystem und offene Plattform für Large Models), C-ｅｖａｌ (Wissensbewertungs-Benchmark für chinesische Large Models) usw.

LLM-Tutorials:

• LLM-Grundlagen: wie HuggingLLM (Einführung in die Prinzipien, Nutzung und Anwendungen von ChatGPT).

• Tutorials zum Prompt Engineering: wie der Einführungskurs in LLMs für Entwickler, Leitfaden zum Prompt Engineering usw.

• Tutorials zu LLM-Anwendungen: wie LangChain Chinesisch, OpenAI Cookbook usw.

• Praxis-Tutorials zu LLMs: wie LLMs九层妖塔, llm-action usw.

Die Merkmale von Awesome Chinese LLM

• Umfangreiche Ressourcen: deckt umfassende Ressourcen von Modellen und Anwendungen bis hin zu Datensätzen und Tutorials ab.

• Klare Kategorisierung: Klassifizierung nach Modelltyp, Anwendungsbereich und Verwendungszweck der Datensätze erleichtert das Auffinden.

• Hohe Praxisnähe: bietet zahlreiche sofort einsetzbare Open-Source-Modelle und -Anwendungen für unterschiedliche Anforderungen.

• Community-Beiträge: ermutigt Benutzer, nicht enthaltene Open-Source-Ressourcen beizusteuern, um das Projekt gemeinsam zu verbessern.

Zielgruppen von Awesome Chinese LLM:

Forscher: können die Modelle und Datensätze des Repositories für Forschung und Experimente nutzen.

Entwickler: können sich an Anwendungsbeispielen und Frameworks für Entwicklung und Bereitstellung orientieren.

Lernende: können durch Tutorials und Dokumentationen das entsprechende Wissen und die Fähigkeiten rund um LLMs erlernen.