LLM Engineer Toolkit：精选的120多个LLM工具库_云技派 156

一个精心整理的LLM工具库，它将120多个与LLM相关的库按照功能和用途进行了细致分类，涵盖了从训练微调、应用开发、推理服务到安全评估等 LLM 开发全流程所需的工具。

#Ai工具箱 #Ai学习资源

Besuchen LLM Engineer Toolkit：精选的120多个LLM工具库_云技派

LLM Engineer Toolkit：精选的120多个LLM工具库_云技派Einführung

Was ist das LLM Engineer Toolkit?

Das LLM Engineer Toolkit ist eine sorgfältig zusammengestellte Bibliothek von LLM-Werkzeugen, die mehr als 120 LLM-bezogene Bibliotheken detailliert nach Funktion und Verwendungszweck kategorisiert. Sie deckt die gesamte Bandbreite an Werkzeugen ab, die für den LLM-Entwicklungsprozess benötigt werden – von Training und Feintuning über Anwendungsentwicklung und Inferenzdienste bis hin zu Sicherheitsbewertung.

LLM Engineer Toolkit工具.jpg

Kategorien der Werkzeuge im LLM Engineer Toolkit

1. LLM-Training und Feintuning

unsloth: Schnelles Feintuning von LLMs mit reduziertem Speicherverbrauch.
PEFT: Bibliothek für parameter-effizientes Feintuning.
TRL: Training von Transformer-Sprachmodellen durch verstärkendes Lernen.
DeepSpeed: Bibliothek für verteiltes Training und Inferenzoptimierung.

2. LLM-Anwendungsentwicklung

LangChain: Entwicklung von Anwendungen auf Basis von LLMs.
Llama Index: Datenframework für LLM-Anwendungen.
Haystack: End-to-End-LLM-Framework mit Integration von Transformer-Modellen und Vektorsuche.

3. LLM-Inferenz

vLLM: Inferenz-Engine mit hohem Durchsatz und speichereffizient.
LightLLM: Leichtgewichtiges, skalierbares Inferenz-Framework.
TensorRT-LLM: Nvidia-Framework zur Optimierung der LLM-Inferenz.

4. LLM-Dienste

Langcorn: Automatisches Bereitstellen von LangChain-Anwendungen als FastAPI-Dienste.
LitServe: Schnelle Service-Engine mit Unterstützung für Batching, Streaming und automatische GPU-Skalierung.

LLM Engineer Toolkit工具分类.webp

5. LLM-Datenextraktion

Crawl4AI: Open-Source-Web-Crawler, der LLM-freundlich ist.
Docling: Werkzeug zur Dokumentenparserstellung.
PyMuPDF4LLM: Werkzeug zur Extraktion von Inhalten aus PDFs.

6. LLM-Datengenerierung

DataDreamer: Bibliothek zur Generierung synthetischer Daten.
fabricator: Flexibles Framework zur Generierung synthetischer Daten.

7. LLM-Sicherheit und Monitoring

LLM Guard: Sicherheitswerkzeug für LLM-Interaktionen.
Weights & Biases: Verfolgung der LLM-Leistung.
Helicone: Open-Source-Plattform für LLM-Observability.

8. LLM-Bewertung

Ragas: Werkzeug zur Bewertung von LLM-Anwendungen.
LangTest: Bietet verschiedene Testtypen zur Bewertung von Genauigkeit, Verzerrungen und Robustheit von LLMs.

9. LLM-Embedding-Modelle

Sentence-Transformers: State-of-the-Text-Embedding-Modelle.
Text Embedding Inference: Hochleistungswerkzeug für die Inferenz von Embedding-Modellen.

10. Sonstiges

LLM Transparency Tool: Werkzeug zur Analyse der internen Mechanismen von Transformer-Modellen.
mergekit: Werkzeug zum Zusammenführen vortrainierter LLMs.

llm-engineer-toolkit WerkzeugbibliothekGitHub-Repository:https://github.com/KalyanKS-NLP/llm-engineer-toolkit

Ant Design X Vue: die erste KI-Komponentenbibliothek auf Basis von Vue.js

DuckDuckGo: ein Browser und eine Suchmaschine