LLM Engineer Toolkit：精选的120多个LLM工具库_云技派 153

一个精心整理的LLM工具库，它将120多个与LLM相关的库按照功能和用途进行了细致分类，涵盖了从训练微调、应用开发、推理服务到安全评估等 LLM 开发全流程所需的工具。

#Ai工具箱 #Ai学习资源

Visiter LLM Engineer Toolkit：精选的120多个LLM工具库_云技派

LLM Engineer Toolkit：精选的120多个LLM工具库_云技派Introduction

Qu'est-ce que LLM Engineer Toolkit ?

LLM Engineer Toolkit est une bibliothèque soigneusement organisée d'outils liés aux LLM. Elle classe de manière détaillée plus de 120 bibliothèques liées aux LLM selon leurs fonctionnalités et usages, couvrant l'ensemble des outils nécessaires au processus complet de développement de LLM, de l'entraînement et du fine-tuning au développement d'applications, en passant par l'inférence, le service et l'évaluation de la sécurité.

LLM Engineer Toolkit工具.jpg

Catégories d'outils de LLM Engineer Toolkit

1. Entraînement et fine-tuning de LLM

unsloth : fine-tuning rapide de LLM avec une empreinte mémoire réduite.
PEFT : bibliothèque de fine-tuning efficace en paramètres.
TRL : entraînement de modèles de langage Transformer par apprentissage par renforcement.
DeepSpeed : bibliothèque d'optimisation pour l'entraînement et l'inférence distribués.

2. Développement d'applications LLM

LangChain : développement d'applications basées sur les LLM.
Llama Index : fournit un cadre de données pour les applications LLM.
Haystack : cadre LLM de bout en bout, prenant en charge l'intégration avec les modèles Transformer et la recherche vectorielle.

3. Inférence LLM

vLLM : moteur d'inférence à haut débit et économe en mémoire.
LightLLM : cadre d'inférence léger et extensible.
TensorRT-LLM : cadre Nvidia pour optimiser l'inférence des LLM.

4. Service LLM

Langcorn : déploiement automatique des applications LangChain en tant que services FastAPI.
LitServe : moteur de service rapide prenant en charge le batching, le streaming et l'autoscaling GPU.

LLM Engineer Toolkit工具分类.webp

5. Extraction de données LLM

Crawl4AI : web crawler open-source convivial pour les LLM.
Docling : outil d'analyse de documents.
PyMuPDF4LLM : outil permettant d'extraire le contenu des PDF.

6. Génération de données LLM

DataDreamer : bibliothèque de génération de données synthétiques.
fabricator : cadre flexible de génération de données synthétiques.

7. Sécurité والمراقبة الخاصة بـ LLM

LLM Guard : outils أمان للتفاعلات مع LLM.
Weights & Bias ; B
Helicone : plateforme مراقبة مفتوحة

8. تقييم LLM

Ragas : outil d'évaluation des applications LLM.
LangTest : fournit plusieurs types de tests pour évaluer la précision, les biais et la robustesse des LLM.

9. Modèles d'embedding LLM

Sentence-Transformers : modèles d'embedding de texte à la pointe de la technologie.
Text Embedding Inference : outil d'inférence de modèles d'embedding haute performance.

10. Autres

LLM Transparency Tool : outil permettant d'analyser les mécanismes internes des modèles Transformer.
mergekit : outil permettant de fusionner des LLM pré-entraînés.

llm-engineer-toolkit Dépôt GitHub :https://github.com/KalyanKS-NLP/llm-engineer-toolkit

Ant Design X Vue : la première bibliothèque de composants IA basée sur Vue.js

DuckDuckGo : un navigateur et un moteur de recherche