LLM Engineer Toolkit：精选的120多个LLM工具库_云技派 151

一个精心整理的LLM工具库，它将120多个与LLM相关的库按照功能和用途进行了细致分类，涵盖了从训练微调、应用开发、推理服务到安全评估等 LLM 开发全流程所需的工具。

#Ai工具箱 #Ai学习资源

Перейти LLM Engineer Toolkit：精选的120多个LLM工具库_云技派

LLM Engineer Toolkit：精选的120多个LLM工具库_云技派Описание

Что такое LLM Engineer Toolkit?

LLM Engineer Toolkit — это тщательно подобранная коллекция инструментов для LLM, в которой более 120 связанных с LLM библиотек аккуратно классифицированы по функциям и назначению, охватывая все этапы разработки LLM — от обучения и дообучения, разработки приложений, сервисов инференса до оценки безопасности.

LLM Engineer Toolkit工具.jpg

Категории инструментов LLM Engineer Toolkit

1. Обучение и дообучение LLM

unsloth: быстрое дообучение LLM с уменьшенным потреблением памяти.
PEFT: библиотека для параметрически-эффективного дообучения.
TRL: обучение трансформерных языковых моделей с помощью обучения с подкреплением.
DeepSpeed: библиотека для распределённого обучения и оптимизации инференса.

2. Разработка приложений на базе LLM

LangChain: разработка приложений на основе LLM.
Llama Index: фреймворк данных для приложений на базе LLM.
Haystack: комплексный фреймворк для LLM с поддержкой интеграции с моделями Transformer и векторным поиском.

3. Инференс LLM

vLLM: движок инференса с высокой пропускной способностью и эффективным использованием памяти.
LightLLM: лёгкий и масштабируемый фреймворк инференса.
TensorRT-LLM: фреймворк Nvidia для оптимизации инференса LLM.

4. Сервинг LLM

Langcorn: автоматическое развёртывание приложений LangChain в виде сервисов FastAPI.
LitServe: быстрый сервинговый движок с поддержкой пакетной обработки, потоковой передачи и автоматического масштабирования на GPU.

LLM Engineer Toolkit工具分类.webp

5. Извлечение данных для LLM

Crawl4AI: веб-скрапер с открытым исходным кодом, дружественный к LLM.
Docling: инструмент для разбора документов.
PyMuPDF4LLM: инструмент для извлечения содержимого из PDF.

6. Генерация данных для LLM

DataDreamer: библиотека для генерации синтетических данных.
fabricator: гибкий фреймворк для генерации синтетических данных.

7. Безопасность и мониторинг LLM

LLM Guard: инструмент для обеспечения безопасности взаимодействий с LLM.
Weights & Biases: отслеживание производительности LLM.
Helicone: платформа наблюдаемости LLM с открытым исходным кодом.

8. Оценка LLM

Ragas: инструмент для оценки приложений на базе LLM.
LangTest: предоставляет различные типы тестов для оценки точности, предвзятости и устойчивости LLM.

9. Модели эмбеддингов для LLM

Sentence-Transformers: современные модели текстовых эмбеддингов.
Text Embedding Inference: высокопроизводительный инструмент для инференса моделей эмбеддингов.

10. Прочее