Awesome Chinese LLM: Подборка ресурсов о китайских больших языковых моделях 171

Подборка открытых китайских больших языковых моделей (LLM) с фокусом на компактные, развёртываемые локально модели с низкой стоимостью обучения — уже более 100 ресурсов.

#Ai工具箱 #Ai学习资源

Перейти Awesome Chinese LLM: Подборка ресурсов о китайских больших языковых моделях

Awesome Chinese LLM: Подборка ресурсов о китайских больших языковых моделяхОписание

Что такое Awesome Chinese LLM?

Awesome Chinese LLM — это подборка открытых китайских больших языковых моделей (LLM), ориентированных главным образом на модели небольшого размера, которые можно развертывать локально и обучать с относительно низкими затратами. Она охватывает базовые модели, дообучение для вертикальных областей и их применение, наборы данных и руководства. На данный момент собрано более 100 соответствующих ресурсов.

Что такое Awesome Chinese LLM?.webp

Основное содержание Awesome Chinese LLM

Обзор деталей распространённых базовых моделей:

Перечислены такие модели, как ChatGLM, LLaMA, Baichuan, Qwen, с указанием размера параметров, количества токенов обучения, максимальной длины контекста и информации о возможности коммерческого использования.

Категории моделей:

Текстовые LLM-модели: например, ChatGLM, LLaMA и другие.
Мультимодальные LLM-модели: например, VisualGLM-6B, CogVLM и другие, поддерживающие мультимодальный диалог с изображениями на китайском и английском языках.
Категории приложений:
Дообучение для вертикальных областей: охватывает медицину, право, финансы, образование и другие сферы, например DoctorGLM (медицина), LawGPT_zh (право), Cornucopia (финансы) и др.
Приложения LangChain: например, langchain-ChatGLM — приложение для问答 на основе локальной базы знаний.
Прочие приложения: например, wenda (платформа для вызова LLM), JittorLLMs (библиотека для инференса больших моделей) и др.

Наборы данных:

Наборы данных для предобучения: например, MNBVC (сверхмасштабный китайский корпус), WuDaoCorporaText и др.
Наборы данных SFT: например, RefGPT (генерация большого количества реалистичных и кастомных диалоговых данных), COIG и др.
Наборы данных предпочтений: например, CValues (набор данных для согласования ценностей), GPT-4-LLM и др.

Фреймворки для обучения и дообучения LLM:

Например, DeepSpeed Chat (фреймворк для RLHF-обучения в один клик), LLaMA Efficient Tuning (фреймворк дообучения LLaMA на основе PEFT) и др.

Фреймворки для инференса и развёртывания LLM:

Например, vLLM (подходит для пакетной обработки большого количества Prompt-запросов), DeepSpeed-MII (поддерживает балансировку нагрузки между несколькими машинами) и др.
Оценка LLM:
Например, FlagEval (система оценки больших моделей и открытая платформа), C-ｅｖａｌ (китайский бенчмарк для оценки знаний больших моделей) и др.

Руководства по LLM:

Основы LLM: например, HuggingLLM (введение в принципы работы, использование и применение ChatGPT).
Руководства по prompt engineering: например, вводный курс по LLM для разработчиков, руководство по prompt engineering и др.
Руководства по применению LLM: например, китайская версия LangChain, OpenAI Cookbook и др.
Практические руководства по LLM: например, «Девять слоёв пагоды LLMs», llm-action и др.

Особенности Awesome Chinese LLM

Богатые ресурсы: охватывает полный спектр ресурсов — от моделей и приложений до наборов данных и руководств.
Чёткая классификация: ресурсы разделены по типу моделей, области применения, назначению наборов данных и т.д., что удобно для поиска.
Высокая практичность: предоставлено большое количество готовых к использованию открытых моделей и приложений для пользователей с различными потребностями.
Вклад сообщества: поощряется добавление пользователями не включённых в подборку открытых ресурсов для совместного развития проекта.