Awesome Chinese LLM: 중국어 대규모 언어 모델(LLM) 관련 리소스 모음 169

Awesome Chinese LLM이란 무엇인가요?

Awesome Chinese LLM은 오픈 소스 중국어 대규모 언어 모델(LLM)을 정리한 것으로, 주로 규모가 작고 사적 배포가 가능하며 학습 비용이 낮은 모델에 초점을 맞춥니다. 기반 모델, 특정 분야 미세 조정 및 응용, 데이터셋 및 튜토리얼 등의 내용을 다루고 있으며, 현재 100개 이상의 관련 자료를收录하고 있습니다.

Awesome Chinese LLM의 주요 내용

주요 기반 모델 세부 정보 개요:

• ChatGLM, LLaMA, Baichuan, Qwen 등 모델의 매개변수 크기, 훈련 토큰 수, 훈련 최대 길이 및 상업적 사용 가능 여부 등의 정보를 나열합니다.

모델 분류:

• 텍스트 LLM 모델: ChatGLM, LLaMA 등.

• 멀티모달 LLM 모델: VisualGLM-6B, CogVLM 등, 이미지와 중국어 및 영어의 멀티모달 대화를 지원합니다.

• 응용 분류:

• 특정 분야 미세 조정: 의료, 법률, 금융, 교육 등 여러 분야를 다루며, 예를 들어 DoctorGLM(의료), LawGPT_zh(법률), Cornucopia(금융) 등이 있습니다.

• LangChain 응용: langchain-ChatGLM, 로컬 지식 기반 질의응답 응용 등.

• 기타 응용: wenda(LLM 호출 플랫폼), JittorLLMs(대규모 모델 추론 라이브러리) 등.

데이터셋:

• 사전 훈련 데이터셋: MNBVC(초대규모 중국어 말뭉치), WuDaoCorporaText 등.

• SFT 데이터셋: RefGPT(대규모 실제 및 맞춤 대화 데이터셋 생성), COIG 등.

• 선호도 데이터셋: CValues(가치 정렬 데이터셋), GPT-4-LLM 등.

LLM 훈련 미세 조정 프레임워크:

• DeepSpeed Chat(원스톱 RLHF 훈련 프레임워크), LLaMA Efficient Tuning(PEFT 기반 LLaMA 미세 조정 프레임워크) 등.

LLM 추론 배포 프레임워크:

• vLLM(대량 Prompt 입력에 적합), DeepSpeed-MII(여러 기기 간 부하 적응력 지원) 등.

• LLM 평가:

• FlagEval(대규모 모델 평가 체계 및 명세), C-ｅｖａｌ(중국어 대규모 모델 지식 평가 벤치마크) 등.

LLM 튜토리얼:

• LLM 기초 지식: HuggingLLM(ChatGPT 원리, 사용 및 응용 소개) 등.

• 프롬프트 엔지니어링 튜토리얼: 개발자를 위한 LLM 입문 과정, 프롬프트 엔지니어링 가이드 등.

• LLM 응용 튜토리얼: LangChain 중국어 사이트, OpenAI Cookbook 등.

• LLM 실전 튜토리얼: LLMs 구층요탑, llm-action 등.

Awesome Chinese LLM의 특징

• 풍부한 자료: 모델, 응용부터 데이터셋과 튜토리얼까지 전방위적인 자료를 다룹니다.

• 명확한 분류: 모델 유형, 응용 분야, 데이터셋 용도 등에 따라 분류하여 사용자가 쉽게 찾을 수 있도록 합니다.

• 강한 실용성: 바로 사용할 수 있는 다양한 오픈 소스 모델과 응용을 제공하여 다양한 요구를 가진 사용자에게 적합합니다.

• 커뮤니티 기여: 아직 收录되지 않은 오픈 소스 자료를 기여하도록 권장하여 프로젝트를 함께 완전하게 만들어 갑니다.

Awesome Chinese LLM 적용 대상:

연구원: 이 저장소의 모델과 데이터셋을 활용하여 연구와 실험을 수행할 수 있습니다.

개발자: 응용 사례와 프레임워크를 참고하여 개발과 배포를 진행할 수 있습니다.

학습자: 튜토리얼과 문서를 통해 LLM 관련 지식과 기술을 배울 수 있습니다.