대본 기획 도우미▸ 
AI 앱 
AI 뉴스 
Kiln AI: 대규모 언어 모델 파인튜닝, 합성 데이터 생성 및 데이터셋 협업 AI 도구
Kiln AI: 대규모 언어 모델 파인튜닝, 합성 데이터 생성 및 데이터셋 협업 AI 도구소개
Kiln ai는 오픈 소스로, 대규모 언어 모델(LLM)의 미세 조정, 합성 데이터 생성 및 데이터셋 협업이 가능한 AI도구입니다. 직관적인 인터페이스를 제공하며, Windows, MacOS 및 Linux 시스템을 지원합니다. 사용자는 코드를 작성하지 않고도 다양한 모델을 미세 조정하고 자동으로 배포할 수 있습니다.
Kiln AI는 deepseek도 지원합니다(제 로컬 ollama에 deepseek-r1:14b를 배포해 두고 작은 테스트를 해봤는데), 제처럼 로컬에서蒸馏(large language model)를 배포하여 개발 및 연구를 진행해야 하는 사람들에게 Kiln AI는 그야말로 "신기(神器)"와 같은 도구입니다.
Kiln AI 기능 특징:
코드 없는 미세 조정: Kiln AI는 사용자가 간단한 인터페이스를 통해 모델을 미세 조정할 수 있도록 하며, GPT-4o, Llama 시리즈 등 적합한 모델을 선택하고 매개변수를 구성하여 미세 조정할 수 있습니다.
데이터셋 구축: Kiln AI는 사용자가 데이터셋을 구축하고 반복적으로 개선할 수 있도록 지원합니다. 사용자는 자신의 데이터 소스를 입력할 수 있으며, 도구는 데이터의 품질과 다양성을 향상시켜 훈련 효과를 최적화하도록 돕습니다.
합성 데이터 생성: 이 도구는 모델 훈련을 지원하기 위해 합성 데이터를 자동으로 생성할 수 있으며, 데이터 주석 비용을 줄여주므로 특히 데이터가 부족한 경우에 유용합니다.
팀 협업: Git 기반의 AI 데이터셋 버전 관리. 직관적인 사용자 인터페이스를 통해 QA, PM 및 주제 전문가들과 구조화된 데이터에 대해 쉽게 협업할 수 있습니다.
프롬프트 생성: 데이터로부터 자동으로 프롬프트를 생성하며, 사고의 사슬(few-shot Chain-of-Thought), 소수의 예(few-shot) 및 다수의 예 등 다양한 방식을 포함합니다.
광범위한 모델 및 제공자 지원: Ollama, OpenAI, OpenRouter, Fireworks, Groq, AWS 등을 지원합니다.
지원되는 모델 및 제공자
OpenAI 호환 API를 모두 지원하며, Ollama, OpenAI, OpenRouter, Fireworks, Groq 및 AWS를 포함합니다.
광범위한 모델 라이브러리: 지원되는 모델에는 GPT, Llama, Claude, Gemini, Mistral, Gemma 및 Phi가 있습니다.
Kiln AI를 사용하여 데이터셋을 구축하고 모델을 최적화하는 방법?
1. Kiln AI 다운로드 및 설치:
Kiln AI의 GitHub 페이지를 방문하여 사용 중인 운영 체제에 맞는 설치 패키지를 다운로드합니다.
설치 마법사의 안내에 따라 설치 과정을 완료합니다.
2. Kiln AI 애플리케이션 실행:
설치가 완료되면 Kiln AI 애플리케이션을 실행합니다. 직관적인 사용자 인터페이스가 나타납니다.
3. 새 작업 생성:
Kiln AI의 UI에서 "새 작업 만들기" 버튼을 클릭합니다. 그러면 작업 정의 및 목표 설정 단계로 안내됩니다.
작업의 이름, 설명 및 필요한 특정 입력 및 출력 요구 사항을 입력합니다.
4. 훈련 데이터 생성:
Kiln AI에서 제공하는 대화형 시각화 도구를 사용하여 훈련 데이터를 생성합니다. 주제 트리, 다중 예제 프롬프트 및 사고의 사슬 등의 기술을 통해 고품질의 합성 데이터를 생성할 수 있습니다.
데이터를 생성할 때 데이터의 다양성과 정확성을 확보해야 합니다.
5. 모델 선택 및 미세 조정:
Kiln AI에서 Llama, GPT-4o, Mixtral 등 다양한 사전 훈련된 모델 중 선택하여 미세 조정할 수 있습니다.
훈련 데이터셋과 검증 데이터셋의 분할 등 미세 조정 매개변수를 구성하고 미세 조정 작업을 시작합니다.
6. 모델 배포 및 사용:
미세 조정이 완료되면 Kiln AI가 자동으로 모델을 배포합니다. UI에서 바로 미세 조정된 모델을 테스트하고 호출할 수 있습니다.
필요한 경우 API를 통해 모델을 다른 시스템이나 애플리케이션에 통합할 수도 있습니다.
7. 팀 협업 및 버전 관리:
Kiln AI는 Git 기반의 버전 관리를 지원하여 팀 구성원들이 데이터셋과 모델을 협업하여 처리할 수 있도록 합니다.
Kiln AI의 인터페이스 또는 명령줄 도구를 사용하여 버전 관리 및 협업을 진행할 수 있습니다.
GitHub 저장소 주소: https://github.com/Kiln-AI/Kiln
