PromptBench: 대규모 모델을 평가하고 이해하기 위한 통합 라이브러리 104

PromptBench는 LLM을 평가하기 위한 통합 라이브러리입니다. 연구자가 쉽게 사용하고 확장할 수 있는 몇 가지 핵심 구성 요소로 이루어져 있습니다: 프롬프트 구성, 프롬프트 엔지니어링, 데이터셋 및 모델 로딩, 적대적 프롬프트 공격, 동적 평가 프로토콜 및 분석 도구. PromptBench는 연구 목적으로 설계된 개방형, 범용적이며 유연한 코드베이스로, 새로운 벤치마크 생성, 다운스트림 애플리케이션 배포, 새로운 평가 프로토콜 설계에 있어서 독창적인 연구를 촉진할 수 있습니다..

PromptBench 프로젝트 주소:https://github.com/microsoft/promptbench

promptbench는 현재 무엇을 제공합니까?

빠른 모델 성능 평가: 사용자 친화적인 인터페이스를 제공하여 모델을 빠르게 구성하고, 데이터셋을 로드하며, 모델 성능을 평가할 수 있습니다.

프롬프트 엔지니어링: 여러 가지 프롬프트 엔지니어링 방법을 구현했습니다. 예: Few-shot Chain-of-Thought [1], Emotion Prompt [2], Expert Prompting [3] 등.

적대적 프롬프트 평가: promptbench는 프롬프트 공격 [4]을 통합하여 연구자가 모델에 대한 블랙박스 적대적 프롬프트 공격을 시뮬레이션하고 그 견고성을 평가할 수 있도록 합니다 (자세한 내용은 여기를 참조).

잠재적인 테스트 데이터 오염을 완화하기 위한 동적 평가: 즉시 생성되는 평가 샘플의 복잡성을 제어할 수 있는 동적 평가 프레임워크인 DyVal [5]을 통합했습니다.

PromptBench 설치 방법 pip

평가를 빠르게 시작하고자 하는 사용자를 위해 Python 패키지 promptbench를 제공합니다. 다음을 실행하기만 하면 됩니다:

pip install promptbench

pip 설치는 최근 업데이트보다 뒤처질 수 있습니다. 따라서 최신 기능을 사용하거나 우리 코드를 기반으로 개발하려면 GitHub를 통해 설치해야 합니다.

GitHub를 통한 설치

먼저 저장소를 복제합니다:

git clone [email protected]:microsoft/promptbench.git

그런 다음

cd promptbench

필요한 패키지를 설치하려면 conda 환경을 생성할 수 있습니다:

conda create --name promptbench python=3.9

그런 다음 pip을 사용하여 필요한 패키지를 설치합니다:

pip install -r requirements.txt

이것은 기본적인 python 패키지만 설치합니다. 프롬프트 공격의 경우 TextAttack도 설치해야 합니다.

PromptBench 사용법:

Promptbench는 사용과 확장이 쉽습니다. 다음 예제는 기존 데이터셋과 LLM을 빠르게 사용 및 평가하거나 자신만의 데이터셋과 모델을 만드는 데 도움이 될 것입니다.