PromptBench：大モデルの評価と理解のための統一ライブラリ 112

PromptBenchは、LLMを評価するための統合ライブラリです。プロンプト構築、プロンプトエンジニアリング、データセットとモデルのロード、敵対的プロンプト攻撃、動的評価プロトコル、および分析ツールという、研究者が容易に使用・拡張できるいくつかの主要コンポーネントで構成されています。PromptBenchは、オープンで汎用性があり柔軟なコードベースとして設計されており、新しいベンチマークの作成、下流アプリケーションの展開、および新しい評価プロトコルの設計における独創的な研究を促進します。

PromptBenchプロジェクトアドレス：https://github.com/microsoft/promptbench

promptbenchは現在何を提供していますか？

迅速なモデル性能評価：ユーザーフレンドリーなインターフェースを提供し、モデルの迅速な構築、データセットのロード、およびモデル性能の評価を可能にします。

プロンプトエンジニアリング：いくつかの迅速なエンジニアリング手法を実装しています。例えば、Few-shot Chain-of-Thought [1]、Emotion Prompt [2]、Expert Prompting [3] などです。

敵対的プロンプトの評価：promptbenchはプロンプト攻撃 [4] を統合しており、研究者がモデルに対するブラックボックスの敵対的プロンプト攻撃をシミュレートし、そのロバスト性を評価することを可能にします（詳細は こちら を参照）。

潜在的なテストデータ汚染を軽減する動的評価：動的評価フレームワーク DyVal [5] を統合しており、制御可能な複雑さで評価サンプルをその場で生成します。

PromptBenchインストール方法 pip

迅速に評価を開始したいユーザー向けに、Pythonパッケージ promptbench を提供しています。以下を実行するだけです：

pip install promptbench

pip インストールは最新の更新より遅れる可能性があることに注意してください。したがって、最新の機能を使用したい場合や、コードに基づいて開発したい場合は、GitHub 経由でインストールする必要があります。

GitHub 経由でインストール

まず、リポジトリをクローンします：

git clone [email protected]:microsoft/promptbench.git

次に

cd promptbench

必要なパッケージをインストールするには、conda 環境を作成できます：

conda create --name promptbench python=3.9

次に pip を使用して必要なパッケージをインストールします：

pip install -r requirements.txt

これは基本的な python パッケージのみをインストールすることに注意してください。プロンプト攻撃については、TextAttack もインストールする必要があります。

PromptBench使用方法：

Promptbenchは使いやすく、拡張も容易です。以下の例は、promptbench に慣れ親しみ、迅速な使用、既存データセットと LLM の評価、または独自のデータセットとモデルの作成に役立ちます。