PromptBench: eine einheitliche Bibliothek zur Bewertung und zum Verständnis großer Modelle 107

PromptBench ist eine einheitliche Bibliothek zur Bewertung von LLMs. Sie besteht aus mehreren Schlüsselkomponenten, die von Forschern einfach zu verwenden und zu erweitern sind: Prompt-Konstruktion, Prompt-Engineering, Datensatz- und Modellladen, adversariale Prompt-Angriffe, dynamische Bewertungsprotokolle und Analyse-Tools. PromptBench wurde als offene, universelle und flexible Codebibliothek für Forschungszwecke entwickelt und kann originelle Forschung bei der Erstellung neuer Benchmarks, dem Einsatz von Downstream-Anwendungen und der Entwicklung neuer Bewertungsprotokolle fördern..

PromptBench Projektadresse:https://github.com/microsoft/promptbench

Was bietet promptbench derzeit?

Schnelle Modellleistungsbewertung: Wir bieten eine benutzerfreundliche Oberfläche, die es ermöglicht, Modelle schnell aufzubauen, Datensätze zu laden und die Modellleistung zu bewerten.

Prompt-Engineering: Wir haben mehrere Prompt-Engineering-Methoden implementiert. Beispiele: Few-shot Chain-of-Thought [1], Emotion Prompt [2], Expert Prompting [3] usw.

Bewertung adversariale Prompts: promptbench integriert Prompt-Angriffe [4], die es Forschern ermöglichen, Black-Box adversariale Prompt-Angriffe auf Modellen zu simulieren und deren Robustheit zu bewerten (weitere Informationen finden Sie hier).

Dynamische Bewertung zur Reduzierung potenzieller Testdatenkontamination: Wir haben das dynamische Bewertungs-Framework DyVal [5] integriert, das mit steuerbarer Komplexität sofort Bewertungsbeispiele generiert.

PromptBench Installationsmethode pip

Für Benutzern, die schnell mit der Bewertung beginnen möchten, bieten wir ein Python-Paket promptbench an. Führen Sie einfach Folgendes aus:

pip install promptbench

Bitte beachten Sie, dass die pip-Installation hinter den neuesten Updates zurückbleiben kann. Wenn Sie die neuesten Funktionen nutzen oder auf unserem Code aufbauend entwickeln möchten, sollten Sie die Installation über GitHub vornehmen.

Installation über GitHub

Klonen Sie zunächst das Repository:

git clone [email protected]:microsoft/promptbench.git

Dann

cd promptbench

Um die erforderlichen Pakete zu installieren, können Sie eine conda-Umgebung erstellen:

conda create --name promptbench python=3.9

Installieren Sie dann die erforderlichen Pakete mit pip:

pip install -r requirements.txt

Bitte beachten Sie, dass dies nur die grundlegenden Python-Pakete installiert. Für Prompt-Angriffe müssen Sie zusätzlich TextAttack installieren.

PromptBench Verwendung:

Promptbench ist einfach zu verwenden und zu erweitern. Die folgenden Beispiele helfen Ihnen, sich mit promptbench vertraut zu machen, um bestehende Datensätze und LLMs schnell zu nutzen und zu bewerten oder eigene Datensätze und Modelle zu erstellen.