PromptBench : une bibliothèque unifiée pour évaluer et comprendre les grands modèles 111

PromptBench est une bibliothèque unifiée pour évaluer les LLM. Elle est composée de plusieurs composants clés faciles à utiliser et à étendre par les chercheurs : construction de prompts, ingénierie de prompts, chargement de jeux de données et de modèles, attaques adversariales par prompts, protocoles d'évaluation dynamique et outils d'analyse. PromptBench est conçu comme une base de code ouverte, générique et flexible, destinée à la recherche, qui peut faciliter la recherche originale dans la création de nouveaux benchmarks, le déploiement d'applications en aval et la conception de nouveaux protocoles d'évaluation..

Adresse du projet PromptBench :https://github.com/microsoft/promptbench

Que propose actuellement promptbench ?

Évaluation rapide des performances des modèles : nous fournissons une interface conviviale qui permet de construire rapidement des modèles, de charger des jeux de données et d'évaluer les performances des modèles.

Ingénierie de prompts : nous avons implémenté plusieurs méthodes d'ingénierie de prompts. Par exemple : Few-shot Chain-of-Thought [1], Emotion Prompt [2], Expert Prompting [3], etc.

Évaluation des prompts adversariaux : promptbench intègre des attaques par prompts [4], permettant aux chercheurs de simuler des attaques adversariales par prompts en boîte noire sur les modèles et d'évaluer leur robustesse (voir détails ici).

Évaluation dynamique pour atténuer la contamination potentielle des données de test : nous avons intégré le cadre d'évaluation dynamique DyVal [5], qui génère à la volée des échantillons d'évaluation avec une complexité contrôlable.

Installation de PromptBench via pip

Nous fournissons un package Python promptbench pour les utilisateurs qui souhaitent démarrer rapidement leurs évaluations. Il suffit d'exécuter :

pip install promptbench

Veuillez noter que l'installation via pip peut être en retard sur les mises à jour récentes. Par conséquent, si vous souhaitez utiliser les fonctionnalités les plus récentes ou développer à partir de notre code, vous devriez l'installer via GitHub.

Installation via GitHub

Tout d'abord, clonez le dépôt :

git clone [email protected]:microsoft/promptbench.git

Ensuite

cd promptbench

Pour installer les paquets requis, vous pouvez créer un environnement conda :

conda create --name promptbench python=3.9

Puis installez les paquets nécessaires avec pip :

pip install -r requirements.txt

Veuillez noter que cela n'installe que les paquets Python de base. Pour les attaques par prompts, vous devrez également installer TextAttack.

Utilisation de PromptBench :

Promptbench est facile à utiliser et à étendre. Les exemples suivants vous aideront à vous familiariser avec promptbench afin de l'utiliser rapidement, d'évaluer des jeux de données et des LLM existants, ou de créer vos propres jeux de données et modèles.