PromptBench: una biblioteca unificada para evaluar y comprender modelos grandes 105

PromptBench es una biblioteca unificada para evaluar LLM. Está compuesta por varios componentes clave que son fáciles de usar y ampliar por parte de los investigadores: construcción de prompts, ingeniería de prompts, carga de conjuntos de datos y modelos, ataques adversarios de prompts, protocolos de evaluación dinámica y herramientas de análisis. PromptBench está diseñado como un repositorio de código abierto, general y flexible, con fines de investigación, que puede facilitar la investigación original en la creación de nuevos benchmarks, el despliegue de aplicaciones downstream y el diseño de nuevos protocolos de evaluación..

Dirección del proyecto PromptBench:https://github.com/microsoft/promptbench

¿Qué ofrece actualmente promptbench?

Evaluación rápida del rendimiento del modelo: Ofrecemos una interfaz amigable que permite construir rápidamente modelos, cargar conjuntos de datos y evaluar el rendimiento del modelo.

Ingeniería de prompts: Hemos implementado varios métodos de ingeniería de prompts. Por ejemplo: Few-shot Chain-of-Thought [1], Emotion Prompt [2], Expert Prompting [3], etc.

Evaluación de prompts adversarios: promptbench integra ataques de prompts [4], permitiendo a los investigadores simular ataques adversarios de prompts de caja negra sobre los modelos y evaluar su robustez (consulte aquí para más detalles).

Evaluación dinámica para mitigar la posible contaminación de datos de prueba: Hemos integrado el marco de evaluación dinámica DyVal [5], que genera muestras de evaluación sobre la marcha con una complejidad controlable.

Instalación de PromptBench mediante pip

Ofrecemos un paquete Python llamado promptbench para los usuarios que deseen comenzar a evaluar rápidamente. Simplemente ejecute:

pip install promptbench

Tenga en cuenta que la instalación mediante pip puede estar atrasada respecto a las actualizaciones más recientes. Por lo tanto, si desea utilizar las funciones más recientes o desarrollar sobre nuestro código, debería instalar a través de GitHub.

Instalación a través de GitHub

Primero, clone el repositorio:

git clone [email protected]:microsoft/promptbench.git

Luego

cd promptbench

Para instalar los paquetes necesarios, puede crear un entorno de conda:

conda create --name promptbench python=3.9

Luego instale los paquetes necesarios usando pip:

pip install -r requirements.txt

Tenga en cuenta que esto solo instala los paquetes básicos de Python. Para los ataques de prompts, también necesitará instalar TextAttack.

Uso de PromptBench:

Promptbench es fácil de usar y de ampliar. Los siguientes ejemplos le ayudarán a familiarizarse con promptbench para usarlo rápidamente, evaluar conjuntos de datos y LLM existentes, o crear sus propios conjuntos de datos y modelos.