PromptBench: единая библиотека для оценки и понимания больших моделей 108

PromptBench — это унифицированная библиотека для оценки LLM. Она состоит из нескольких ключевых компонентов, которые исследователи могут легко использовать и расширять: построение промптов, инженерия промптов, загрузка наборов данных и моделей, состязательные атаки на промпты, протоколы динамической оценки и инструменты анализаинструменты. PromptBench спроектирован как открытый, универсальный и гибкий репозиторий кода для исследовательских целей, который может способствовать проведению оригинальных исследований в области создания новых бенчмарков, развёртывания downstream-приложений и разработки новых протоколов оценки.

Адрес проекта PromptBench:https://github.com/microsoft/promptbench

Что в настоящее время предоставляет promptbench?

Быстрая оценка производительности моделей: мы предоставляем удобный интерфейс, позволяющий быстро создавать модели, загружать наборы данных и оценивать производительность моделей.

Инженерия промптов: мы реализовали несколько методов быстрой инженерии. Например: Few-shot Chain-of-Thought [1], Emotion Prompt [2], Expert Prompting [3] и другие.

Оценка состязательных промптов: promptbench интегрирует prompt attacks [4], позволяя исследователям моделировать атаки чёрного ящика на модели с помощью состязательных промптов и оценивать их устойчивость (подробности см. здесь).

Динамическая оценка для снижения потенциального загрязнения тестовых данных: мы интегрировали фреймворк динамической оценки DyVal [5], который генерирует оценочные образцы «на лету» с контролируемой сложностью.

Установка PromptBench через pip

Для пользователей, которые хотят быстро приступить к оценке, мы предоставляем Python-пакет promptbench. Просто выполните:

pip install promptbench

Обратите внимание, что установка через pip может отставать от последних обновлений. Поэтому, если вы хотите использовать самые свежие функции или разрабатывать на основе нашего кода, вам следует устанавливать через GitHub.

Установка через GitHub

Сначала клонируйте репозиторий:

git clone [email protected]:microsoft/promptbench.git

Затем

cd promptbench

Чтобы установить необходимые пакеты, можно создать окружение conda:

conda create --name promptbench python=3.9

Затем установите необходимые пакеты с помощью pip:

pip install -r requirements.txt

Обратите внимание, что это устанавливает только базовые python-пакеты. Для prompt attacks вам также потребуется установить TextAttack.

Использование PromptBench:

Promptbench прост в использовании и расширении. Следующие примеры помогут вам освоить promptbench для быстрого использования, оценки существующих наборов данных и LLM или создания собственных наборов данных и моделей.