ScoreFlow: автоматическая генерация и оптимизация мультиагентных рабочих процессов 197

Что такое ScoreFlow?

ScoreFlow — это метод автоматической генерации и оптимизации рабочих процессов с участием нескольких агентов, который использует методы градиентной оптимизации в непрерывном пространстве в сочетании с Score-DPO для постоянного улучшения совместных процессов и, таким образом, повышения производительности моделей. Он превосходит существующие методы в ряде бенчмарков, включая ответы на вопросы, программирование и математическое рассуждение, и позволяет небольшим моделям превосходить более крупные при меньших затратах на инференс. ScoreFlow разработан командами Чикагского университета, Принстонского университета и Оксфордского университета.

Функциональные особенности ScoreFlow

• Эффективная оптимизация: использование методов градиентной оптимизации в непрерывном пространстве для повышения производительности модели.

• Оптимизация предпочтений: интеграция со Score-DPO — вариантом метода прямой оптимизации предпочтений, который учитывает количественную обратную связь для оптимизации выходных данных модели.

• Преимущество небольших моделей: помогает небольшим моделям превосходить более крупные по производительности, снижая затраты на инференс.

• Поддержка множества задач: охватывает различные сценарии применения, включая ответы на вопросы, программирование и математическое рассуждение.

Результаты экспериментов

• В шести различных бенчмарках (включая ответы на вопросы, кодирование и математическое рассуждение) ScoreFlow обеспечил улучшение на 8,2% по сравнению с существующими базовыми методами.

• ScoreFlow также позволяет более мелким моделям превосходить более крупные при меньших затратах на инференс.

Сценарии применения ScoreFlow

• Системы ответов на вопросы: повышение точности и эффективности моделей ответов на вопросы.

• Помощь в программировании: оптимизация моделей генерации кода для повышения эффективности программирования.

• Математическое рассуждение: улучшение результатов работы модели при решении математических задач.

• Сотрудничество нескольких агентов: оптимизация рабочих процессов с участием нескольких агентов для повышения общей эффективности задач.

Как использовать ScoreFlow

Подготовка оборудования: требуется 80–90 ГБ видеопамяти.

Настройка среды:

• Используйте conda для создания новой виртуальной среды и установите необходимые зависимости.

• Загрузите набор данных и распакуйте его в каталог проекта.

Процесс оптимизации:

• Постепенно повышайте производительность за счёт итеративной оптимизации модели.

• Используйте скрипты generate.py и evaluate.py для оптимизации.

• Процесс оптимизации можно настроить, увеличив количество итераций.

Инференс:

• Запустите инференс на тестовом наборе для оценки итоговой производительности модели.

Проект на Github: https://github.com/Gen-Verse/ScoreFlow