SuperGPQA: бенчмарк для оценки знаний и рассуждений от ByteDance Doubao 181

Что такое SuperGPQA

SuperGPQA — это новый комплексный бенчмарк, совместно выпущенный командой модели Doubao от ByteDance и сообществом M-A-P с открытым исходным кодом. Он в основном предназначен для всесторонней оценки уровня знаний и способностей к рассуждению больших языковых моделей в 285 аспирантских дисциплинах.

Этот бенчмарк использует мощный механизм фильтрации, основанный на сотрудничестве человека и машины, то есть объединяет ответы больших языковых моделей и обратную связь от экспертов, постоянно дорабатывая вопросы и удаляя те, которые не представляют ценности или сформулированы неоднозначно. Его охват чрезвычайно широк: от таких распространённых дисциплин, как математика, физика, информатика, до более редких, таких как лёгкая промышленность, сельское хозяйство и сервисная наука.

Особенности SuperGPQA:

• Широкий охват дисциплин: SuperGPQA охватывает 285 аспирантских дисциплин, включая такие основные направления, как математика, физика, информатика, а также редкие дисциплины, такие как лёгкая промышленность, сельское хозяйство и сервисная наука. Это позволяет SuperGPQA всесторонне оценивать способности больших языковых моделей (LLM) к рассуждению в разнообразных областях знаний.

• Механизм фильтрации на основе человеко-машинного сотрудничества: благодаря объединению ответов LLM и обратной связи экспертов, SuperGPQA использует итеративное уточнение, устраняя тривиальные или неоднозначные вопросы и обеспечивая высокое качество и глубину вопросов.

• Качественный набор данных: набор данных формируется в три этапа — экспертный отбор, нормализованная транскрипция и многоуровневая проверка качества. В среднем каждый вопрос содержит 9,67 вариантов ответа, а 42,33% вопросов требуют математических вычислений или формальных рассуждений.

• Всесторонняя оценка производительности моделей: позволяет детально сравнивать производительность различных моделей и поддерживает несколько методов оценки, включая zero-shot и few-shot.

• Количество и сложность вопросов: он содержит 26 529 профессиональных вопросов, в среднем с 9,67 вариантами ответа на каждый, при этом 42,33% вопросов требуют математических вычислений или формальных рассуждений, что позволяет эффективно проверять работу моделей в задачах высокой сложности.

Применение SuperGPQA:

• Оценка AI-моделей: позволяет оценить способности больших языковых моделей к рассуждению в различных областях знаний, выявляя их сильные и слабые стороны.

• Академические исследования: предоставляет исследователям стандартный тестовый фреймворк, помогая им разрабатывать более мощные модели искусственного интеллекта.

• Образовательная сфера: может использоваться для разработки интеллектуальных образовательных инструментов, таких как системы автоматизированной оценки знаний.

• Отраслевые приложения: в таких отраслях, как медицина, право, финансы и другие, позволяет оценивать способности моделей искусственного интеллекта к профессиональному рассуждению, повышая уровень интеллектуализации этих отраслей.

Статья:https://arxiv.org/pdf/2502.14739

HuggingFace:https://huggingface.co/datasets/m-a-p/SuperGPQA

Репозиторий на GitHub:https://github.com/SuperGPQA/SuperGPQA