SuperGPQA : un benchmark de raisonnement de connaissances par ByteDance Doubao 185

Qu'est-ce que SuperGPQA

SuperGPQA est un nouveau benchmark complet lancé conjointement par l'équipe du grand modèle Doubao de ByteDance et la communauté open source M - A - P. Il est principalement conçu pour évaluer de manière exhaustive le niveau de connaissances et les capacités de raisonnement des grands modèles de langage dans 285 disciplines de niveau研究生.

Ce benchmark dispose d'un puissant mécanisme de filtrage collaboratif homme-machine, qui combine les réponses des grands modèles de langage et les retours d'experts, affine les questions en continu et élimine les contenus sans grande valeur ou formulés de manière ambiguë. Sa couverture est particulièrement étendue : des disciplines courantes comme les mathématiques, la physique et l'informatique, jusqu'aux disciplines plus spécialisées comme l'industrie légère, l'agriculture et les sciences des services.

Caractéristiques de SuperGPQA :

• Couverture étendue des disciplines : SuperGPQA couvre 285 disciplines de niveau研究生, incluant des disciplines majeures comme les mathématiques, la physique et l'informatique, ainsi que des disciplines à longue traîne comme l'industrie légère, l'agriculture et les sciences des services. Cela permet à SuperGPQA d'évaluer de manière exhaustive les capacités de raisonnement des grands modèles de langage (LLMs) dans des domaines de connaissances variés.

• Mécanisme de filtrage collaboratif homme-machine : en combinant les réponses des LLM et les retours d'experts, SuperGPQA adopte une approche de raffinement itératif pour éliminer les questions triviales ou ambiguës, garantissant ainsi une bonne qualité et une profondeur des questions.

• Ensemble de données de haute qualité : la construction du jeu de données se fait en trois étapes : sélection par des experts, transcription normalisée et contrôle qualité à plusieurs niveaux. Les questions comportent en moyenne 9,67 options, et 42,33 % d'entre elles nécessitent des calculs mathématiques ou un raisonnement formel.

• Évaluation complète des performances des modèles : permet une comparaison détaillée des performances de différents modèles, et prend en charge plusieurs méthodes d'évaluation telles que le zero-shot et le few-shot.

• Quantité et difficulté des questions : il contient 26 529 questions spécialisées, avec en moyenne 9,67 options par question, et 42,33 % des questions nécessitent des calculs mathématiques ou un raisonnement formel, ce qui permet de bien évaluer les performances des modèles dans des tâches de haute difficulté.

Applications de SuperGPQA :

• Évaluation des modèles d'IA : examiner les capacités de raisonnement des grands modèles de langage dans différents domaines de connaissances, et identifier leurs forces et faiblesses.

• Recherche académique : fournir aux chercheurs un cadre de test standardisé pour les aider à développer des modèles d'intelligence artificielle plus performants.

• Domaine éducatif : peut être utilisé pour développer des outils éducatifs intelligents, tels que des systèmes d'évaluation automatisée des connaissances.

• Applications sectorielles : dans des secteurs comme la santé, le droit et la finance, évaluer les capacités de raisonnement en connaissances spécialisées des modèles d'intelligence artificielle, afin d'améliorer le niveau d'intelligence de ces secteurs.

Article :https://arxiv.org/pdf/2502.14739

HuggingFace :https://huggingface.co/datasets/m-a-p/SuperGPQA

Dépôt GitHub :https://github.com/SuperGPQA/SuperGPQA