SuperGPQA：ByteDance Doubaoが発表した知識推論ベンチマーク 184

SuperGPQAとは

SuperGPQAはバイトダンスの豆包（ダバオ）大規模モデルチームとM - A - Pオープンソースコミュニティが共同で発表した新しい総合ベンチマークテストです。これは主に、大規模言語モデルの285の大学院レベルの学問分野における知識と推論能力を包括的に評価するために使用されます。

このベンチマークテストには、極めて優れた人機協働フィルタリングメカニズムが備わっています。つまり、大規模言語モデルの回答と専門家からのフィードバックを組み合わせることで、継続的に問題を磨き上げ、価値が薄いものや曖昧な表現の内容を取り除いていきます。その適用範囲は特に広く、数学、物理学、コンピュータサイエンスといった一般的な学問分野から、軽工業、農業、サービス科学などの比較的ニッチな学問分野にまで及んでいます。

SuperGPQAの特徴：

• 学問分野のカバレッジが広い：SuperGPQAは285の大学院レベルの学問分野をカバーしており、数学、物理学、コンピュータサイエンスなどの主要分野だけでなく、軽工業、農業、サービス科学などのロングテール分野も含んでいます。これにより、大規模言語モデル（LLMs）の多様な知識領域における推論能力を包括的に評価することが可能になります。

• 人機協働フィルタリングメカニズム：LLMの応答と専門家のフィードバックを組み合わせることで、SuperGPQAは反復的な精緻化を採用しており、些細な問題や曖昧な問題を除去し、問題の質が高く、深度があることを保証しています。

• 高品質データセットの収集：専門家の選別、規範化された文字起こし、多層的な品質検査という3つのステップを通じてデータセットを構築します。問題は平均して9.67個の選択肢があり、また42.33%の問題は数学的計算や形式的推論を必要とします。

• 包括的なモデル性能評価：異なるモデルの性能の詳細な比較が可能で、ゼロショットやフューショットなど、さまざまな評価方式にも対応しています。

• 問題数と難易度：26,529の専門的な問題が含まれており、各問題は平均9.67個の選択肢を提供し、42.33%の問題は数学的計算や形式的推論を必要とするため、難易度の高いタスクにおけるモデルのパフォーマンスを十分に検証できます。

SuperGPQAの応用：

• AIモデルの評価：異なる知識領域における大規模言語モデルの推論能力を確認し、モデルの長所と短所を見つけ出します。

• 学術研究：研究者に標準化されたテストフレームワークを提供し、より優れた人工知能モデルの開発を支援します。

• 教育分野：自動化された知識評価システムのようなスマート教育ツールの開発に使用できます。

• 業界での応用：医療、法律、金融などの業界において、人工知能モデルの専門知識に関する推論能力を評価し、これらの業界の智能化レベルの向上を図ります。

論文：https://arxiv.org/pdf/2502.14739

HuggingFace：https://huggingface.co/datasets/m-a-p/SuperGPQA

GitHubリポジトリ：https://github.com/SuperGPQA/SuperGPQA