SuperGPQA: Ein Wissens-Reasoning-Benchmark von ByteDance Doubao 180

Was ist SuperGPQA

SuperGPQA ist ein neuartiger umfassender Benchmark-Test, der gemeinsam vom Doubao-Großmodell-Team von ByteDance und der M-A-P-Open-Source-Community veröffentlicht wurde. Er dient in erster Linie dazu, das Wissensniveau und die Schlussfolgerungsfähigkeiten großer Sprachmodelle in 285 postgradualen Fachgebieten umfassend zu bewerten.

Dieser Benchmark-Test verfügt über einen leistungsstarken Mechanismus zur Mensch-Maschine-Kollaboration bei der Filterung, das heißt, er kombiniert die Antworten großer Sprachmodelle mit dem Feedback von Experten, verfeinert die Fragen kontinuierlich und entfernt Inhalte mit geringem Wert oder unklarer Formulierung. Sein Abdeckungsbereich ist besonders breit und reicht von gängigen Fächern wie Mathematik, Physik und Informatik bis hin zu eher unbekannten Fächern wie Leichtindustrie, Landwirtschaft und Dienstleistungswissenschaft.

Merkmale von SuperGPQA:

• Breite Fächerabdeckung: SuperGPQA deckt 285 postgraduale Fachgebiete ab, darunter Hauptfächer wie Mathematik, Physik und Informatik sowie Long-Tail-Fächer wie Leichtindustrie, Landwirtschaft und Dienstleistungswissenschaft. Dadurch kann SuperGPQA die Schlussfolgerungsfähigkeiten großer Sprachmodelle (LLMs) in vielfältigen Wissensbereichen umfassend bewerten.

• Mensch-Maschine-Kollaborations-Filtermechanismus: Durch die Kombination von LLM-Antworten und Experten-Feedback verfeinert SuperGPQA iterativ, eliminiert triviale oder mehrdeutige Fragen und stellt sicher, dass die Fragen von guter Qualität und Tiefe sind.

• Sammlung qualitativ hochwertiger Datensätze: Der Datensatz wird in drei Schritten aufgebaut: Expertenauswahl, normalisierte Transkription und mehrstufige Qualitätsprüfung. Die Aufgaben haben im Durchschnitt 9,67 Antwortoptionen, und 42,33 % der Aufgaben erfordern mathematische Berechnungen oder formales Schließen.

• Umfassende Modellleistungsbewertung: Ermöglicht einen detaillierten Vergleich der Leistung verschiedener Modelle und unterstützt mehrere Bewertungsarten wie Zero-Shot und Few-Shot.

• Anzahl und Schwierigkeit der Fragen: Es umfasst 26.529 fachliche Fragen mit durchschnittlich 9,67 Antwortoptionen pro Frage, und 42,33 % der Fragen erfordern mathematische Berechnungen oder formales Schließen, wodurch die Leistung der Modelle bei schwierigen Aufgaben gut überprüft werden kann.

Anwendungen von SuperGPQA:

• Bewertung von KI-Modellen: Überprüfung der Schlussfolgerungsfähigkeiten großer Sprachmodelle in verschiedenen Wissensbereichen, um Stärken und Schwächen der Modelle zu identifizieren.

• Wissenschaftliche Forschung: Bereitstellung eines standardisierten Test-Frameworks für Forscher, um leistungsfähigere Modelle der künstlichen Intelligenz zu entwickeln.

• Bildungsbereich: Kann zur Entwicklung intelligenter Bildungs-Tools wie automatischer Wissensbewertungssysteme verwendet werden.

• Branchenanwendungen: In Branchen wie Medizin, Recht und Finanzen wird die fachliche Schlussfolgerungsfähigkeit von KI-Modellen bewertet, um das Intelligenzniveau dieser Branchen zu verbessern.

Paper:https://arxiv.org/pdf/2502.14739

HuggingFace:https://huggingface.co/datasets/m-a-p/SuperGPQA

GitHub-Repository:https://github.com/SuperGPQA/SuperGPQA