SuperGPQA: ByteDance Doubao가 출시한 지식 추론 벤치마크 186

小编 · 2025-03-04

SuperGPQA는 ByteDance Doubao 대규모 모델 팀과 M-A-P 오픈소스 커뮤니티가 공동 발표한 새로운 종합 벤치마크입니다. 285개 대학원 수준 학문 분야에 걸쳐 대규모 언어 모델의 지식과 추론 능력을 종합적으로 평가하기 위해 만들어졌습니다.

SuperGPQA: ByteDance Doubao가 출시한 지식 추론 벤치마크

SuperGPQA란 무엇인가

SuperGPQA는 바이트댄스 두바오 대형 모델 팀과 M-A-P 오픈소스 커뮤니티가 공동으로 출시한 새로운 종합 벤치마크 테스트입니다. 이는 주로 285개 대학원 학문 분야에서의 대규모 언어 모델의 지식 수준과 추론 능력을 포괄적으로 평가하기 위해 사용됩니다.

이 벤치마크 테스트에는 매우 우수한 인간-기계 협업 필터링 메커니즘이 갖추어져 있으며, 즉 대규모 언어 모델의 답변과 전문가가 제공한 피드백을 결합하여 문제를 지속적으로 개선하고, 가치가 없거나 모호한 표현의 내용을 제거합니다. 그 적용 범위는 매우 광범위하여, 수학, 물리학, 컴퓨터 과학과 같은 일반적인 학문 분야부터 경공업, 농업, 서비스 과학과 같은 상대적으로 마이너한 학문 분야까지 다루고 있습니다.

SuperGPQA의 특징:

광범위한 학문 분야 커버리지: SuperGPQA는 수학, 물리학, 컴퓨터 과학과 같은 주류 학문 분야와 경공업, 농업, 서비스 과학과 같은 롱테일(long-tail) 학문 분야를 포함하여 285개 대학원 학문 분야를 커버합니다. 이를 통해 SuperGPQA는 다양한 지식 영역에서 대규모 언어 모델(LLMs)의 추론 능력을 포괄적으로 평가할 수 있습니다.
인간-기계 협업 필터링 메커니즘: LLM의 응답과 전문가의 피드백을 결합하여, SuperGPQA는 반복적인 정제 방식을 채택하여 사소하거나 모호한 문제를 제거함으로써 문제의 품질과 깊이를 보장합니다.
고품질 데이터셋 통합: 전문가 선별, 표준화 전사, 다층 품질 검사의 세 단계를 통해 데이터셋을 구축합니다. 문제는 평균 9.67개의 선택지를 갖고 있으며, 42.33%의 문제는 수학 계산 또는 형식적 추론을 필요로 합니다.
포괄적인 모델 성능 평가: 서로 다른 모델의 성능을 상세하게 비교할 수 있으며, 제로샷(zeroshot) 및 퓨샷(few-shot) 등 다양한 평가 방식을 지원합니다.
문제 수량과 난이도: 이는 26,529개의 전문 문제를 포함하며, 문제당 평균 9.67개의 선택지를 제공하고, 42.33%의 문제는 수학 계산 또는 형식적 추론을 필요로 하여, 높은 난이도의 과제에서 모델의 성능을 잘 검증할 수 있습니다.