SuperGPQA: un benchmark de razonamiento sobre conocimientos de ByteDance Doubao 183

¿Qué es SuperGPQA?

SuperGPQA es un nuevo banco de pruebas integral lanzado conjuntamente por el equipo de modelos grandes Doubao de ByteDance y la comunidad de código abierto M-A-P. Su objetivo principal es evaluar de forma exhaustiva el nivel de conocimiento y la capacidad de razonamiento de los modelos de lenguaje grandes en 285 disciplinas de posgrado.

Este banco de pruebas cuenta con un potente mecanismo de filtrado mediante colaboración humano-máquina, que combina las respuestas de los modelos de lenguaje grandes con los comentarios de expertos para refinar continuamente las preguntas, eliminando aquellas con poco valor o cuya formulación resulta ambigua. Su cobertura es extraordinariamente amplia, abarcando desde disciplinas comunes como matemáticas, física y ciencias de la computación, hasta campos más minoritarios como industria ligera, agricultura o ciencias del servicio.

Características de SuperGPQA:

• Amplia cobertura disciplinar: SuperGPQA cubre 285 disciplinas de posgrado, incluyendo áreas principales como matemáticas, física y ciencias de la computación, así como disciplinas de cola larga como industria ligera, agricultura y ciencias del servicio. Esto permite a SuperGPQA evaluar de forma exhaustiva la capacidad de razonamiento de los modelos de lenguaje grandes (LLMs) en diversos campos del conocimiento.

• Mecanismo de filtrado mediante colaboración humano-máquina: al combinar las respuestas de los LLM con los comentarios de los expertos, SuperGPQA emplea un refinamiento iterativo para eliminar preguntas triviales o ambiguas, garantizando así una buena calidad y profundidad en las preguntas.

• Conjunto de datos de alta calidad: el conjunto de datos se construye mediante tres pasos: selección por parte de expertos, transcripción normalizada y verificación de calidad en múltiples niveles. Las preguntas tienen en promedio 9,67 opciones, y el 42,33 % de ellas requieren cálculos matemáticos o razonamiento formal.

• Evaluación integral del rendimiento de los modelos: permite comparar en detalle el rendimiento de distintos modelos y admite múltiples modos de evaluación, como zero-shot y few-shot.

• Cantidad y dificultad de las preguntas: contiene 26.529 preguntas especializadas, con una media de 9,67 opciones por pregunta; el 42,33 % de las preguntas requieren cálculos matemáticos o razonamiento formal, lo que permite evaluar eficazmente el desempeño de los modelos en tareas de alta dificultad.

Aplicaciones de SuperGPQA:

• Evaluación de modelos de ia: permite examinar la capacidad de razonamiento de los modelos de lenguaje grandes en distintos campos del conocimiento, identificando sus fortalezas y debilidades.

• Investigación académica: proporciona a los investigadores un marco de pruebas estandarizado que les ayuda a desarrollar modelos de inteligencia artificial más avanzados.

• Ámbito educativo: puede utilizarse para desarrollar herramientas educativas inteligentes, como sistemas automatizados de evaluación de conocimientos.

• Aplicaciones industriales: en sectores como la medicina, el derecho o las finanzas, permite evaluar la capacidad de razonamiento especializado de los modelos de inteligencia artificial, elevando así el nivel de inteligencia de estas industrias.

Artículo:https://arxiv.org/pdf/2502.14739

HuggingFace:https://huggingface.co/datasets/m-a-p/SuperGPQA

Repositorio de GitHub:https://github.com/SuperGPQA/SuperGPQA