Benchmarks

SWE-bench (+Verified/Pro)

Prueba si un agente de IA resuelve problemas reales de GitHub escribiendo un parche que pasa la suite de tests ocultos del repositorio.

Originalmente de Princeton y Stanford; la variante Verified se curó con OpenAI, y la variante Pro la gestiona Scale AI.

⚠️ Auditorías independientes encontraron soluciones que ya se filtraban en el propio hilo del issue, y tests demasiado débiles; y para SWE-bench Pro circulan varios valores "oficiales" contradictorios, según qué scaffold y qué división de datos se use.

Terminal-Bench

Comprueba si un agente resuelve tareas reales de varios pasos en la terminal, donde cada salida de comando cambia la siguiente decisión.

Stanford x Laude (cercano a Anthropic), parte del framework abierto "Harbor".

Aider Polyglot

Prueba si un modelo sigue instrucciones y edita código correctamente sin ayuda, a través de ejercicios de programación en varios lenguajes.

Lo gestiona Paul Gauthier, el creador de Aider, no un laboratorio ni un consorcio.

⚠️ El leaderboard no se actualiza con cada modelo nuevo: puede mostrar modelos desactualizados en lo más alto durante meses, simplemente porque los más recientes todavía no se han probado.

LiveCodeBench

Prueba la generación de código, la autocorrección, la predicción del resultado de tests y la ejecución de código, con problemas de programación competitiva que se renuevan continuamente para que los antiguos no se filtren al entrenamiento.

Investigadores de UC Berkeley, MIT y Cornell (dirigido por Naman Jain).

LMArena Code Arena / WebDev Arena

Mide la preferencia humana, no la corrección: usuarios reales votan a ciegas cuál de dos respuestas de modelos (código o web-app) les gusta más.

Arena.ai (el proyecto LMArena / LMSYS).

⚠️ Un gran análisis de los envíos de los proveedores mostró que, si solo se envía deliberadamente la mejor variante, se puede inflar notablemente la puntuación propia.

HumanEval

Prueba la corrección funcional en problemas de Python escritos a mano, ejecutando de verdad el código generado contra tests unitarios.

Creado por investigadores de OpenAI (Chen, Tworek, Jun y otros).

⚠️ Saturado: casi todos los modelos punteros quedan muy juntos en lo más alto, el benchmark apenas los distingue ya. Solo sirve como comprobación mínima, no para clasificar modelos de vanguardia.

Artificial Analysis Coding Agent Index

Una puntuación compuesta para el rendimiento de extremo a extremo de agentes de programación: combina varios benchmarks base más la eficiencia de coste, tokens y tiempo en un solo índice.

Lo gestiona Artificial Analysis, un proveedor independiente de benchmarking.

⚠️ Evalúa el modelo y el harness del agente juntos, como un par: el mismo modelo puede rendir de forma muy distinta según el scaffold.

ARC-AGI-2

Prueba el razonamiento abstracto y flexible mediante rompecabezas visuales de transformación de cuadrículas, además de con cuánta eficiencia (a qué coste) los resuelve un modelo. No es un benchmark de programación en sentido estricto.

Lo gestiona ARC Prize Inc., una organización sin ánimo de lucro (mantiene los datos de test privados o semiprivados para evitar la contaminación).

MMLU / MMLU-Pro

Prueba conocimientos generales y razonamiento lógico con preguntas de opción múltiple de muchas disciplinas académicas. No es un benchmark de programación.

Creado originalmente por Hendrycks y colegas (investigadores cercanos a UC Berkeley).

⚠️ Saturado: los modelos punteros quedan demasiado juntos como para distinguirlos. MMLU-Pro se creó para solucionar esto, pero ya se considera que también empieza a saturarse.

METR "Time Horizon"

Mide cuánto tiempo (en horas de trabajo de un experto humano) puede sostener un agente una tarea de forma autónoma, con un umbral de fiabilidad fijo; como una línea de tendencia a lo largo del tiempo, no como una puntuación única.

Lo gestiona METR, una organización sin ánimo de lucro independiente dedicada a la evaluación de IA.

⚠️ El propio METR advierte de que las mediciones para tareas muy largas se vuelven poco fiables con la colección de tareas actual: hay que leerlo como una línea de tendencia, no como un límite exacto.