Leer benchmarks sin caer en la trampa

Por qué esto importa

Lees a menudo: "El modelo X ya es el número 1 en SWE-bench". Suena a una afirmación clara. Casi nunca lo es. Los benchmarks tienen puntos débiles que rara vez se explican junto con la cifra. Si los conoces, lees números y rankings con la distancia adecuada.

Las trampas más comunes

Contaminación. Muchas tareas de benchmark acaban tarde o temprano en el material de entrenamiento de los modelos, vía Common Crawl, GitHub, Reddit. Un modelo puede entonces "resolver" una tarea porque ya ha visto la solución antes, no porque realmente la entienda.

Saturación. Benchmarks más antiguos como HumanEval o MMLU se han vuelto tan fáciles que casi todos los modelos punteros quedan arriba del todo, muy juntos entre sí. El test sigue corriendo, pero ya no distingue nada. Eso no se nota a primera vista, porque igualmente sigue apareciendo una cifra.

Trampas y tareas con fugas. Algunas tareas de benchmark casi delatan la solución en el propio enunciado, o los tests automáticos son demasiado débiles para detectar una solución incorrecta. Así, un modelo puede "aprobar" sin resolver realmente la tarea.

Selección interesada por parte de los proveedores. Las empresas suelen publicar solo su mejor resultado: la mejor variante de prompt, la mejor configuración. Los intentos más flojos no los muestran. Eso distorsiona los rankings a favor del marketing.

Varias cifras "oficiales" para el mismo benchmark. Según qué herramienta se use alrededor (el "scaffold") o qué parte del dataset se pruebe, salen resultados distintos para un mismo benchmark. Todos se llaman "oficiales".

Distancia con la práctica real. Un benchmark prueba una tarea limpia y delimitada. Tu problema real suele ser más desordenado. Los equipos que construyen sus propios tests especializados (derecho, medicina, finanzas) suelen ver resultados bastante más débiles de lo que prometían los benchmarks públicos.

Rankings desactualizados. No todos los leaderboards se actualizan con cada modelo nuevo. Un "puesto número 1" puede tener meses y simplemente significar que nadie ha vuelto a probar el modelo más reciente.

Reglas prácticas para recordar

• No te fíes nunca de una sola cifra. Mira al menos dos fuentes independientes.
• Comprueba quién hizo la prueba y cuándo. Un valor del propio fabricante cuenta menos que uno de una fuente independiente.
• Prefiere fuentes independientes y recientes antes que diapositivas de marketing.
• Una prueba corta propia con tu tarea real vale más que cualquier puntuación. Prueba el modelo con tu problema antes de fiarte de un valor de benchmark.