Benchmarks

SWE-bench (+Verified/Pro)

Teste si un agent IA résout de vrais problèmes GitHub en écrivant un patch qui passe la suite de tests cachés du dépôt.

À l'origine de Princeton et Stanford ; la variante Verified a été constituée avec OpenAI, la variante Pro est gérée par Scale AI.

⚠️ Des audits indépendants ont trouvé des solutions déjà révélées dans le fil de l'issue, ainsi que des tests trop faibles — et pour SWE-bench Pro, plusieurs valeurs « officielles » contradictoires circulent, selon le scaffold et le découpage de données utilisés.

Terminal-Bench

Vérifie si un agent résout de vraies tâches multi-étapes dans un terminal, où chaque sortie de commande change la décision suivante.

Stanford x Laude (proche d'Anthropic), qui fait partie du framework ouvert « Harbor ».

Aider Polyglot

Teste si un modèle suit les instructions et modifie du code correctement, sans aide, à travers des exercices de programmation dans plusieurs langages.

Géré par Paul Gauthier, le créateur d'Aider — pas par un laboratoire ni un consortium.

⚠️ Le classement n'est pas mis à jour à chaque nouveau modèle — il peut afficher des modèles dépassés en tête pendant des mois, simplement parce que les plus récents n'ont pas encore été testés.

LiveCodeBench

Teste la génération de code, l'autocorrection, la prédiction de la sortie des tests et l'exécution de code, avec des problèmes de programmation compétitive renouvelés en continu pour que les anciens ne fuient pas dans les données d'entraînement.

Des chercheurs de UC Berkeley, du MIT et de Cornell (dirigé par Naman Jain).

LMArena Code Arena / WebDev Arena

Mesure la préférence humaine, pas la justesse : de vrais utilisateurs votent à l'aveugle pour dire laquelle de deux réponses de modèles (code ou web-app) ils préfèrent.

Arena.ai (le projet LMArena / LMSYS).

⚠️ Une analyse à grande échelle des soumissions des fournisseurs a montré que ne soumettre délibérément que la meilleure variante peut gonfler sensiblement son propre score.

HumanEval

Teste la justesse fonctionnelle sur des problèmes Python écrits à la main, en exécutant réellement le code généré face à des tests unitaires.

Créé par des chercheurs d'OpenAI (Chen, Tworek, Jun et d'autres).

⚠️ Saturé : presque tous les modèles de pointe se retrouvent tassés en haut du classement, le benchmark ne les différencie presque plus. Il ne sert plus que de vérification minimale, pas pour classer les modèles de pointe.

Artificial Analysis Coding Agent Index

Un score composite pour la performance de bout en bout des agents de code — combine plusieurs benchmarks de base ainsi que l'efficacité en coût, en tokens et en temps dans un seul indice.

Géré par Artificial Analysis, un fournisseur indépendant de benchmarking.

⚠️ Évalue le modèle et le harnais de l'agent ensemble, comme une paire : le même modèle peut donner des résultats très différents selon le scaffold.

ARC-AGI-2

Teste le raisonnement abstrait et flexible à travers des énigmes visuelles de transformation de grilles, ainsi que l'efficacité (à quel coût) avec laquelle un modèle les résout. Ce n'est pas un benchmark de code à proprement parler.

Géré par ARC Prize Inc., une organisation à but non lucratif (garde les données de test privées ou semi-privées pour éviter la contamination).

MMLU / MMLU-Pro

Teste les connaissances générales et le raisonnement logique avec des questions à choix multiples issues de nombreuses disciplines académiques. Pas un benchmark de code.

Créé à l'origine par Hendrycks et ses collègues (chercheurs proches de UC Berkeley).

⚠️ Saturé : les modèles de pointe sont trop proches les uns des autres pour être distingués. MMLU-Pro a été créé pour corriger ça, mais il commencerait déjà à saturer lui aussi.

METR "Time Horizon"

Mesure combien de temps (en temps de travail d'un expert humain) un agent tient de façon autonome sur une tâche, à un seuil de fiabilité fixe — comme une courbe de tendance dans le temps, pas comme un score unique.

Géré par METR, une organisation à but non lucratif indépendante dédiée à l'évaluation de l'IA.

⚠️ METR prévient elle-même que les mesures pour les tâches très longues deviennent peu fiables avec le jeu de tâches actuel — à lire comme une courbe de tendance, pas comme une limite exacte.