Lire les benchmarks sans se faire avoir

Pourquoi c'est important

Tu lis souvent : « Le modèle X est maintenant numéro 1 sur SWE-bench. » Ça sonne comme une affirmation claire. Ça ne l'est presque jamais. Les benchmarks ont des faiblesses qu'on explique rarement en même temps que le chiffre. Une fois que tu les connais, tu lis les scores et les classements avec le bon recul.

Les pièges les plus fréquents

Contamination. Beaucoup de tâches de benchmark finissent tôt ou tard dans les données d'entraînement des modèles — via Common Crawl, GitHub, Reddit. Un modèle peut alors « résoudre » une tâche parce qu'il a déjà vu la solution, pas parce qu'il la comprend vraiment.

Saturation. Des benchmarks plus anciens comme HumanEval ou MMLU sont devenus si faciles que presque tous les modèles de pointe se retrouvent tout en haut, très proches les uns des autres. Le test continue de tourner, mais il ne différencie plus grand-chose. Ça ne se voit pas au premier coup d'œil, parce qu'un chiffre continue quand même à s'afficher.

Triche et tâches qui fuitent. Certaines tâches de benchmark révèlent presque la solution dans leur propre énoncé, ou les tests automatiques sont trop faibles pour repérer une mauvaise réponse. Un modèle peut ainsi « réussir » sans vraiment résoudre la tâche.

Tri sélectif de la part des fournisseurs. Les entreprises ne publient souvent que leur meilleur résultat — la meilleure variante de prompt, la meilleure configuration. Elles ne montrent pas les essais plus faibles. Ça fausse les classements en faveur du marketing.

Plusieurs scores « officiels » pour un même benchmark. Selon l'outil utilisé autour (le « scaffold ») ou le sous-ensemble de données testé, un même benchmark donne des résultats différents. Et tous se disent « officiels ».

L'écart avec la pratique réelle. Un benchmark teste une tâche propre et bien délimitée. Ton problème réel est généralement plus désordonné. Les équipes qui construisent leurs propres tests spécialisés (droit, médecine, finance) obtiennent souvent des résultats nettement plus faibles que ce que promettaient les benchmarks publics.

Classements dépassés. Tous les leaderboards ne sont pas remis à jour à chaque nouveau modèle. Une « première place » peut dater de plusieurs mois et signifier simplement que personne n'a encore retesté le modèle le plus récent.

Des règles simples à retenir

• Ne fais jamais confiance à un seul chiffre. Regarde au moins deux sources indépendantes.
• Vérifie qui a fait le test, et quand. Un chiffre venant du fournisseur lui-même compte moins qu'un chiffre venant d'une source indépendante.
• Préfère les sources indépendantes et récentes aux slides marketing.
• Un petit test fait toi-même sur ta vraie tâche vaut mieux que n'importe quel score. Essaie le modèle sur ton problème avant de te fier à un chiffre de benchmark.