Benchmarks

SWE-bench (+Verified/Pro)

Testet, ob ein KI-Agent echte GitHub-Probleme löst, indem er einen Patch schreibt, der die versteckten Tests des Repos besteht.

Ursprünglich Princeton & Stanford; die Verified-Variante wurde mit OpenAI kuratiert, die Pro-Variante betreibt Scale AI.

⚠️ Unabhängige Audits fanden Lösungen, die im Issue-Thread schon verraten waren, und zu schwache Tests – und für SWE-bench Pro kursieren mehrere widersprüchliche „offizielle“ Werte, je nachdem welches Scaffold und welcher Datensplit benutzt wurde.

Terminal-Bench

Prüft, ob ein Agent echte Mehrschritt-Aufgaben im Terminal löst, bei denen jede Befehlsausgabe die nächste Entscheidung verändert.

Stanford x Laude (Anthropic-nah), Teil des offenen „Harbor“-Frameworks.

Aider Polyglot

Testet, ob ein Modell Anweisungen befolgt und Code ohne Hilfe korrekt bearbeitet – über Programmierübungen in mehreren Sprachen hinweg.

Wird von Paul Gauthier betrieben, dem Aider-Ersteller – nicht von einem Labor oder Konsortium.

⚠️ Das Leaderboard wird nicht bei jedem neuen Modell aktualisiert – es kann monatelang veraltete Modelle oben zeigen, einfach weil neuere noch nicht getestet wurden.

LiveCodeBench

Testet Code-Generierung, Selbstkorrektur, Vorhersage von Test-Output und Code-Ausführung – mit laufend neuen Wettbewerbsaufgaben, damit alte Aufgaben nicht ins Training durchsickern können.

Forscher von UC Berkeley, MIT und Cornell (Leitung: Naman Jain).

LMArena Code Arena / WebDev Arena

Misst menschliche Präferenz statt Korrektheit: Echte Nutzer stimmen blind ab, welche von zwei Modell-Ausgaben (Code oder Web-App) ihnen besser gefällt.

Arena.ai (das LMArena- bzw. LMSYS-Projekt).

⚠️ Eine große Analyse von Anbieter-Einreichungen zeigte: Wer gezielt nur die beste Variante einreicht, kann den eigenen Score spürbar aufblähen.

HumanEval

Testet funktionale Korrektheit auf handgeschriebenen Python-Aufgaben, indem der generierte Code tatsächlich gegen Unit-Tests ausgeführt wird.

Erstellt von OpenAI-Forschern (Chen, Tworek, Jun u. a.).

⚠️ Gesättigt: Fast alle Spitzenmodelle liegen ganz oben dicht beieinander, der Benchmark unterscheidet sie kaum noch. Dient nur noch als Mindest-Check, nicht zum Ranking von Spitzenmodellen.

Artificial Analysis Coding Agent Index

Ein zusammengesetzter Score für End-to-End-Leistung von Coding-Agenten – kombiniert mehrere Basis-Benchmarks plus Kosten-, Token- und Zeit-Effizienz zu einem Index.

Betrieben von Artificial Analysis, einem unabhängigen Benchmarking-Anbieter.

⚠️ Bewertet Modell und Agent-Harness zusammen als Paar – dasselbe Modell kann je nach Scaffold sehr unterschiedlich abschneiden.

ARC-AGI-2

Testet abstraktes, flexibles Schlussfolgern anhand visueller Grid-Transformations-Rätsel, plus wie effizient (zu welchen Kosten) ein Modell sie löst. Kein Coding-Benchmark im engeren Sinn.

Betrieben von ARC Prize Inc., einer Non-Profit-Organisation (hält Testdaten privat bzw. halb-privat, um Kontamination zu verhindern).

MMLU / MMLU-Pro

Testet Allgemeinwissen und logisches Schlussfolgern mit Multiple-Choice-Fragen aus vielen akademischen Fachbereichen. Kein Coding-Benchmark.

Ursprünglich von Hendrycks und Kollegen (UC-Berkeley-nahe Forscher).

⚠️ Gesättigt: Spitzenmodelle liegen zu eng beieinander, um sie zu unterscheiden. MMLU-Pro wurde gebaut, um das zu beheben, gilt aber bereits als beginnend zu sättigen.

METR „Time Horizon“

Misst, wie lange eine Aufgabe (in menschlicher Experten-Arbeitszeit) ein Agent selbstständig durchhält, bei einer festen Zuverlässigkeits-Schwelle – als Trendlinie über die Zeit, nicht als einzelner Score.

Betrieben von METR, einer unabhängigen Non-Profit-Organisation für KI-Evaluierung.

⚠️ METR selbst warnt, dass Messungen für sehr lange Aufgaben mit der aktuellen Aufgaben-Sammlung unzuverlässig werden – als Trendlinie lesen, nicht als exakte Grenze.