Benchmarks

SWE-bench (+Verified/Pro)

测试 AI agent 能不能解决真实的 GitHub issue——写出一个能通过仓库隐藏测试套件的补丁。

最初由普林斯顿和斯坦福推出；Verified 版本由 OpenAI 参与整理，Pro 版本由 Scale AI 运营。

⚠️ 独立审计发现，有些解法其实在 issue 讨论串里已经被提前透露，测试也太弱；而且 SWE-bench Pro 目前流传着好几个互相矛盾的“官方”分数，取决于用的是哪个 scaffold、哪个数据切分。

Terminal-Bench

检验 agent 能不能解决终端里真实的多步骤任务——每一条命令的输出都会改变下一步该做什么。

Stanford 与 Laude 合作（与 Anthropic 关系密切），是开源框架“Harbor”的一部分。

Aider Polyglot

测试模型能不能在没有帮助的情况下正确遵循指令、编辑代码——覆盖多种编程语言的练习题。

由 Aider 的作者 Paul Gauthier 个人运营——不是某个实验室或联盟。

⚠️ 排行榜不会每出一个新模型就更新——榜首可能挂着过时的模型好几个月，只是因为更新的模型还没被测试过。

LiveCodeBench

测试代码生成、自我纠错、预测测试输出以及代码执行——用持续更新的编程竞赛题，防止旧题目泄漏进训练数据。

由 UC Berkeley、MIT 和 Cornell 的研究者共同开发（负责人 Naman Jain）。

LMArena Code Arena / WebDev Arena

衡量的是人类偏好，不是正确性：真实用户盲选投票，看两个模型的输出（代码或网页应用）哪个更好。

Arena.ai（即 LMArena / LMSYS 项目）。

⚠️ 一项针对厂商提交内容的大规模分析显示：如果只挑最好的那个版本提交，能明显把自己的分数刷高。

HumanEval

在人工编写的 Python 题目上测试功能正确性——真的用单元测试去跑生成出来的代码。

由 OpenAI 的研究者创建（Chen、Tworek、Jun 等人）。

⚠️ 已经饱和：几乎所有顶尖模型都挤在榜首，分数很接近，这个 benchmark 已经很难再区分它们了。现在它只能当个最低限度的检查，不适合用来给顶尖模型排名。

Artificial Analysis Coding Agent Index

一个综合分数，衡量编程 agent 端到端的表现——把好几个基础 benchmark，再加上成本、token 和时间效率，合并成一个指数。

由 Artificial Analysis 运营，一家独立的基准测试机构。

⚠️ 把模型和 agent harness 绑在一起评估——同一个模型换个 scaffold，表现可能差很多。

ARC-AGI-2

通过视觉网格变换谜题来测试抽象、灵活的推理能力，同时也看模型解题的效率（花了多大成本）。严格来说不算编程类 benchmark。

由非营利组织 ARC Prize Inc. 运营（为了防止数据污染，测试数据保持私有或半私有状态）。

MMLU / MMLU-Pro

用来自很多学科领域的选择题，测试通用知识和逻辑推理能力。不是编程类 benchmark。

最初由 Hendrycks 及其同事创建（与 UC Berkeley 关系密切的研究者）。

⚠️ 已经饱和：顶尖模型的分数挤在一起，难以区分。MMLU-Pro 就是为了解决这个问题而做的，但据说也已经开始出现饱和迹象。

METR "Time Horizon"

衡量的是在固定可靠度门槛下，agent 能独立支撑多长时间的任务（以人类专家的工作时长计算）——这是一条随时间变化的趋势线，不是单一分数。

由 METR 运营，一家专注于 AI 评估的独立非营利机构。

⚠️ METR 自己也提醒，对于非常长的任务，用现有的任务集合测出来的结果并不可靠——应该把它当作一条趋势线来看，而不是一个精确的界限。