为什么不同榜单的第一名不一样?
测试任务、样本、提示词、工具环境和评分方式不同。应选择接近自己工作场景的子榜,再用真实任务做对比。
先看榜单测什么,再看谁领先。综合能力、人类偏好与编程任务的评测口径不同,这里不把它们拼成一个“全网总排名”。
| 评测机构 / 项目 | 主要衡量内容 | 阅读时需要核对 |
|---|---|---|
| Artificial Analysis ↗ | 标准化能力评测、成本与速度 | 记录指数版本、模型的完整名称与推理档位;不同版本的分数不直接横比。 |
| Arena ↗ | 用户偏好对比,按任务分榜 | 区分文本、搜索、编程等子榜,并查看投票量、置信区间与预览标记。 |
| SWE-bench ↗ | 真实软件问题解决能力 | 核对测试集版本、Agent 框架与工具配置,不把 Agent 结果全归因于模型。 |
| ARC Prize ↗ | 抽象推理与新任务适应 | 区分基准版本和评测条件;解题成绩不等于业务系统的综合表现。 |
可先查阅上方原始榜单。中文解读将在核对来源、评测日期与模型版本后发布;本页不提供未经核验的实时名次。
测试任务、样本、提示词、工具环境和评分方式不同。应选择接近自己工作场景的子榜,再用真实任务做对比。
模型版本、推理档位、上下文和 Agent 框架都可能影响结果。记录完整版本、档位与日期,不能只保留一个家族名。