模型榜单经常被简化成“谁是第一”。但当评测题目、工具环境和权重发生变化时，排名变化既可能来自模型能力，也可能来自尺子的变化。2026 年 10 月 27 日，Artificial Analysis 发布 Intelligence Index v5，对原有指数进行较大调整，加入新的编程和科学任务，并增加私有题或保留答案的比例。

对准备把大模型接入产品的团队而言，值得研究的不是只截一张排行榜，而是搞清楚测试了什么、结果怎样产生，以及这些任务和自己的业务有多接近。本文根据评测机构的公开方法说明整理，排行会随模型更新与重新测试变化。

一、v5 到底改变了什么？

Artificial Analysis 的方法说明称，v5 包含两项新增基准、三项升级，同时保留若干已有评估。指数的 60% 基于私有测试集或保留答案；另推出 Progress Index，尝试在连续尺度上观察模型能力变化。

新增的 FrontierCode 2.0 使用真实开源仓库中的编程任务，关注提交的改动是否达到维护者可合并的要求；Terminal-Bench-Science 则考察模型在终端中完成科研工作流。旧基准中的 HLE 被 HLE-Diamond 取代，其他评估也进行了数据清理或难度调整。

这意味着 v4 和 v5 的分数并非同一把尺子的两次测量。不能仅凭某模型从旧榜 60 分变成新榜 50 分，就断言其实际能力退步；评估内容、题目难度、权重和工具环境都可能变化。

二、九项评估与四大类权重

机构将指数分为四类，每类权重 25%：知识工作、编程、科学和通用能力。知识工作包含 AA-Briefcase、AutomationBench-AA 和 GDP.pdf；编程包含 FrontierCode 2.0 与 Terminal-Bench 4.0；科学包含 Terminal-Bench-Science 和 CritPt v2 的困难子集；通用能力包含 AA-Omniscience 与 HLE-Diamond。

这些权重表达的是评测机构对“综合能力”的选择，而不是客观存在的唯一标准。开发者如果只做医疗文献检索或中文客服，就应该关注与任务相符的子项，还需要补充领域、语言和安全测试。一个综合分数很高的模型，未必是成本、速度或隐私条件下最适合某个产品的模型。

三、为什么私有题越来越重要？

公开题有透明、便于复现和交流的优点，但也可能进入训练数据、提示词或针对性优化流程。如果模型已经见过答案，分数不一定代表遇到新问题时的真实能力。私有题或保留答案可以降低部分污染风险。

但私有题也带来新的问题：外部研究者不一定能直接检查题目是否存在错误、分布是否覆盖业务场景、评分是否公平。理想的做法是公开方法、样本构成和统计不确定性，允许独立审查，并把多个评估渠道放在一起看。私有并不自动等于公平或绝对防污染。

四、智能体评测为什么比答题难？

普通问答通常比较最终答案；智能体可能调用终端、读取文件、执行代码、修改仓库或使用浏览器。结果是否成功，除了模型能力，还受到工具定义、系统提示、权限、时间限制、上下文、重试次数和评分脚本影响。

以修复软件缺陷为例，合理测试应检查需求是否理解正确、改动是否通过测试、是否破坏其他功能、是否遵守安全边界，以及结果能否被维护者接受。只统计“测试通过”，可能遗漏偷偷修改测试、忽略异常或改变无关文件的行为。

评测机构表示 FrontierCode 2.0 的任务运行多次，且失败关键检查会影响结果。读者仍应注意实际问题类型、语言、依赖和工具环境与自己项目的差别。榜单某项成功率不代表模型在任何仓库中都能以相同比例成功。

五、读榜时经常忽略的五个变量

第一，模型版本和推理强度：同名模型的不同配置可能消耗不同时间和 token。第二，工具环境：是否能搜索、执行代码或读取文件，会改变任务难度。第三，样本规模：题目较少时，几个样本就可能改变名次。第四，测评时间：新模型加入后榜首可能很快变化。第五，评分规则：部分任务按全部检查通过计分，另一些按连续分数计分，两者不能直接等同。

例如 Google 于 10 月 28 日发布 Carbon 后，Artificial Analysis 更新分析称该模型在当时的 v5 指数中得 59 分并位居第一。这是指定时间、模型配置和评测方法下的结果；机构同时指出它并非所有子项都领先。

六、怎样为自己的业务做一套轻量评测？

先收集真实任务并脱敏，明确是否需要中文、代码、图像或专业知识。将任务分为常见、边界和高风险类别；为每道题定义参考答案或验收标准，必要时由业务专家复核。把开发集和最终测试集分开，避免持续按测试集调参。

模型输出应同时检查正确性、可追溯性、拒答行为、格式、延迟、成本与失败率。工具型智能体还要记录每一步调用、是否越权、是否重复执行以及出现中断后能否恢复。对于生成代码，使用隔离环境和受控测试数据，避免评测意外影响真实系统。

比较两个候选模型时，固定提示、工具、输入样本、预算和输出限制；每次改动只改变必要变量。对于存在随机性的任务，重复执行并报告成功次数，而不是只展示一次最好结果。记录人工评分的一致性，以及样本不足导致的不确定性。

七、一个示例：企业知识库问答

团队可以准备政策查询、跨文档比较、信息不存在、资料过期和用户权限不足五类题目。对于每道题，要求模型给出可核对的来源；无依据时应说明不确定，而不是编造。再测响应时间、需要人工修订的比例和每个合格回答的综合成本。

若模型 A 得分高但经常引用错误文档，模型 B 分数略低却能够稳定拒答，选择可能取决于业务风险。对医疗、法律和财务任务尤其需要专业人员参与验收，不能把公开榜单分数当成部署许可。

八、榜单怎样才有长期参考价值？

保留版本历史、发布时间、模型配置与评测环境；明确是开发者提供结果还是第三方独立测量；发布错误更正和复测规则；对敏感任务说明是否启用防护；结合成本、延迟和可用性展示。用户则应把榜单当成缩小候选范围的起点，再用自己的测试集做决定。

九、一次评测项目如何制定验收标准？

假设团队需要一个代码助手，测试样本应覆盖修复缺陷、增加功能、阅读陌生模块与处理异常输入。每项任务都应固定仓库版本、依赖、运行环境和允许使用的工具。模型提交后，由独立测试检查功能、现有行为和权限边界，再由维护人员抽查可读性与维护成本。不要让模型看到保留测试的答案，也不要根据最终测试集反复改提示词。可用开发集调整方案，再用未参与调参的测试集估计效果。对于随机性明显的任务，记录多次运行结果，并说明每次的时间与费用上限。

十、成本与延迟怎样进入选型？

模型 A 在综合榜单领先，并不必然是单位成功任务最便宜的选择。一个简单的观察口径是：在相同任务集合上，计算所有调用费用、工具费用和人工复核费用，再除以通过验收的任务数。若某模型频繁重试或输出过长，它的最终成本可能高于初看时的单价。延迟也要看分布：平均值可能掩盖少量非常慢的任务。可记录中位数、高分位数、超时比例及失败后的处理方式。对实时交互、批量离线分析和代码审查，不同指标的重要程度不同。

十一、公开榜单与自建评测怎样配合？

公开榜单用于了解候选模型、发现能力差异和阅读方法；业务测试用于验证专业术语、内部数据、授权流程与风险要求。两者相互补充。结果不一致时先检查版本、提示词、工具、评分与样本构成，而不是直接断言其中一个必然错误。

十二、分数之外：结果可靠性与样本量

一个模型在 10 道题中完成 8 道，与在 1,000 道题中完成 800 道，比例同为 80%，但统计不确定性并不相同。样本越少，个别任务和随机波动对结果的影响通常越大。重复运行有助于观察稳定性，但重复次数、选择规则和是否允许重试都必须报告。对人工评分的任务，还应写清评分标准，并检查不同评分者是否一致。涉及主观判断时，比较多位评估者的结果比只依赖一人更有价值；意见不一致的案例应保留解释，而不是悄悄删除。

十三、如何处理模型会“认输”的情况？

业务系统有时更需要模型承认资料不足，而不是总给出一个看似完整的答案。测试集应包括无法从给定材料得出结论的题目，并区分合理拒答、过度拒答和自信编造。对于有来源要求的任务，还要检查引用是否真的支持结论，而不是只检查链接存在。从指标设计上，准确率、幻觉率、拒答率和人工复核成本可以并列呈现。它们之间存在权衡：一味提高拒答可能损失可用性，一味追求回答率又可能增加错误。选择阈值需要结合具体业务的风险。

十四、为智能体评测补上一张权限表

除了题目和分数，测试报告还应列出智能体可以读取哪些文件、能否访问互联网、是否可以执行程序、调用次数和费用上限。相同模型在只读环境和可修改环境下，成功率与风险不一定相同；比较时应尽量统一或清楚说明差异。工具返回也可能包含错误或诱导性文本。评测可以在隔离环境中加入一份虚构文档，检查模型能否坚持既定任务、是否请求超出范围的工具，以及拒绝后能否向用户解释。真正需要证明的是系统层面的权限检查是否有效，不能仅依赖模型声称会遵守指令。

十五、定期更新评测而不是追逐单次排名

当模型、提示模板、工具或知识库发生变化时，应记录版本并运行固定回归集；定期加入新案例，避免系统只针对旧题优化。对于使用公开数据的题目，要检查答案是否已出现在训练或提示材料中。对结果变化较大的项目，保留原始输出供专家审查。

参考资料

Artificial Analysis：Intelligence Index v5 方法说明Artificial Analysis：Gemini 4 Carbon 评测Artificial Analysis：当前评测页面

纸上得来终觉浅，绝知此事要躬行。——陆游