前沿 LLM 在主流知识基准上的得分已经普遍超过 90%。但面对真实世界的复杂任务，它们离独立、可靠地完成工作仍有明显差距。

原因不难理解。工程设计不是回答一道知识题，它考验的是综合能力：工程师要从复杂来源里还原项目要求，检查各类约束，最后交出可供审核的成果。

而现有的工程基准，大多集中在教材问答、单项工具操作或小型设计题，很难衡量模型能否完成一个真实的项目。

为此，谷歌提出了 PLE（Physical-Engineering’s Last Exam，「物理工程的最后一场考试」），用专业工程交付物来评估 Agent 的长程工作能力。论文链接见原文，这里不重复贴地址。

结果不太乐观：最强的 model-harness 组合 Claude Opus 5.5 加 Claude Code，平均得分只有 50.6%，且每个任务平均消耗 2700 万个 Token、耗时 63 分钟。当前 Agent 与自主物理工程设计之间的差距，依然很大。

一、任务怎么设：85 项任务，5170 个文件

PLE 涵盖 85 项电气、土木、结构和机械工程任务。

关键在于 Agent 面对的不是整理好的单段提示，而是一整个项目文件系统。任务环境共含 5170 个文件，平均每项 61 个，最多 207 个，格式包括 PDF、电子表格、邮件和 CAD/BIM 模型。

资料里还混着旧版图纸和无关文件这类干扰项。Agent 必须自己辨别有效版本、找到适用要求、交叉核对信息，最终生成可评分的工程成果。

任务本身是工程师的日常：按载流量与电压降限制确定低压馈线规格；在热负荷与水力条件的约束内选择冷却设备，并优化 25 年生命周期成本。

图源：原文配图 · PLE 论文标题页

图源：原文配图 · PLE 覆盖四大工程学科的代表性任务

二、怎么建出来的：两种路径

PLE 通过两种方式构建。

一种是工程师从头编写。 44 项任务由在职工程师完成：他们撰写项目工作请求、准备资料环境，再用加权评分项检查交付物。评分既看工程数字和判断，也看文档是否满足要求。每项任务平均有 21.4 个评分项。内容涉及计划审查回复、设备报审、容量判断、基础核查和成本核算这些日常工作。

另一种是工程师与 Agent 协作。 共 41 项。工程师先提供问题简报，Task Creator Agent 据此构建任务、项目文件、参考交付物和程序化评分器；独立的 Task Solver Agent 在看不到答案和评分规则的情况下试做三次。如果它轻易解出，Creator 会检查操作过程，调整约束或补充资料。最后由工程师验证任务和参考答案，视情况增加难度。

这条流程解决的是工程基准设计里的一个老难题：任务既要真实，也要够难，同时还必须能客观评分。

图源：原文配图 · Creator–Solver 任务构建流程

协作构建的任务不只看交付物是否满足规范、物理是否可行、接口是否对得上，还要看方案质量。以最低成本设计为例，评分器先以硬约束作门槛，再评估成本优化，不安全或不可行的方案不能靠低成本过关。

权重上，团队把约束通过率与目标函数得分分别设为 40% 和 60%。目标分还会与朴素但合规的基线比较，所以仅仅交出一个可行方案，拿不到设计优化的全部分数。

三、测了什么：14 个模型、7 种 Harness

团队评测了 14 个模型和 7 种 Agent Harness。

Agent 在隔离环境中只能看到任务说明和项目资料，无法访问评分器或参考答案；超时或未交出可评分文件都会影响得分。每种配置在每项任务上运行三次，报告平均分。

配置	平均得分	成本
Claude Opus 5.5 + Claude Code	50.6%	约 2700 万 Token，63 分钟
Claude Opus 5.5 + OpenHands	49.9%	约 14.82 美元
GPT 6 Astra + Codex	48.3%	约 9.15 美元

Claude Opus 5.5 搭配 Claude Code 是唯一过半的组合。还有一个现象要注意：模型和 Harness 都会影响表现，而成本并不总是与得分同步上升。

图源：原文配图 · 各模型与 Harness 在 85 项任务上的平均得分

四、最高分掩盖了什么

50.6% 这个数字背后，藏着不少失败项。

Claude Opus 5.5 加 Claude Code 的中位任务得分只有 43.5%，85 项任务里有 48 项低于 50%。

分学科看，差异更大：机械工程平均 40.5%，结构工程 46.6%，土木工程相对高，为 69.9%。

在协作构建的任务上，表现最好的配置平均通过了 91% 的约束，但只有 41.3% 的交付项满足全部硬约束并拿到目标函数分数。也就是说，Agent 经常能满足大部分要求，却仍会在关键边界上失手。

工程设计的难点从来不是多算几遍或者写更长的说明，而是把规范、设备接口、物理可行性和成本目标同时落实到一份交付物里。

图源：原文配图 · 模型与 Harness 的得分与成本分布

五、还有一个问题：波动很大

单项任务的结果存在明显波动。同一任务、同一 Harness 的三次运行，得分范围平均相差 15.4 个百分点；595 个任务与 Harness 组合中，有 105 个组合的三次分数跨度达到 30 个百分点。

所以团队提醒：评测必须重复运行，并且要同时报告模型和 Harness。只报一次结果，容易被偶然性误导。

另外，Rubric 判分由 Claude Opus 5.5 担任，与最强求解模型同源。团队换用其他模型重判了该模型的全部 1159 次判分运行，发现存在约 2.3 分的自偏好，但各配置的排名不变。

六、边界与还没解决的问题

团队计划公开其中 29 项任务，其余用于竞赛和隐藏评测。因此基准结果不能代表所有工程领域或项目场景。

核心难点其实很明确：在满足全部安全与可行性要求之后，还要继续优化设计成本。既要不出错，又要省钱，这两件事同时做对，才是工程师的价值所在。

七、这项基准真正想说明什么

PLE 把 AI Agent 的评估从「答对问题」推进到「干好工程」：它必须读懂项目资料、遵守约束，并提交能被检查的交付物。

当前最强的系统平均得分刚过一半，这说明 Agent 要真正走向工程实践，这类长程、强约束的任务还有相当大的提升空间。

换个角度看，这个结果也给出了一个更实用的参照：当一个模型在知识测试里拿 90 分，不代表它能替一位工程师干活。真正的分水岭在能否处理完整项目、能否守住硬约束、能否在约束内做优化。