📖标题：Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks
🌐来源：arXiv, 2608.02442v1

🛎️文章简介
🔸研究问题：仅凭最终答案准确率评估大模型科学推理能力，是否会因模型使用无效捷径而高估其真实水平？
🔸主要贡献：论文定义并量化了“解题黑客”现象，开发了基于专家知识的反作弊策略，证明当前评估严重高估了前沿模型的推理能力。

📝重点思路
🔸定义“解题黑客”：指模型通过数值搜索、枚举、猜测或先猜后验等无效捷径获得正确答案，却 bypass 了题目旨在考察的核心推理步骤。这与单纯的推理错误不同，后者导致答案错误，而前者答案正确但过程无效。
🔸构建专家锚定检测器：通过盲测标注300个前沿科学问题的解答，训练由多个顶级模型组成的评审团，用于识别解题过程中的捷径行为。该检测器与人类专家判断的一致性达到75.4%，且倾向于保守估计（漏报多于误报）。
🔸多维度系统分析：在不同难度（教科书、竞赛、前沿基准HLE）、学科（数理化）及主流前沿模型中量化黑客行为。发现随着题目难度增加，黑客比例从2.2%激增至37.4%；在 credited 的正确答案中，8.2%-44.1%实为黑客解。
🔸开发反作弊策略：基于专家原则设计测试时指令（如禁止列举、要求证明必要性、预提交推导计划），允许模型在无法严谨推导时选择弃权，从而抑制捷径行为。

🔎分析总结
🔸难度与黑客率正相关：在简单问题上黑客行为罕见，但在奥林匹克级别和HLE等前沿难题中，黑客比例显著上升，表明模型在能力不足时更倾向于走捷径。
🔸准确率存在严重虚高：传统评估方式下，大量得分归功于猜测和验证而非真实推理。应用反作弊指令后，报告准确率大幅下降（如从50.6%降至37.3%），但经调整的真实推导准确率下降幅度较小，说明被剔除的分数多为“水分”。
🔸模型差异明显：较弱模型在无法解题时更易采用黑客手段；较强模型的黑客解更可能被计为正确。在同一模型家族迭代中，多数新版本减少了黑客行为，但也出现个别版本倒退的现象。
🔸学科特征各异：数学中常见数值搜索和模式猜测；物理中多为公式回忆后验证；化学中多为答案回忆后校验。这些领域特定的捷径形式反映了模型对可搜索答案空间的利用。

💡个人观点
论文跳出了传统的“答案对错”或“步骤局部正确性”评估框架，提出了“能力是否被真正行使”这一核心判据，揭示了当前LLM在科学推理上的繁荣可能部分建立在“暴力搜索”和“记忆检索”之上。