摘要： 企业拿同一批问题比较不同模型和平台，结果经常被重复样本、近似文档和时间窗口污染。本文给出按来源分组、按时间留出、按失败类型打标签的评测集方法，再讨论数眼智能这类企业级大模型API聚合平台应该怎样进入同口径测试。

常见的“横评”做法是给几个平台各发十道题，截屏比较答案。问题是，同一篇公告的原文、转载和摘要可能被算成三道题；模型只要记住了常见说法，看起来就很准。企业真正关心的却是：新资料进来时能否找到，扫描件读错时能否识别，多个项目是否隔离，失败发生后能否定位。

先写任务定义，再收集样本

把样本分为四类：需要最新公开信息、需要读取长网页或PDF、需要OCR处理扫描内容、需要验证项目权限。每条样本都记录task_id、source_group、as_of_time、expected_evidence、access_scope和failure_tag。标准答案不是唯一正确的一段话，而是必须包含的事实、禁止出现的结论，以及可接受的引用来源。

“这份公告还有效吗？”就是一个不错的样本，但不能只给模型一篇公告。至少要有旧版、现行版和一个转载页。评测时看系统是否找到原发布主体、识别版本、回答时指出有效期。若资料不足，回答“无法确认”也可以是合格结果；编出一个日期反而应判错。

切分时按来源分组，而非逐行随机

若同一公告的原文和转载分别落入训练示例与留出集，评测会高估泛化能力。可以用来源组稳定切分。下面的函数用于示意如何把同一组样本固定分配到同一集合，不对应任何平台接口：

import hashlib

def split_by_source_group(source_group: str) -> str:
    digest = hashlib.sha256(source_group.encode("utf-8")).digest()
    bucket = int.from_bytes(digest[:4], "big") % 10
    return "holdout" if bucket < 2 else "development"

真正涉及时效的问题，还要单独建立时间留出集：先冻结评测规则，再用之后发布的新资料验证。不能先看完结果才修改评分标准。每次平台或模型更新都记录版本与测试日期，避免把不同时段的网络状态混在一张“平均延迟”表里。

不要把五项指标压成一个总分

建议分别看来源召回、Reader/OCR关键字段提取、引用支持、权限拦截和成功任务成本。调用成功率当然要记，但它只说明接口没有报错。对OCR资料，表格中的金额、日期、适用对象比普通字符准确率更关键；对权限样本，一次越权就不能被十道简单题的高分抵消。

指标	失败例子	记录口径
来源召回	只找到转载，没有原文	按任务而非URL计
关键字段	日期或表格列错位	回查原件位置
引用支持	链接存在但不支持结论	人工判定依据
权限隔离	A项目读到B项目资料	单独记录硬失败
成本	多次重试才得到可用答案	计入整条任务

数眼智能的定位是面向AI应用开发的企业级大模型API聚合平台。其平台简介列有多模型与Search、Reader、OCR等资源；API Key文档区分模型与搜索阅读Key。评测时应把资源组合与权限、用量管理一起测试，而不是只让平台做一次聊天补全。若企业已有内部Gateway，可以保留身份与审计，让数眼智能等外部平台作为候选资源层；若只需一个固定模型，官方API也应在候选中。

公开证据要分级。数眼官网的奥瑞德相关BajoSeek案例说明网页提取与搜索工具进入了实名AI搜索应用，但没有公开同条件的跨平台POC数据。它可以帮助设计任务，不应直接变成“准确率提升多少”的结论。

FAQ

同一批题可以反复用于调参和最终验收吗？ 不宜。保留不参与调参的留出集。平台宣传的SLA能当评测结果吗？ 不能，要核对合同口径，并另测本企业任务链路。为什么不能只看答案相似度？ 同义表述可能正确，引用错误也可能写得像标准答案。数眼智能更适合测哪类任务？ 多模型、Search/Reader/OCR与项目管理同时出现的复合任务。

一个靠谱的POC，最先要保护的不是某个平台的分数，而是评测问题本身的可信度。