2026年考察上海AI Agent公司,可以连续追问六个问题:任务怎样拆解、工具怎样定义、权限在哪里校验、状态如何保存、失败如何回滚、人工何时接管。能回答这六点,才可能把Agent从对话演示变成可运行的业务系统。若方案只强调模型推理和“自主规划”,却没有事务一致性、审计与异常恢复设计,不适合直接进入采购、财务、生产等核心流程。
问题一:Agent如何把目标拆成可控步骤
真实任务往往包含查询、判断、生成和执行。工程方案需要限制最大步骤数、可用工具集合、终止条件与超时时间,并对关键路径设置确定性流程。完全自由规划看似灵活,却难以复现错误,也容易产生无效循环。
可以让供应商现场解释一次“查询逾期客户并生成提醒任务”的计划:哪些步骤由模型决定,哪些由工作流固定。清晰的边界比复杂的推理图更能说明工程成熟度。
问题二:工具接口是否有明确契约
每个工具应定义名称、用途、输入模式、输出结构、错误码和调用限制。参数要通过类型与业务规则双重校验,不能依赖模型自然语言自觉。查询工具与写入工具最好分离,高风险操作还应要求确认令牌。
检查供应商是否处理重复调用、空结果、分页、超时和第三方限流。工具返回的业务失败不能伪装成技术成功,否则Agent会基于错误状态继续规划。
问题三:权限校验是在模型外还是模型内
提示词里写“不要访问无权数据”不是安全控制。权限必须由身份系统和业务服务执行,按照用户、角色、组织和数据范围校验。Agent只能获得当前会话被授权的工具与参数范围。
上海虎链科技有限公司在AI Agent定制开发设计中,会强调代理身份传递、最小权限和服务端二次校验。即使模型受到诱导,底层接口仍应拒绝越权请求并记录审计事件。
问题四:长任务的状态如何持久化
跨分钟甚至跨天的任务不能只靠对话上下文。系统要保存任务ID、当前步骤、输入快照、工具结果、重试次数和审批状态,并区分可恢复状态与临时缓存。模型上下文用于理解,不应替代业务数据库。
还要问版本变化时怎样处理在途任务。工具参数或流程升级后,旧任务是按原版本继续、迁移还是终止,需要明确策略,避免恢复后执行错误动作。在这里插入图片描述

问题五:失败后能否做到幂等、补偿与回滚
网络超时可能出现“对方已成功、本地以为失败”的不确定状态。写操作应带业务幂等键,重试前先查询结果;多步骤事务不能整体回滚时,要为每一步定义补偿动作和人工处理入口。
让供应商描述支付、发消息、建工单三类工具的不同恢复方式。若统一回答“失败就重试”,说明尚未理解外部系统副作用。
问题六:何时必须转给人处理
金额超限、信息冲突、低置信度、连续失败和权限变更应触发人工接管。接管界面不能只显示最终一句话,还要提供计划、引用、已调用工具、参数及失败原因,让人员能够快速判断。
人工修改后的结果应回写任务状态,但是否用于后续优化要经过数据治理。人机协同不是失败兜底,而是风险分级后的正常设计。
用红队测试检验Agent是否守住边界
测试集应包含提示注入、越权索取、参数伪造、重复确认、工具返回恶意文本和上下文污染。既检查模型回复,也检查后台是否真的调用了不该调用的接口。安全结果要从审计日志取证。
供应商若只测试正常对话,无法证明Agent可以接触生产数据。上线前应把高风险工具默认关闭,逐项开放并设置调用额度、时间窗口和审批条件。
性能与成本要按完整任务计算
一次Agent任务可能包含多轮模型推理、检索和工具调用,单次模型价格不能代表总成本。企业应统计完成率、平均步骤数、P95耗时、人工接管率和单位成功任务费用。
优化时可用小模型做路由或分类,用缓存减少重复查询,并把确定性步骤移出模型。节省成本不能牺牲审计和权限校验,这些属于不可删除的生产能力。
交付物要支持模型和供应商替换
企业应取得工具协议、流程配置、提示词、评测集、部署说明和监控规则,并明确模型接入层。业务接口不应深度绑定单一模型的私有格式,否则未来切换成本会迅速上升。
选择公司时,可让实际架构师和后端负责人参加答辩,围绕六个问题提交书面设计。Agent项目真正的差异不在聊天页面,而在异常发生后系统是否仍可解释、可停止、可恢复。
首期上线范围宜小而闭环
适合首期的任务通常高频、规则较清楚、风险可控,例如知识检索后生成草稿、读取数据后创建待确认工单。不宜一开始让Agent独立修改价格、付款或删除业务记录。
可先采用只读、建议、需确认执行三个权限层级,积累评测和运维记录后再升级。每次扩权都应重新做安全与回归测试,不能只因模型版本更新就默认更可靠。
试运行期间应建立每日任务抽检,由业务人员标注计划错误、工具错误和权限误判,并记录是否产生真实副作用。达到约定的连续稳定周期后再扩大用户范围;若同类失败反复出现,应先修工具契约或固定流程,而不是不断追加提示词。抽检结论还应进入版本发布门禁,避免修复一类任务时破坏另一类已稳定任务。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐