简简单单 Online zuozuo ：本心、输入输出、结果

为什么传统QA在生成式AI技术支持中失败

---

编辑 | 简简单单 Online zuozuo
地址 | https://blog.csdn.net/qq_15071263

---

如果觉得本文对你有帮助，欢迎关注、点赞、收藏、评论，谢谢

前言

随着生成式AI（GenAI）技术在技术支持领域的广泛应用，传统的质量保证（QA）方法正面临着前所未有的挑战。传统的监控和测试方法无法有效应对GenAI支持代理的复杂性，因为它们需要处理无限变化的自然语言输入、多样化的资源配置、复杂的推理路径以及动态的代理行为。本文深入探讨了为什么传统QA方法在GenAI技术支持场景中失败，并介绍了一种创新的双层评估框架，该框架结合了实时LLM评估和离线人工专家基准比较，能够持续、多维度地评估AI支持系统的质量，从而实现更负责任和更有效的AI支持系统部署。

#生成式AI #技术支持 #质量保证 #AI评估 #LLM #技术支持自动化 #AI监控 #技术架构

1、为什么传统监控在GenAI支持代理中失败

传统的质量保证和监控方法在GenAI技术支持代理场景中面临根本性挑战，主要原因包括：

无限输入多样性：支持代理必须处理无法预先脚本化的不可预测的自然语言查询。客户可能以无数种不同的方式描述相同的技术问题，每种描述都可能有细微的语义差异。

资源配置多样性：每个客户环境都包含独特的资源和设置组合。一个账户中的EC2实例可能与另一个账户中的实例配置完全不同，这使得标准化测试变得几乎不可能。

复杂推理路径：与遵循可预测执行流程的基于API的系统不同，GenAI代理基于客户上下文、资源状态和故障排除逻辑做出动态决策。这种非线性的推理过程使得传统的基于流程的测试方法失效。

动态代理行为：这些模型持续学习和适应，使得静态测试在代理行为演变时很快变得过时。传统的回归测试无法跟上这种持续的变化。

反馈滞后问题：传统监控严重依赖客户报告的问题，在识别和解决质量问题方面造成不可接受的延迟。等到问题被发现时，可能已经影响了大量客户体验。

2、一个具体示例

为了更好地理解这些挑战，让我们考虑一个典型的技术支持场景：客户报告他们的应用程序无法访问某个云资源。

在这个场景中，GenAI支持代理需要完成以下复杂任务：

• 正确解释客户描述：代理必须正确解释客户的描述，这些描述可能在技术上不够精确。客户可能使用非技术性的语言来描述问题，代理需要理解其背后的技术含义。

• 识别和验证相关资源：代理需要识别并验证客户特定环境中的相关资源。这要求代理能够理解客户的云基础设施配置，并准确识别问题可能涉及的具体资源。

• 选择适当的API：代理必须选择适当的API来调查权限和网络配置。这需要代理具备深入的云服务知识，能够根据问题类型选择最合适的诊断工具。

• 应用技术知识进行推理：代理需要应用技术知识，基于这些独特条件推理潜在原因。这涉及复杂的逻辑推理，需要综合考虑多个因素，如权限设置、网络配置、资源状态等。

• 生成定制化解决方案：最后，代理必须生成针对该特定环境的解决方案。解决方案不能是通用的，必须考虑到客户环境的独特配置和约束条件。

这个示例清楚地展示了为什么传统的基于脚本的测试方法无法有效评估GenAI代理的性能。

3、双层解决方案

为了应对这些挑战，我们提出了一种创新的双层评估框架，该框架结合了实时评估和离线比较两种方法：

实时组件：使用基于LLM的"评审团评估"来持续评估代理推理的质量，随着推理过程的发生进行实时评估。这种方法能够在问题发生时就立即识别质量问题，而不需要等待客户反馈。

离线组件：在案例完成后，将代理建议的解决方案与人工专家解决方案进行比较。这种离线比较能够提供更深入的质量洞察，揭示实时评估可能遗漏的细微差异。

这种双层方法确保了既能在问题发生时立即检测到问题，又能通过事后分析获得更全面的质量评估。

4、实时评估如何工作

实时评估系统通过捕获和分析代理推理过程中的关键步骤来评估质量。评估过程包括以下关键环节：

客户话语：系统首先捕获客户的原始问题描述，这是整个推理过程的起点。系统需要理解客户的自然语言输入，识别其中的技术问题。

分类决策：系统评估代理是否正确识别了问题的技术领域。例如，代理需要判断这是一个权限问题、网络问题还是配置问题。

资源检查结果：系统评估代理识别和验证相关资源的准确性。这包括检查代理是否找到了所有相关资源，以及对这些资源的理解是否正确。

推理步骤：系统评估代理的推理过程是否合理。这包括检查代理是否考虑了所有相关因素，推理逻辑是否连贯，以及是否遗漏了重要的考虑因素。

通过这种实时评估，系统能够在代理执行任务的过程中持续监控其质量，及时发现潜在问题。

5、离线比较：人工专家基准

离线比较组件通过将AI解决方案与人工专家解决方案进行对比，提供更深入的质量评估：

链接代理建议的解决方案：系统将代理建议的解决方案链接到支持管理系统中的最终案例解决方案。这确保了评估基于实际的问题解决结果，而不是理论上的最佳实践。

执行语义比较：系统在AI解决方案和人工专家解决方案之间执行语义比较。这种比较不仅仅是简单的文本匹配，而是理解解决方案的语义含义，识别功能上的相似性和差异性。

揭示细微差异：系统能够揭示解决方案质量中的细微差异，这些差异是二元指标会错过的。例如，两个解决方案可能在技术上都是正确的，但在效率、可维护性或用户体验方面存在差异。

这种离线比较方法提供了更全面的质量评估，帮助识别传统指标可能遗漏的质量问题。

6、技术实现细节

该评估框架的技术实现包括以下关键组件：

轻量级客户端库：嵌入在代理运行时中的轻量级客户端库捕获执行跟踪，而不会影响性能。这个库设计得非常高效，确保监控过程不会对代理的正常运行造成显著影响。

FIFO队列处理：这些跟踪流入FIFO队列，支持受控的处理速率和按代理类型进行消息分组。这种设计确保了系统能够处理高吞吐量的跟踪数据，同时保持处理的可控性。

计算单元处理：计算单元处理这些跟踪，应用下采样逻辑并编排LLM评审团评估。下采样逻辑确保系统能够高效处理大量数据，而不会因为数据量过大而影响评估的及时性。

流式存储和触发：结果存储具有流式功能，触发额外的处理以发布指标和趋势分析。这种设计使得系统能够实时提供质量指标，同时支持长期趋势分析。

7、针对不同推理组件的专门评估器

为了提供更精确的评估，系统为不同的推理组件配备了专门的评估器：

领域分类：LLM评审评估代理是否正确识别了客户问题的技术领域。这确保了代理能够正确理解问题的性质，这是后续推理的基础。

资源验证：我们测量代理识别相关资源的精确率和召回率。这确保了代理能够找到所有相关资源，而不会遗漏重要信息或包含无关资源。

工具选择：评估器评估代理在给定上下文中是否选择了适当的诊断API。这确保了代理使用的工具与问题类型和上下文相匹配。

最终解决方案：我们的GroundTruth比较器测量与人工专家解决方案的语义相似性。这提供了对解决方案质量的综合评估，不仅考虑技术正确性，还考虑解决方案的实用性和有效性。

8、可衡量的结果和业务影响

实施这种双层评估框架带来了显著的业务价值：

提高案例解决率：成功案例转移率提高了20%，同时保持了高客户满意度评分。这表明评估框架不仅提高了代理的性能，还改善了整体客户体验。

发现隐藏的质量问题：系统检测到了传统指标遗漏的以前不可见的质量问题，例如发现某些代理执行了不必要的凭证验证，这增加了延迟而没有改善结果。这种洞察帮助优化了代理的行为，提高了效率。

加速改进周期：由于对推理质量提供了详细的、组件级别的反馈，改进周期得以加速。开发团队能够快速识别和解决特定组件的问题，而不需要等待客户反馈。

建立部署信心：建立了对代理部署的更大信心，因为知道质量问题将在影响客户体验之前被快速检测和解决。这降低了部署风险，使组织能够更积极地采用AI支持系统。

结论和未来方向：随着AI推理代理在技术支持运营中变得越来越重要，复杂的评估框架变得至关重要。传统的监控方法根本无法应对GenAI支持代理的复杂性，这些代理需要处理无限变化的输入、多样化的环境配置和动态的推理路径。

我们的双层框架证明了持续、多维度的评估在大规模应用中是可行的，使得能够负责任地部署日益强大的AI支持系统。通过结合实时LLM评估和离线人工专家基准比较，我们能够提供全面的质量评估，这在传统方法中是不可能的。

展望未来，我们正在探索几个关键方向：开发更高效的评估方法以减少计算开销；将我们的方法扩展到多轮对话场景；开发自改进的评估系统，这些系统能够根据观察到的模式改进其评估标准。对于在复杂技术环境中实施GenAI代理的组织来说，建立全面的评估框架应该被视为与代理开发本身同等重要。只有通过持续、多维度的质量评估，我们才能确保AI支持系统能够可靠地为客户提供高质量的技术支持。

---

生如逆旅，一苇以航
欢迎关注、欢迎联系交流、欢迎沟通想法、欢迎交换意见、欢迎合作咨询

感谢亲的关注、点赞、收藏、评论，一键三连支持，谢谢