简简单单 Online zuozuo ：本心、输入输出、结果

有效管理用于测试的AI智能体

---

编辑 | 简简单单 Online zuozuo
地址 | https://blog.csdn.net/qq_15071263

---

如果觉得本文对你有帮助，欢迎关注、点赞、收藏、评论，谢谢

前言

大语言模型和AI智能体已经改变了许多领域，并正在以根本性的方式改变我们的生活。在测试领域，AI智能体有着明确的路径，可以立即改进测试流程。本文将深入探讨如何在QA（质量保证）环境中有效管理AI智能体，包括配置、监控和迁移策略。

#AI智能体 #测试自动化 #QA管理 #AI测试 #智能体管理 #测试工具 #CI/CD #质量保证

1、在QA中管理AI智能体意味着什么？

管理AI智能体有几个重要方面，无论是从一般角度还是专门针对测试领域。

配置和护栏：这涉及设置智能体的自主级别和边界，通过提示和约束定义测试目标，并指定哪些领域需要人工批准。这些测试护栏确保智能体在受控环境中运行，防止意外行为。

模型选择和更新：这专注于决定何时升级模型与保持稳定性之间的平衡。这包括在将模型更改推出到生产环境之前对其进行测试，以避免意外问题。重要的是要平衡创新和稳定性，确保新模型不会破坏现有的测试流程。

监督和验证：这包括质量门禁和验证协议，监控不稳定测试和低价值覆盖率，以及管理执行成本的预算。这些实践有助于保持测试质量，同时控制资源消耗。

2、如何在实践中管理AI智能体？

考虑到这些方面，让我们看看如何实际控制您的智能体。

考虑一个场景，您的团队正在迁移到智能体AI测试。您希望仔细配置智能体的自主性。以下是如何进行的具体示例。

首先，配置智能体系统提示。例如，您可能指定：“您可以为/checkout和/payment流程生成API和UI测试代码。您可以创建测试报告并更新跟踪系统。您不能修改生产数据库或部署代码。”

接下来是工具集成。通过API将您的智能体连接到测试管理平台，以便它可以读取现有测试用例并了解覆盖率差距。这可以通过MCP服务器（如Tosca MCP服务器）或您构建的自定义工具来完成。

接下来，是渐进式推出：

• 第1周 – 智能体仅在"建议模式"下生成测试。
• 第2-3周 – 智能体在隔离的暂存环境中执行测试。
• 第4周+ – 智能体在预生产环境中运行测试，人工审查失败情况。

最后，在CI/CD管道中设置质量门禁，要求最低通过率（例如80%），然后智能体生成的测试才能阻止部署。每周监控误报率，并根据需要调整阈值。

3、如何控制AI智能体：提示、工具和反馈循环

学习控制您的智能体至关重要。与普遍看法相反，AI智能体实际上并不具有智能或代理能力。智能体最好被理解为系统提示与状态/内存和工具的组合。

有三种方法可以帮助控制您的AI智能体：提示工程、工具集成和性能监控/反馈循环。

提示工程：作为与这些智能体的主要接口。此过程涉及编写有效的测试目标和验收标准，构建经过验证的提示库，并迭代改进提示以提高智能体的性能。

工具集成：可以通过MCP服务器实现，将智能体连接到源代码控制、设计文档和CI/CD管道。这种集成为智能体提供了基本上下文，增强了智能体的决策能力，而无需授予它们对生产系统的直接写入访问权限。

性能监控和反馈循环：跟踪关键指标，如覆盖率、错误检测、误报和维护时间。实时监控和警报系统有助于确定何时需要重新配置智能体或调整其行为。

4、如何从传统测试迁移到智能体AI测试

从传统测试过渡到智能体AI测试对每个组织来说都会有所不同，因为它们从自己独特的测试自动化、技能和文化的组合开始。

拥有现有自动化的组织通常与遗留脚本一起运行智能体AI测试，采用渐进式迁移策略，随着信心的增长而增加系统的自主性。这种方法允许更平稳的转变，而不会破坏现有流程。这里的主要价值是灵活性和快速适应变化的能力。

主要依赖手动测试的组织通常从低风险回归测试套件开始，以最小化风险。他们专注于编码部落知识，将非正式的、以人为中心的测试流程转化为结构化的、可重复的智能体驱动流程。此外，对于这些组织，QA团队内部存在文化转变，从维护脚本转向监督自主智能体。但在某些方面，对于没有大量遗留自动化债务的团队来说，实现这种转变更容易。

实际集成通常涉及混合测试方法，结合手动、AI辅助和完全智能体的方法。像Tricentis Tosca和qTest这样的平台支持跨这些不同测试方法的统一管理，使组织能够逐步采用智能体AI测试。

5、示例：将传统测试演变为智能体方法

让我们比较一个典型测试场景如何从传统方法演变为智能体方法。

在传统的Selenium测试中（使用手动脚本编写），QA工程师可能会编写如下明确的WebDriver代码：

driver.findElement(By.id("username")).sendKeys("test@example.com")

但是当UI更改时（例如，ID变为基于类的选择器），此测试会中断。每次定位器更改都需要手动更新。对于动态UI更改（在实践A/B测试时非常常见），这变得特别具有挑战性。

然而，使用AI辅助测试（使用mabl等工具）：

• QA工程师通过可视化测试构建器记录用户操作。
• 自愈定位器自动适应小的UI更改。
• 这种方法仍然需要人工干预来进行测试设计和断言逻辑。

使用完全智能体AI测试：

• QA工程师提供高级意图：“使用有效和无效凭据、边缘情况和安全场景测试登录流程。”
• 智能体自主发现UI元素，生成测试用例，并创建断言。
• 它自动适应UI更改，并在无需人工输入的情况下重构测试逻辑。
• 它从失败中学习，并实时调整测试策略。

关键洞察是传统测试需要持续的开发人员/QA时间。智能体AI将工作从执行和维护转移到战略监督和提示工程。

6、智能体AI测试中的常见挑战

实施智能体测试的一个常见挑战是校准对AI的信任，这最好通过渐进式推出来完成。

团队可以逐步将AI智能体引入流程，在受约束的范围内验证它们的行为，并根据实际结果和监控的性能指标，随着信心的增长而扩展它们的职责。

有效策略包括隔离不稳定的场景，标记和隔离不稳定的测试，并使用AI智能体来发现失败中的模式，以便团队可以加强这些领域。

同时，成本控制和覆盖率去重需要持续修剪冗余场景，并确保额外的测试覆盖率实际上增加了增量价值，而不仅仅是增加成本。

最后，保持明确的责任至关重要，因为智能体承担了更多工作。即使智能体生成、执行和更新测试，QA也必须拥有所有智能体输出，并仍然是关于测试策略和发布决策的最终决策者。

但即使在这里，AI智能体也可以提供帮助，因为它们完全能够执行审查任务。此外，可以尝试多智能体审查：运行三个审查智能体，让它们辩论它们的发现，然后人工审查员做出最终决定。

最终目标是将智能体AI测试直接集成到软件开发生命周期中，智能体不仅仅测试人类开发人员编写的代码。相反，它们作为多智能体系统的一部分运行：

• AI工程师编写代码
• AI测试人员为其开发和执行测试
• 它们一起迭代，直到任务完成。

7、结论

关键要点？要转向智能体AI：

• 从低自主性和受约束的范围开始。
• 使用MCP/工具为智能体提供上下文，而不授予它们生产写入访问权限。
• 跟踪失败率、覆盖率和成本。
• 只有在可靠性得到证明后才扩展自主性。

管理用于测试的智能体AI将重点从传统的脚本维护转移到战略监督。它要求QA团队拥抱一种新的心态，在这种心态中，他们指导、监控和完善自主智能体，而不是手动编写和维护测试脚本。

要开始使用智能体AI测试，组织应该从小处着手，在低风险场景上验证AI智能体，并随着信心的建立逐渐扩展它们的范围。

通过遵循最佳实践并利用强大的工具，QA团队可以转变其测试流程，加速发布，并在日益复杂的数字环境中提高软件质量。

---

生如逆旅，一苇以航
欢迎关注、欢迎联系交流、欢迎沟通想法、欢迎交换意见、欢迎合作咨询

感谢亲的关注、点赞、收藏、评论，一键三连支持，谢谢