这篇不先堆名词。我们把《一个测试项目改成 AI 流程后，最难的部分完全变了》拆成几级台阶，看完至少知道下一步该学什么、该练什么。

摘要

测试转大模型，很多人以为学会写自动化用例、调调Prompt就完事了。实际接手项目后才发现，真正卡脖子的不是测试能力本身，而是权限配置、日志追踪、交付文档这些"脏活"。本文从一个真实项目复盘出发，聊聊为什么权限和日志才是团队接手成本的分水岭，以及测试工程师怎么把这个能力补上。

---

目录

• 测试岗位的新变化
• AI 辅助测试：Demo 和生产的距离
• 自动化用例生成，为什么不是重点？
• Agent 测试框架：权限和日志才是核心
• 质量评估：从能跑到能接手
• 总结

---

测试岗位的新变化

去年开始，身边做功能测试的同事陆续转大模型方向。有人去学LangChain，有人去调API，简历上写着"熟悉Agent开发"。但真正面试时，问到一个问题——"你们项目权限怎么配的？失败日志怎么追踪？"很多人就卡住了。

这不是个例。我参与过几个AI项目的测试交接，发现一个规律：Demo阶段大家都能跑通，但一放到生产环境，问题全出在权限越界、日志缺失、文档不全上。测试工程师的价值，正在从"写用例"转向"确保系统可交接"。

大模型应用和传统软件测试的区别在于：传统系统逻辑确定，测试关注边界和异常；大模型应用逻辑不确定，测试要关注的是——系统会不会乱来？出了问题能不能追踪？交接给别人能不能看懂？

这三个问题，权限、日志、文档，才是团队接手成本的核心。

---

AI 辅助测试：Demo 和生产的距离

去年我们接了一个内部AI客服项目，前端用React，后端是Python FastAPI，模型调的是国产大模型。Demo阶段，测试同学用Postman跑通了几个核心流程，用例覆盖率看着也不错。结果上线第一周，出现了两个问题：

一是权限配置问题。某个接口没有做角色校验，外部用户通过拼接URL就能访问内部数据。这个Bug在Demo阶段完全测不出来，因为Demo环境用的是统一Admin账号。

二是日志缺失。模型返回结果异常时，系统只打印了"Error"两个字，没有记录输入Prompt、模型版本、耗时、Token消耗。运维排查花了两天，最后发现是某个参数传错导致的。

这两个问题，都不是传统测试思维能覆盖的。传统测试关注功能是否正确，而大模型应用要关注的是——系统会不会越权？出问题能不能追踪？

我后来把这类问题总结成一个清单，每次交接前对照检查：

• 权限：每个接口是否有角色校验？测试环境和生产环境是否一致？
• 日志：关键操作是否有完整日志？错误信息是否包含上下文？
• 文档：接口文档是否更新？异常处理逻辑是否说明？

这个清单后来成了我们团队的"上线前必检项"。

---

自动化用例生成，为什么不是重点？

很多人转大模型测试，第一件事是学自动化用例生成。用工具生成测试脚本，跑得挺欢。但实际项目中，我发现自动化用例生成只是锦上添花，不是核心能力。

原因很简单：大模型应用的不确定性太高，用例生成工具很难覆盖所有边界情况。比如一个Agent系统，它会调用多个工具，工具之间可能有依赖关系，模型返回结果可能影响后续流程。这种动态逻辑，用传统自动化思维去覆盖，成本极高且效果有限。

真正有价值的是"可观测性测试"——测试系统是否能把关键信息记录下来，出问题能不能快速定位。这比生成1000个用例更有意义。

我见过一个案例：某团队用AI生成了一万多条测试用例，覆盖率90%+，但上线后第一个月出现了3个P0级Bug，原因都是权限配置错误和日志缺失。用例再多，也测不出这些问题。

所以我的建议是：自动化用例生成可以学，但不要花太多时间在上面。把精力放在权限、日志、文档这些"脏活"上，反而更容易出成果。

---

Agent 测试框架：权限和日志才是核心

去年我参与搭建了一个Agent测试框架，核心思路是：不追求用例数量，而是确保每个Agent调用都有完整的追踪记录。

框架的关键设计如下：

# Agent测试框架核心逻辑
class AgentTestRunner:
    def __init__(self, agent, logger_config):
        self.agent = agent
        self.logger = self._setup_logger(logger_config)
        self.permission_checker = PermissionChecker()

    def run_test(self, test_case):
        # 1. 权限预检
        if not self.permission_checker.check(test_case.user_role, test_case.target):
            self.logger.error(f"权限拒绝: user={test_case.user_role}, target={test_case.target}")
            return {"status": "denied", "reason": "permission"}

        # 2. 执行Agent调用
        start_time = time.time()
        try:
            result = self.agent.execute(
                prompt=test_case.prompt,
                tools=test_case.tools,
                user_id=test_case.user_id
            )
        except Exception as e:
            # 3. 记录完整错误上下文
            self.logger.error({
                "event": "agent_error",
                "prompt": test_case.prompt,
                "tools": test_case.tools,
                "error": str(e),
                "traceback": traceback.format_exc(),
                "timestamp": datetime.now().isoformat()
            })
            return {"status": "error", "detail": "see logs"}

        # 4. 记录成功调用的完整信息
        self.logger.info({
            "event": "agent_success",
            "prompt": test_case.prompt,
            "result": result,
            "latency": time.time() - start_time,
            "tokens_used": result.get("token_count"),
            "model_version": result.get("model")
        })

        return {"status": "success", "result": result}

这个框架看起来简单，但解决了三个关键问题：

1. 权限预检：在执行前就校验用户是否有权限访问目标资源，避免无效调用。
2. 完整错误日志：记录Prompt、工具列表、异常堆栈，排查问题时不用猜。
3. 成功调用追踪：记录Token消耗、模型版本、延迟，方便后续优化。

我后来把这套框架开源了，GitHub上叫"AgentTestKit"，目前Star数不高，但有几个团队在用。

---

质量评估：从能跑到能接手

传统测试的质量评估看的是用例通过率、Bug发现数。大模型测试要换个思路：评估系统是否"可接手"。

我总结了一个简单的评估维度：

• 权限覆盖度：所有接口是否都有权限校验？测试环境和生产环境权限配置是否一致？
• 日志完整度：关键操作是否有日志？错误日志是否包含足够上下文？
• 文档可读性：接口文档是否更新？异常处理逻辑是否说明？交接文档是否完整？

这三个维度，比用例覆盖率更能反映项目的"可维护性"。

去年我们团队接了一个项目，用例覆盖率85%，但权限日志几乎为零。接手后第一个月，运维同学被报警短信轰炸，最后发现是某个接口没有做鉴权。这种项目，用例覆盖率再高也没用。

所以我在面试时，会问候选人一个问题："你们项目权限怎么配的？失败日志长什么样？"能回答清楚的人，才是真正做过生产级项目的。

---

总结

测试转大模型，不是换个工具那么简单。传统测试关注的是"系统是否按预期运行"，大模型测试要关注的是"系统会不会乱来，出了问题能不能追踪"。

权限、日志、文档，这些"脏活"才是团队接手成本的核心。Demo能跑通只是入场券，能交接给别人稳定运行，才是真正的能力。

如果你正在考虑转大模型测试，我的建议是：

1. 不要只学自动化用例生成，花点时间研究权限配置和日志追踪。
2. 参与一个完整的项目，从Demo到上线，体验一下"可交接性"的重要性。
3. 建立自己的检查清单，每次交接前对照检查。

大模型应用还在快速发展，但核心问题不会变：系统能不能安全运行？出了问题能不能快速定位？交接给别人能不能看懂？

这三个问题，测试工程师最有发言权。

---

本文基于实际项目经验整理，如有不当之处，欢迎指正。

资料展示

下面是我整理的AI大模型学习资料和工具包预览，适合收藏后按主题逐步学习。

如果你想看完整资料目录，可以在评论区留言「资料」；也欢迎告诉我你更关注AI大模型里的哪类内容。