📝 面试求职: 「面试试题小程序」 ,内容涵盖 测试基础、Linux操作系统、MySQL数据库、Web功能测试、接口测试、APPium移动端测试、Python知识、Selenium自动化测试相关、性能测试、性能测试、计算机网络知识、Jmeter、HR面试,命中率杠杠的。(大家刷起来…)

📝 职场经验干货:

软件测试工程师简历上如何编写个人信息(一周8个面试)

软件测试工程师简历上如何编写专业技能(一周8个面试)

软件测试工程师简历上如何编写项目经验(一周8个面试)

软件测试工程师简历上如何编写个人荣誉(一周8个面试)

软件测试行情分享(这些都不了解就别贸然冲了.)

软件测试面试重点,搞清楚这些轻松拿到年薪30W+

软件测试面试刷题小程序免费使用(永久使用)


这两年,大模型、智能体、MCP、RAG 几乎刷屏。

但有个问题更关键:

我们是在“用 AI”,还是在“测 AI”?

很多人理解的 AI,是生成测试用例、自动造数据、自动写脚本。 那叫用 AI 做测试。

今天讨论的是另一件事:

当产品本身是 AI 系统时,测试逻辑会发生什么变化?

当系统从“确定性程序”变成“概率模型”, 测试方法就必须跟着改变。

以前我们测试的是规则系统。 现在我们测试的是概率系统。


目录

  1. 传统软件测试的确定性因果模型

  2. AI系统的生成式架构变化

  3. 因果关系断裂:测试难点的根源

  4. 断言模型为何在AI系统中失效

  5. AI系统的三大技术特征

  6. AI系统测试的工程化转型方向


1. 传统软件测试的确定性因果模型

传统软件的核心是:规则驱动 + 确定性逻辑。

可以抽象为:

特点非常明确:

  1. 输入字段固定

  2. 规则可读可追踪

  3. 输出可预测

  4. 可编写精确断言

例如:

输入手机号为空 → 点击提交 → 返回“不能为空”

自动化测试写法:

assert actual == "不能为空"

前提只有一个:

相同输入,在相同环境下,必然产生相同输出。


2. AI系统的生成式架构变化

当系统接入大模型后,内部结构发生变化。

差异点在于:

  1. 输入变成自然语言

  2. 中间层变成神经网络

  3. 输出来自概率采样

例如:

输入:给我一首唐诗

多次调用,结果不同。 换一个模型,结果也不同。

系统不再围绕“规则匹配”, 而是围绕“概率分布”。


3. 因果关系断裂:测试难点的根源

我们对比一下。

传统系统调用流程

结果稳定,可复现,可回归。

AI系统调用流程(同样输入,两次结果不同)

同样输入,两次输出不同。

这意味着:

  1. 因果关系不再线性

  2. 输出不再唯一

  3. 测试结果无法简单复现

传统“输入 → 唯一输出”的模型开始失效。


4. 断言模型为何在AI系统中失效

传统自动化测试的核心是断言:

assert actual == expected

但在 AI 系统中:

输入:讲个笑话 输出:一段文本

问题来了:

  1. 什么算笑话?

  2. 是否必须完全一致?

  3. 每次结果不同怎么办?

AI 输出没有唯一正确答案。

测试目标从“是否等于预期值”, 转变为“是否满足约束条件”。

例如:

  1. 是否包含完整语句

  2. 是否无敏感词

  3. 是否符合主题

  4. 是否满足长度区间

这不再是精确匹配,而是质量评估。

断言模型从“相等判断” 升级为“区间判断”或“语义判断”。


5. AI系统的三大技术特征

5.1 概率性

模型输出的是概率最高的候选,而非唯一正确答案。


5.2 黑盒性

特点:

  1. 内部权重不可解释

  2. 决策路径不可枚举

  3. 规则不可穷举

测试人员只能观察输入与输出。


5.3 非确定性

相同输入:

  1. 不同时间可能不同输出

  2. 不同温度参数不同输出

  3. 不同模型不同输出

在传统软件中这是缺陷。 在 AI 系统中这是特性。


6. AI系统测试的工程化转型方向

当系统建立在概率模型之上,测试体系必须升级。

测试重点开始转向:

  1. 多样本回归测试

  2. Prompt稳定性验证

  3. 输出质量分级评估

  4. 幻觉风险检测

  5. 数据分布漂移监控

  6. 对抗输入测试

测试工程师的角色也发生变化:

从功能验证者 转向 AI 质量评估工程师。

核心能力不再是:

写多少用例,

而是:

如何定义质量标准。


结语

传统软件测试建立在确定性之上。 AI系统建立在概率之上。

当系统不再保证“同样输入必然同样输出”, 测试方法就必须升级。

这不是多学一个工具的问题。 而是测试对象本身已经改变。

我们正在从规则系统测试, 走向概率系统测试。

测试这门职业没有变简单。 它只是进入了更复杂的阶段。

最后: 下方这份完整的软件测试视频教程已经整理上传完成,需要的朋友们可以自行领取【保证100%免费】

​​

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐