一：模型验证

留出法

（适用于大量数据）：70%训练数据，15%验证数据，15%测试数据，然后计算平均值和标准差

K折交叉验证

（适用于数据量小，需要稳健评估的场景）：将数据分成K份，每单独一份作为验证数据，然后计算平均值和标准差

平均值：

模型的平均表现，越大越好

标准差：

模型的稳定能力，越小越好（低标准差，每次验证的性能接近，模型对不同数据子集的泛化能力稳定，结果可靠。高标准差：模型性能波动较大，对训练数据较为敏感，可能存在过拟合现象，评估结果的可靠性低）

评估标准：

T(Ture)	正确
F(False)	错误
P(Positive)	1
N(Negative)	0

准确率：（TP+TN）/ALL

精确率：（按实际需求来，以负面为例）TP/(TP+FP)

召回率：TP/(TP+FN)

F1分数（精确率和召回率的调和平均数，是核心综合指标）：2*（精确率*召回率）/（精确率+召回率） 

模型鲁棒性：又称健壮性，是一个衡量系统在异常和危险情况下维持期功能特性的能力的度量指标。    模型在输入发生微小扰动，输出保持稳定的能力。

评估方法：

数据扰动测试：向测试数据加入噪音

对抗性测试：构造看似正常看会误导模型输入的数据

跨领域/跨时间稳定性测试：使用不同领域或者不同时间段的测试数据来测试模型，观察其性能衰减情况。

二、大模型场景可用性测试

大模型基础结构中，主要有两种参数：

1.权重（Weights）：决定不同神经元之间连接的强度

2.偏置（Biases）：理解为每个神经元的激活阈值

知识容量、理解与推理能力、泛化能力

测试点：能力泛化性，输出开放性

LLM核心能力维度与评测方法：

1.泛化能力测试：

SuperGLUE(测试集机构):https://super.gluebenchmark.com/

（语言理解能力）

MMLU数据集

（基础知识能力）

2.鲁棒性和稳定性测试：

• 对抗攻击：输入含有错别字、添加无关信息的问题

        错别字测试；无关信息测试；混合测试；分布外测试（Out-of-Distribution,OOD）(使用与训练模型差异比较大的query)

3. 模型容量与记忆---泛化平衡分析

测试模型是理解推理还是背诵资料，应该构建一个知识库中不存在、但可以通过推理得出答案的问题

4.任务专项评估指标

• MLU任务

使用SuperGLUE/GLUE,查看模型的指标准确率和F1分数。（做意图分类验证）

• 自动指标

        BLUE-4：衡量生成答案与标准答案在n-gram词组的重合度

        有局限性：不评估语义正确性、对同义词不友好、中文需要分词、不适合开放回答

三、实战

客服机器人，电商导购机器人测试：

自然语言产品（NLP）：能理解并生成人类语言的AI系统

NLU：让机器能听懂用户说了什么（意图、实体、情绪）

NLG：让机器说人话，把数据变成自然流畅回复

NLP产品测试与传统测试的差异：

核心维度	传统测试	NLP测试
输出确定性	输出明确且唯一	输出模糊且多样
正确性标准	精准匹配预期结果	语义合理任务完成即可
输入特性	结构化，有限，可枚举	非结构化，开放，语言表达无线多变
测试重点	功能逻辑，边界，异常处理	语言理解鲁棒性，上下文一致性，生成质量
评估方式	自动化断言为主（高自动化）	自动指标+人工评估结合（需要人工参与）
典型错误	崩溃，逻辑错误，性能问题	误解意图，生成幻觉、偏见或不当内容

        AI产品测试特点与核心挑战：

特点	需要验证上下文理解和对话记忆能力
	需要验证在非常规对话中的稳定性和合理性
	需要防范用户通过话术绕过AI的规则限制
核心挑战	意图识别准确率难保证
	缺乏常识与推理能力导致盲目服从有害指令
	安全性和可控性风险高
	用户体验难以量化

测试体系构建（AI产品测试解决方案）☆

层级划分（由底层到上层）：

数据层（数据质量测试）：AI产品测最小可测单元（主要是数据噪声或者标注质量，数据验证，泄露信息，数据拆分）

模型层（模型验证与评估测试）：验证AI核心“智能”表现是否符合预期

应用层（应用级测试）：类似于传统架构中的服务测试和集成测试

系统层（系统级测试）：聚焦关键路径和核心用户体验

AI产品测试通用测试方法：☆

测试类别	测试方法	核心内容	关键指标
数据质量测试	数据验证	检查数据集完整性、一致性、准确性，识别缺失、异常和偏见	数据分布、特性工程、标签准确性、偏见检测
	数据拆分	确保训练集、验证集、测试集的有效划分，防止数据泄露	拆分比例、分布一致性、时间序列数据的分块处理
模型验证测试	模型验证	评估模型在未见数据上的表现	准确率、召回率、F1分数
	交叉验证	使用不同数据集进行模型训练和测试，评估模型泛化能力
	稳定性测试	评估模型在持续运行或长期部署中的表现一致性
系统与性能测试	端到端测试	模拟真实用户场景，验证整个AI应用从输入到输出的全过程	用户旅程覆盖率、集成点可靠性、整体功能正确性
	性能测试	评估模型的响应时间、吞吐量、资源消耗	延迟、吞吐量、CPU/GPU利用率、内存占用、能耗
	可扩展性测试	检测系统在不同负载下的性能表现能力
伦理与公平测试	对抗性攻击测试	公平性和可解释性

测试核心：

数据质量测试：

准确性测试、完整性测试、一致性测试、代表性测试、时效性测试

模型测试：

• 意图理解准确性
• 知识正确性
• 上下文依赖
• 问题解决率
• 用户体验
• 安全合规

测试用例如何写：（后续整理）

计算机视觉测试：图像识别与生成的质量保障

常用任务类型：图像分类（ResNetVGG）、目标检测（YOLO系列、）语义分割（医学方向影响分析、FCN,U-Net/DeepLab系列）、实例分割（机器人抓取）、关键点检测/姿态估计（人脸识别），目标跟踪（相关滤波）、图像生成与合成（）、视觉描述与问答（）、视频理解（3DCN、 TSN）、底层视觉任务

智能语音识别测试：声学模型、多语种与实时优化

持续更新中........