AI区别于传统算法之处在于两点：

1）AI是基于数据训练出来的。

2）AI的可解释性不好。

因此，对于AI类医疗软件的注册，需要围绕以上两点进行重点阐述，消除审核人员的疑虑。

1. 数据集

1）数据收集计划

绝大多数AI软件，限于时间的紧迫性，都是在打算做AI后，尽可能去搜集所有相关的图像。这样拿到的图像有很多都是相似而冗余的，看似数量很多，但不能做到全面而精准。另外，与workflow有关的应用需要收集特定时间点的数据，事后的数据并非AI决策时需要的输入数据。

所以数据集的第一步应该是考虑应用场景，根据应用场景设计数据收集计划，针对目标人群和不同的临床使用场景，抽象出关键变量，并尽可能覆盖每个关键变量的取值范围。保证每个关键变量都有相关的数据，且数据的分布比较相似，不会厚此而薄彼。

通常这些变量至少应包括：不同地区的图像（人种不同）、设备参数、患者参数、对结果产生干扰的因素等。

2）数据标注

数据标注前应该有一个比较明确的标注指导手册，这样才能尽可能消除因标注人员理解不一致带来的差异。

510k的注册比较严格，对于数据的标注还必须要经过至少三个有美国资质的放射医师的审核。

其实数据标注这块是很关键的，如果类似的图像但是标注得不同，会导致模型训练时可能无法收敛。

3）数据划分

数据划分一般按照train : tuning : test = 7 : 2 : 1的比例来划分。有两个要点：划分要随机，且划分完需要验证下关键指标在数据集中的分布的一致性。只有一致了，才能说明在test数据集中测试的结果有代表性。

train和test很好理解，tuning多说两句：

tuning集又叫validation集，但是validation这个词在软件中用的比较多，所以法规审核时通常叫tuning集避免歧义。

tuning集是参与了模型的训练过程的，但是参与的方式与train集不同。tuning集是起一个监控的作用，防止模型在train上过拟合。模型刚开始训练的时候，在train和tuning上的loss都会减小，但是一段时间后，会出现在train上继续减小，但是在tuning上开始增加的现象。这就表示模型在train上过拟合了，此时就可以停止训练了。所以tuning的作用就是监督是否在train上过拟合（学傻了）。

举个例子。train可以看作是学生学习书本的过程。有个孩子发狠把书本全背下来了，在train上可以拿到满分。但是知其然不知其所以然不会推理不会举一反三，一旦走上社会就完蛋了。为了防止这种现象，就要加入tuning，时不时用书本上没见过的题目考一下，逼迫其深入学习数据背后的逻辑和原理。

test上测试的指标只是用来让你知道孩子的水平，仅此而已。可以类比为高考，根据分数决定是否能上市。但是不会再根据测试的结果调整模型，类类似于不会高考完还要讲讲试卷再分析下有哪些不足。

2. 训练

需要证明的有几个方面：

1）训练集是否足够了？需要证明的是再增加训练集不会提升模型性能了。

2）训练的时间是否足够了？需要证明再增加epoch（一个完整的训练过程）也不会提升模型性能了。

3）其他常规操作：选取合适的度量指标；做一些合适的数据增强；

3. 验证

要站在审核人员的角度根据临床使用场景设置一个看上去很合理的接受指标。

除了在整个test dataset上满足预设的指标，还要按照某些关键指标分为子集来验证是否能满足预设的指标。

如果在某些特殊的子集上不能满足，一定要增加对应的举措，例如在软件上或者手册里要提示用户，某些情况下存在风险，以此来形成整个软件的闭环。

4. 举例

对于表现比较差的个体，可以挨个来分析下失败的原因，并分析下对应的风险，当然最后一定要落脚在风险可控这一个点上。

5.AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓