自动化损伤检测中令人惊讶的微妙挑战

在物流中心，工作人员始终在留意受损物品，但未来或许会有一双由机器学习驱动的“眼睛”来协助完成这项任务——这项技术正由某中心位于德国柏林的机器人AI团队开发。

每年有数十亿客户订单流经全球物流网络，不可避免地会有一些物品在仓库流转过程中意外受损。工作人员一直在物流中心寻找受损物品，但未来或许会有一双由机器学习驱动的“眼睛”来协助完成这项任务——这项技术正由某中心位于德国柏林的机器人AI团队开发。

除了避免发货延迟和提高仓库效率，这种特殊形式的人工智能还旨在从源头上减少浪费，确保客户收到更少的受损物品从而减少退货。在每千件发往客户前的物流中心流转物品中，受损的不到一件。这个比例相对很小，但在某中心庞大的规模下，这仍然构成了一个具有挑战性的问题。

损伤检测之所以重要，是因为损伤本身就是一个代价高昂的问题，而损伤未被发现的时间越长，代价就越大。工作人员在履单流程的多个环节检查物品，但如果损伤发生在流程后期，并且一件有问题的物品一直流转到最终包装站，工作人员必须将其搁置，以便申请更换，这可能会延迟交付。然后工作人员必须进一步检查被搁置的物品以决定其去向。

2020年底，某中心机器人AI团队的高级应用科学家 Sebastian Hoefer 在其同事的支持下，成功提出了一个解决此问题的新颖项目。其想法是：结合计算机视觉和机器学习方法，尝试自动化检测物流中心的产品损伤。
“你希望完全避免损伤，但要做到这一点，你首先需要检测到它，”Hoefer指出。“我们正在构建这种能力，以便未来的机器人能够利用它来协助损伤检测。”

大海捞针

损伤检测是一个具有挑战性的科学问题，主要有两个原因。

第一个原因纯粹是实际的——可用于训练机器学习模型的数据非常稀少。
“在物流中心造成的损伤很少见，这显然是件好事，”从西雅图支持 Hoefer 团队的首席应用科学家 Ariel Gordon 说。“但这也带来了挑战，因为我们需要在‘大海’中找到这些‘针’，并识别损伤可能采取的多种形式。”

第二个原因将我们带入人工智能更普遍的理论“长草丛”中。
对于一个成年人来说，日常损伤检测感觉很轻松——我们忍不住会注意到损伤，因为这种能力已经磨练成一种基本的生活技能。然而，某件东西是否受损到无法销售的程度是主观的、通常是模糊的，并且取决于上下文，某中心柏林的高级应用科学家 Maksim Lapin 说。“从客户的角度来看，这种损伤是否可以容忍？比如外包装的轻微损伤，反正会被扔进回收站？”Lapin问道。“或者是产品本身类似程度的损伤，这肯定需要被标记出来？”

此外，产品损伤的性质使得甚至很难为机器学习模型定义什么是损伤。损伤既是异质的——任何物品或产品都可能受损——也可以采取多种形式，从撕裂、破洞到一套较大产品中单个部件的损坏。在某中心庞大的商品目录上放大，挑战变得巨大。

简而言之，机器学习模型有机会吗？

前往“损伤之地”

为了找出答案，Hoefer 的团队首先需要以适合机器学习的标准化格式获取数据。他们开始在德国汉堡附近一个名为 HAM2 的物流中心收集数据，该仓库有一个被亲切地称为“损伤之地”的区域。受损物品在决定是否折价出售、翻新、捐赠或作为最后手段处置之前，都会存放在那里。
团队在“损伤之地”建立了一个传感器丰富、带照明的拍摄亭。
“我很自豪 HAM2 被选为这项计划的试点地点，”HAM2 的高级运营经理 Julia Dembeck 说，她成立了损伤专项工作组来协调项目的众多利益相关者。“我们的目标是全力支持这个项目。”
在与工作人员举行研讨会解释项目及其目标后，工作人员开始将受损物品放在拍摄亭的托盘上，该亭使用一组 RGB 和深度相机拍摄图像。然后，他们使用连接的计算机终端手动标注图像中的损伤。

“结果非常出色，当工作人员分享了关于将物品放置在托盘中的最佳方式的最佳实践时，效果甚至更好，”Dembeck 说。损伤类型包括挤压、撕裂、破洞、解体（例如，内容物从其容器中破裂出来）和泄漏。
工作人员以这种方式收集了大约 30,000 张产品图像，其中三分之二是受损物品的图像。
“我们还收集了未受损物品的图像，因为否则我们无法训练我们的模型区分两者，”Hoefer 说。“两万张损伤图片在‘大数据’意义上不算多，但考虑到损伤的罕见性，这已经很多了。”

手握数据，团队首先采用了监督学习机器学习方法，这是计算机视觉领域的主力军。他们将数据用作带标签的训练集，使算法能够构建损伤可能外观的可推广模型。在对从未见过的产品图像进行测试时，模型的早期结果令人鼓舞。
在分析一张未见过的产品图像时，模型会给出一个损伤置信度分数。分数越高，模型越确信该物品已受损。
研究人员必须通过确定模型将宣布产品不适合发送给客户的置信度阈值来调整模型的灵敏度。将该阈值设置得过高，可能会错过轻微但重大的损伤。设置得过低，模型会将一些未受损的物品宣布为受损，即产生误报。
“我们做了一个粗略估算，发现如果我们搁置了通过此流程的所有物品中超过一小部分，那么我们将被误报淹没，”Hoefer 说。

自 2021 年底这些初步结果以来，团队已经取得了重大改进。
“我们现在正在优化模型以降低其误报率，并且我们的准确率每周都在提高，”Hoefer 说。

不同类型的损伤

然而，仅靠监督学习方法，虽然有希望，但存在一些缺点。例如，模型如何处理显示屏幕碎裂的手机保护套包装？如何处理包装盒上布满明显泄漏痕迹的清洁产品？如何处理一个完全未受损但本应装有三片剃须刀片却只装了两片的泡罩包装——“破损套装”问题？或者一袋看起来完好但旁边有一小滩棕色粉末的研磨咖啡？
同样，对人类来说，理解这种情况是第二天性。我们不仅知道损伤是什么样子，而且能很快学会未受损产品应该是什么样子。我们学会了发现异常。
Hoefer 的团队决定将这种能力纳入他们的损伤检测系统，以创建一个更全面、更准确的模型。同样，需要更多数据，因为如果你想知道某物品应该是什么样子，你需要它的标准化图像。这正是某中心多模态识别团队（柏林机器人AI团队的一部分）近期开创性工作发挥作用的地方。

MMID 团队开发了一种计算机视觉工具，可以仅凭产品图像来识别产品。这在至关重要的产品条形码模糊、缺失或错误的情况下非常有用。
事实上，很大程度上是 MMID 团队开发了现在正被 Hoefer 团队使用的传感器丰富的拍摄亭硬件。MMID 团队需要它来创建一个完好无损产品的标准化参考图像库。
“损伤检测也可以利用相同的方法，通过识别产品图像与参考图像库之间的差异来进行，”在柏林同时参与 MMID 和损伤检测的某中心高级应用科学家 Anton Milan 说。“事实上，我们之前在 MMID 上的工作使我们能够迅速开始探索损伤检测的这个方向，通过评估和调整现有的解决方案。”

通过整合 MMID 团队的产品图像数据，并调整该团队的技术和模型来优化自己的系统，损伤检测系统现在有了发现破损套装的机会。它也不太可能被产品包装上印刷的类似损伤图像所迷惑，因为它可以将履单过程中拍摄的产品图像与该产品完好版本的图像进行比对。
“本质上，我们正在开发模型‘这里有些不对劲’的能力，这是一个非常有用的信号，”Gordon 说。“不过，这也存在问题，因为有时产品会改变设计。因此，模型必须是‘活’的，根据新的包装风格持续学习和更新。”
团队目前正在探索如何结合判别式和基于异常的机器学习方法的贡献，以给出最准确的产品损伤评估。同时，他们正在开发硬件以在物流中心进行试验部署，并收集更多关于受损物品的数据。

整个项目进展迅速，Hoefer 说。“我们仅仅在 18 个月前提出了这个想法，现在我们已经拥有一系列硬件和一个由 15 人组成的团队正在将其变为现实。作为一名科学家，这是超级有回报的。如果它像我们希望的那样有效，几年内它可能会部署在某中心的全球物流网络。”
Hoefer 预计，该项目最终将改善客户体验，同时减少浪费。
“一旦技术成熟，我们预计因损伤导致的客户退货将会减少，因为我们能够在将产品发送给客户之前识别并修复受损产品。不仅如此，通过在履单链早期识别损伤，我们将能够与供应商合作，打造更坚固的产品。这将再次有助于减少整体损伤——这是该项目的一个重要长期目标，”Hoefer 说。

同样着眼于未来，Lapin 设想了这项技术在仓储之外的应用。
“我们正在为某中心物流中心的高度受控环境构建这些能力，但我可以想象它的某个未来版本被部署在更‘狂野’的实体店中，客户以不可预测的方式与产品互动，”Lapin 说。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）