跳到正文

可信质检

准确率之外:怎样定义一个可以上线的 AI 质检系统

99% 的总准确率可能掩盖一次关键漏检。上线标准必须回到缺陷风险、误报、漏报和复核成本。

约 2 分钟

返回技术博客

视觉异常既包含划痕凹陷,也包含数量、位置和组合关系错误;不同问题不能只用一个汇总数字评价。

按风险分层验收

工业检测最容易误用的指标,是把所有样本混在一起计算总准确率。当正常样本占绝大多数时,即使系统漏掉少量关键缺陷,总数字仍可能很好看。更合理的验收方式,是先按检测对象、检测项和风险分层,再分别查看漏报率、误报率、定位质量和送审比例。对于安全或交付关键项,漏报的代价远高于一次人工复核,阈值和流程也应与普通外观项不同。

覆盖逻辑异常,允许拒绝判断

MVTec LOCO 的研究提醒我们,异常不仅是划痕和凹陷,还可能是部件数量、相对位置或逻辑约束错误。这类问题要求系统理解全局关系,也要求测试集真正覆盖现场会出现的变化。另一方面,选择性分类研究提出让模型在不确定时拒绝自动判断,把部分样本交给人处理。对质检而言,这不是能力不足的遮掩,而是明确自动化边界:系统独立完成大多数清晰任务,将低置信度和高风险结果交给有责任的人。

让上线条件与结果可以追溯

一个可上线的 EPOVIS 项目应在试点前写清楚验收口径:哪些缺陷必须覆盖,哪些情况允许送审,拍摄失败如何补采,人工复核需要多长时间,以及新版本怎样与旧版本对比。上线后还要持续观察数据漂移、现场换型和新增缺陷。报告中的数字必须能回到原图、检测项、版本和人工结论,只有这样,准确率才是可行动的质量信息,而不是一条营销标语。

学术来源

  1. Beyond Dents and Scratches: Logical Constraints in Unsupervised Anomaly Detection and LocalizationCVPR 2022

    将工业异常从表面缺陷扩展到数量、位置和逻辑关系问题。

  2. Selective Classification for Deep Neural NetworksNeurIPS 2017 Workshop / arXiv

    研究模型如何在不确定样本上选择拒绝判断,以平衡覆盖率与风险。