跳到正文

多模态检测

多模态大模型,为什么更适合理解“哪里不对”

图像告诉系统看见了什么,文字标准告诉系统为什么不合格;真正困难的是把两者对齐。

约 2 分钟

返回技术博客

工业缺陷并不总是划痕和色差。缺件、错装、位置关系、标识内容等问题,往往需要同时理解图像、对象结构和检查规则。

不只找差异,还要理解标准

传统视觉检测擅长回答“这块区域与正常样本有多不一样”,但很多现场问题并不是单纯的像素差异。同一颗螺栓出现在正确位置是正常,出现在错误孔位就可能是装配错误;一张铭牌外观完好,却可能因为型号与工单不一致而不合格。多模态模型的价值,是把现场图像、自然语言标准、参考样本和对象上下文放进同一个判断过程,让系统不仅找异常区域,还能解释它违反了哪条规则。

把定位、规则与解释分开

这并不意味着把图片交给一个通用大模型就能可靠质检。公开研究同样表明,通用模型面对细小异常、像素级定位和陌生工业对象时仍可能忽略关键细节。更稳妥的方式,是让视觉定位模块负责“看哪里”,让语言与规则模块负责“为什么”,再用结构化输出约束检测项、证据与结论。EPOVIS 的产品设计也遵循这个方向:质检员先确认标准,系统再围绕标准组织图像证据,而不是让模型自由发挥。

用现场条件验证,而不是照搬分数

在实际项目中,多模态能力必须接受场景验证。光照、角度、分辨率、缺陷尺寸和正常波动都会改变结果,因此不能直接把论文在公开数据集上的分数当成现场准确率。我们更关心三个问题:异常是否被定位到可复核的证据,结论是否对应明确标准,边界样本是否会被送到人工确认。只有这三件事都能追溯,多模态模型才从“会描述图片”变成可用的质检能力。

学术来源

  1. AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language ModelsAAAI 2024 / arXiv

    研究大型视觉语言模型与工业异常定位、对话解释的结合。

  2. Towards Zero-Shot Anomaly Detection and Reasoning with Multimodal Large Language ModelsarXiv

    讨论零样本异常检测与推理,并指出通用多模态模型在细粒度异常上的局限。