本发明属于计算机视觉和机器学习,具体涉及一种基于块匹配的少样本缺陷检测模型训练方法及系统。
背景技术:
1、工业缺陷检测识别和评估工业环境中制造产品和材料的缺陷或不规范,通常是为了确保产品质量,提高生产效率,并减少故障或不合格产品的发生。在制造业、电子行业、汽车行业、食品行业等领域,计算机视觉、机器学习、传感器系统等技术被广泛应用,以实现缺陷检测的自动化,提高缺陷检测的准确性。精确的检测是保证产品可靠性的关键,在实际制造过程中,缺陷样本很少,而这些样本往往包含大量的噪声信息。因此,获取和标注产品表面缺陷图像是一项具有挑战性的任务。类似地,像素级分割对于准确预测缺陷边界至关重要。有效的培训往往需要大量的数据,使其成为工业生产的基本要素。这种对大量数据的依赖意味着现有的为产品表面缺陷分割量身定制的全监督算法往往无法提供最佳结果。
2、近年来,表面缺陷检测的研究主要集中在无监督检测上,各种基于重构和深度特征嵌入的缺陷检测方法被广泛研究。基于重构的方法旨在通过重构输入数据和识别与原始样本显著偏差来检测缺陷。基于深度特征嵌入的方法通过比较目标图像和正常图像的深度嵌入特征生成像素级异常图。通常,特征提取部分是在imagenet等大规模数据集上进行预训练的,或通过自监督学习。这些技术从正常的样本模式中学习,并将偏差识别为潜在的异常。然而,这些方法的一个显著缺点是它们在区分异常和典型样本方面的有效性有限。许多实际应用中都涉及少量已标记异常样本,在无缺陷数据充足和有标记缺陷数据较少的情况下进行检测,称为少样本检测。这些标记的数据为特定应用程序的问题提供了有价值的见解,大大改善了最近检测类似异常的模型。少样本检测方法在制造中尤其相关,特别是用于检测和定位产品表面缺陷,它能够使用最小的表面缺陷样本有效识别和定位各种表面异常,如裂纹,划痕和涂层问题。这种方法允许快速适应新产品变化,同时保持严格的表面质量控制,这对各种行业至关重要,包括汽车和电子制造。
3、然而,许多传统的少样本方法的一个重要限制是缺乏对输入图像和记忆库之间的块级相关性的考虑,这限制了模型在细节识别和相关特征提取方面的效能。为确保检测的精准性及其在实际应用中的有效性,对输入图像的各个部分与记忆库中已存储的特征块之间的细微关联进行分析是至关重要的。这种关系不仅能够强化模型对特定模式的识别,还能促进对新颖或罕见特征的识别。因此,一个全面的少样本学习系统需要综合考虑图像的局部细节以及这些细节与记忆库之间的交互作用,从而提升少样本识别任务的整体表现。
技术实现思路
1、针对现有技术的不足,本发明提出了一种由层次法向量和缺陷向量记忆库组成的表示框架,并提出了一种自适应特征库更新方案,动态地整合频繁特征并丢弃稀有特征;同时,设计了一个根于匹配注意力机制的细粒度特征替换模块,以突出输入图像的模糊区域,并使用融合的特征来识别整体缺陷。在基准数据集上,该策略可以从多个尺度获得深度见解,在实验中比其它策略更好地展示了对未识别异常的泛化能力。
2、为了达到前述发明目的,本发明采用了以下方案:
3、本发明的一个方面提供了一种基于块匹配的少样本缺陷检测模型训练系统,包括:
4、模型及训练集获取模块,用于获取用于基于块匹配的少样本缺陷检测的模型以及训练集;所述训练集包括有标签数据及其对应的真值标签,以及无标签数据;
5、数据增强模块,用于对所述无标签数据进行增强操作,获取增强的缺陷样本以及对应标签值的数据集;所述获取增强的缺陷样本包括缺陷样本模拟方式和缺陷样本扩展方式;
6、预测模块,用于将所述增强操作生成的数据输入至基于块匹配的少样本工业缺陷检测模型中,得到预测结果,并计算缺陷模拟和缺陷扩展,及对应的标签的损失值;
7、模型优化模块,用于使用梯度下降更新所述基于块匹配的少样本工业缺陷检测模型参数,直至收敛;将所述分割结果用于定位缺陷检测区域,并结合检测结果得出缺陷分类结果;
8、结果映射模块,用于基于预测结果将分割结果映射回测试集中的原图像,实现可视化。
9、本发明的另一个方面提供了一种基于块匹配的少样本缺陷检测模型训练方法,包括以下步骤:
10、s1:获取用于基于块匹配的少样本缺陷检测的模型以及训练集;所述训练集包括有标签数据及其对应的真值标签,以及无标签数据;
11、s2:对所述无标签数据进行增强操作,获取增强的缺陷样本以及对应标签值的数据集;所述获取增强的缺陷样本包括缺陷样本模拟方式和缺陷样本扩展方式;
12、s3:将所述增强操作生成的数据输入至基于块匹配的少样本工业缺陷检测模型中,得到预测结果,并计算缺陷模拟和缺陷扩展,及对应的标签的损失值;
13、s4:使用梯度下降更新所述基于块匹配的少样本工业缺陷检测模型参数,重复步骤s2至s4直至收敛;将所述分割结果用于定位缺陷检测区域,并结合检测结果得出缺陷分类结果;
14、s5:基于预测结果将分割结果映射回测试集中的原图像,实现可视化。
15、与现有技术相比,本发明至少具有如下优点:
16、(1)本发明所提供的训练方法为了更好地利用有限的训练样本,提出了一种块级空间高效的记忆库,用于存储重要的多尺度中间特征,它利用自适应特征更新的优势,允许系统微调其对“正常”和“异常”特征的理解,对缺陷表示中的变化提供更细致和有针对性的响应;
17、(2)为了利用存储在记忆库中的特征,本发明提出将输入数据中的特征块分别替换为相似度较高的正常记忆库和缺陷记忆库中的特征块,从而生成输入数据的不同视图,然后,将这两个视图与原始特征相结合,送入多视图注意力模块以突出缺陷,从而能够从多个尺度获得深度见解,提高了对未识别异常的泛化能力。
1.一种基于块匹配的少样本缺陷检测模型训练系统,其特征在于,包括:
2.根据权利要求1所述的基于块匹配的少样本缺陷检测模型训练系统,其特征在于,所述缺陷样本模拟包括:
3.根据权利要求2所述的基于块匹配的少样本缺陷检测模型训练系统,其特征在于,所述缺陷样本扩展包括:
4.根据权利要求1所述的基于块匹配的少样本缺陷检测模型训练系统,其特征在于,所述基于块匹配的少样本工业缺陷检测模型包括自适应特征库、特征替换模块和多注意力机制模块;
5.根据权利要求1所述的基于块匹配的少样本缺陷检测模型训练系统,其特征在于,所述预测模块中损失值的计算为:
6.一种基于块匹配的少样本缺陷检测模型训练方法,其特征在于,包括以下步骤:
7.根据权利要求6所述的基于块匹配的少样本缺陷检测模型训练方法,其特征在于,所述缺陷样本模拟包括:
8.根据权利要求7所述的基于块匹配的少样本缺陷检测模型训练方法,其特征在于,所述缺陷样本扩展包括:
9.根据权利要求6所述的基于块匹配的少样本缺陷检测模型训练方法,其特征在于,所述基于块匹配的少样本工业缺陷检测模型包括自适应特征库、特征替换模块和多注意力机制模块;
10.根据权利要求6所述的基于块匹配的少样本缺陷检测模型训练方法,其特征在于,所述步骤s3中损失值的计算为:
