本发明涉及故障诊断技术领域，具体涉及一种基于深度学习的工件磨损检测方法及系统。
背景技术：
工件状态监测技术在自动化生产中具有十分重要的意义，基于工件表面图像的刀具磨损检测技术是自动化生产中一个极其关键的技术，它是降低制造成本，减少环境危害、保证制造系统正常高效运行和产品质量的主要手段之一。刀具磨损状态监测系统为制造系统现代化、自动化、柔性化奠定了基础。
为了提高工件状态的检测效率，节省了人力成本，急需研究工件表面检测的方法，实现对工件磨损的自动检测。
技术实现要素：
为解决上述问题，本发明提供一种基于深度学习的工件磨损检测方法及系统，能够实现的齿轮故障的自动诊断。
为了实现上述目的，本发明提供以下技术方案：
一方面，提供一种基于深度学习的工件磨损检测方法，包括：
获取样本工件在各类磨损状态下的样本图像；
标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集；
将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型；
将待检测工件的图像输入所述工件磨损检测模型进行自动检测，识别待检测工件的缺陷类型。
进一步，所述表面缺陷类型包括：磨粒磨损、粘着磨损、表面疲劳磨损、腐蚀磨损和微动磨损。
进一步，所述标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集这一步骤，还包括：
对所述样本图像进行尺寸归一化处理，生成归一化图像；
使用双边滤波剔除所述归一化图像中包含的噪声；
沿逆时针方向将所述归一化图像旋转90°，并对所述归一化图像进行随机缩放和裁剪，以增强所述图像特征集的数据。
进一步，所述将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型，包括：
提取所述图像特征集中的缺陷区域，作为标注框；
将所述图像特征集输入maskr-cnn神经网络进行训练，得到表面缺陷的结果框；
采用多任务损失函数计算所述结果框和所述标注框的偏差，所述多任务损失函数包括分类损失函数和回归损失函数，当所述偏差低于设定阈值时，则完成对maskr-cnn神经网络的训练；
将完成训练后的maskr-cnn神经网络作为工件磨损检测模型。
另一方面，提供一种基于深度学习的工件磨损检测系统，包括：
样本图像获取模块，用于获取样本工件在各类磨损状态下的样本图像；
特征集生成模块，用于标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集；
模型训练模块，用于将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型；
缺陷检测模块，用于将待检测工件的图像输入所述工件磨损检测模型进行自动检测，识别待检测工件的缺陷类型。
进一步，所述表面缺陷类型包括：磨粒磨损、粘着磨损、表面疲劳磨损、腐蚀磨损和微动磨损。
进一步，所述特征集生成模块还用于：
对所述样本图像进行尺寸归一化处理，生成归一化图像；
使用双边滤波剔除所述归一化图像中包含的噪声；
沿逆时针方向将所述归一化图像旋转90°，并对所述归一化图像进行随机缩放和裁剪，以增强所述图像特征集的数据。
进一步，所述模型训练模块还用于：
提取所述图像特征集中的缺陷区域，作为标注框；
将所述图像特征集输入maskr-cnn神经网络进行训练，得到表面缺陷的结果框；
采用多任务损失函数计算所述结果框和所述标注框的偏差，所述多任务损失函数包括分类损失函数和回归损失函数，当所述偏差低于设定阈值时，则完成对maskr-cnn神经网络的训练；
将完成训练后的maskr-cnn神经网络作为工件磨损检测模型。
本发明的有益效果是：本发明公开一种基于深度学习的工件磨损检测方法及系统，所述方法为：首先获取样本工件在各类磨损状态下的样本图像；接着标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集；将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型；通过将待检测工件的图像输入所述工件磨损检测模型进行自动检测，识别待检测工件的缺陷类型。本发明还相应的提供了基于深度学习的工件磨损检测系统。本发明能够实现对工件磨损的自动检测，提高了工件状态的检测效率，节省了人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一种基于深度学习的工件磨损检测方法的流程示意图；
图2是本发明实施例中步骤s200的流程示意图；
图3是本发明实施例中步骤s300的流程示意图；
图4是本发明实施例一种基于深度学习的工件磨损检测系统的结构示意图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
参考图1，如图1所示为一种基于深度学习的工件磨损检测方法，包括以下步骤：
步骤s100、获取样本工件在各类磨损状态下的样本图像。
在一个典型的实施例中，所述表面缺陷类型包括：磨粒磨损、粘着磨损、表面疲劳磨损、腐蚀磨损和微动磨损，所述样本图像为样本工件的表面图像。
步骤s200、标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集。
本实施例中，可使用yolo_mark图像检测标注工具对已知目标图像进行标注位置以及类型，可通过标注所述样本图像中缺陷的最小外接矩形作为缺陷区域。
步骤s300、将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型。
步骤s400、将待检测工件的图像输入所述工件磨损检测模型进行自动检测，识别待检测工件的缺陷类型。
本实施例采用的maskr-cnn神经网络是一种通用对象实例分割框架(objectinstancesegmentation)，maskr-cnn神经网络不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果，maskr-cnn神经网络基于fasterr-cnn神经网络进行扩展，并行地在boundingboxrecognition分支上添加了一个用于预测目标掩模(objectmask)的新分支。具体来说，对于每一个候选区域，fasterr-cnn有两个输出，一个是类别标签，另一个是矩形框坐标信息。maskr-cnn目标检测就是在fasterr-cnn基础上，加了第三个分支用于输出objectmask即分割出物体。maskr-cnn目标检测是采用了两个步骤，第一个步骤就是提取候选区域，在第二个步骤中平行于预测类别和坐标信息，在输出类别和框偏移的同时对于每个候选区域，所述maskr-cnn输出一个二值mask，用mask做关键点检测，其中，所述mask是为每个实例生成一个高质量的分割掩码。
本实施例中，首先获取样本工件在各类磨损状态下的样本图像；接着标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集，由于的类型有限，本实施例采用预先标注的方式，便于后续快速进行模型训练；将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型；通过将待检测工件的图像输入所述工件磨损检测模型进行自动检测，识别待检测工件的缺陷类型。本发明还相应的提供了基于深度学习的工件磨损检测系统，本发明通过对工件磨损的特征图像进行分类标注，采用maskr-cnn神经网络进行训练，从而获得工件磨损检测模型，能够实现对工件磨损的自动检测，提高了工件状态的检测效率，节省了人力成本。
参考图2，在一个改进的实施例中，所述步骤s200还包括：
步骤s210、对所述样本图像进行尺寸归一化处理，生成归一化图像；
步骤s220、使用双边滤波剔除所述归一化图像中包含的噪声；
步骤s230、沿逆时针方向将所述归一化图像旋转90°，并对所述归一化图像进行随机缩放和裁剪，以增强所述图像特征集的数据。
本实施例采用的双边滤波器是一种可以保边去噪的滤波器，也是一种加权平均滤波器，与高斯滤波不同的是，其滤波核是由两个函数构成，一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数。使用双边滤波的好处在于：在图像的平坦区域，像素值变化很小，对应的像素范围域权重接近于1，此时空间域权重起主要作用，相当于进行高斯模糊；在图像的边缘区域，像素值变化很大，像素范围域权重变大，从而保持了边缘的信息。
参考图3，在一个优选的实施例中，所述步骤s300包括：
步骤s310、提取所述图像特征集中的缺陷区域，作为标注框。
步骤s320、将所述图像特征集输入maskr-cnn神经网络进行训练，得到表面缺陷的结果框。
步骤s330、采用多任务损失函数计算所述结果框和所述标注框的偏差，当所述偏差低于设定阈值时，则完成对maskr-cnn神经网络的训练。
其中，所述多任务损失函数包括分类损失函数和回归损失函数。
步骤s340、将完成训练后的maskr-cnn神经网络作为工件磨损检测模型。
本实施例中，通过将maskr-cnn神经网络训练得到的结果框与作为测试标准的标注框进行比较，根据二者的偏差，对maskr-cnn神经网络进行迭代，当满足设定阈值时，完成对maskr-cnn神经网络的训练，可控制对maskr-cnn神经网络的训练次数，又获得准确性较高的工件磨损检测模型。其中，用于与所述偏差进行比较的设定阈值可通过人工设定，为保证训练结果的准确性，所述设定阈值不超过10％。
本实施例中，maskr-cnn神经网络进行训练的步骤为：
(1)将图像特征集输入到一个预训练好的resnet网络中，获得对应的特征图；
(2)对特征图中的每一点设定多个roi(regionofinterest，感兴趣区域)，从而获得多个候选的roi；
(3)将候选的roi送入rpn网络进行二值分类(分为前景或背景)和bb回归，过滤掉一部分候选的roi；
(4)对这些剩下的roi进行roialign操作(即先将原图和特征图的像素对应起来，然后将特征图和固定的特征对应起来)；
(5)对这些roi进行分类(n类别分类)、bb回归和mask生成(在每一个roi里面进行fcn操作)。
参考图4，本发明实施例还提供一种基于深度学习的工件磨损检测系统，包括：
样本图像获取模块100，用于获取样本工件在各类磨损状态下的样本图像；
特征集生成模块200，用于标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集；
模型训练模块300，用于将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型；
缺陷检测模块400，用于将待检测工件的图像输入所述工件磨损检测模型进行自动检测，识别待检测工件的缺陷类型。
在一个优选的实施例中，所述表面缺陷类型包括：磨粒磨损、粘着磨损、表面疲劳磨损、腐蚀磨损和微动磨损。
在一个优选的实施例中，所述特征集生成模块200还用于：
对所述样本图像进行尺寸归一化处理，生成归一化图像；
使用双边滤波剔除所述归一化图像中包含的噪声；
沿逆时针方向将所述归一化图像旋转90°，并对所述归一化图像进行随机缩放和裁剪，以增强所述图像特征集的数据。
在一个优选的实施例中，所述模型训练模块300还用于：
提取所述图像特征集中的缺陷区域，作为标注框；
将所述图像特征集输入maskr-cnn神经网络进行训练，得到表面缺陷的结果框；
采用多任务损失函数计算所述结果框和所述标注框的偏差，所述多任务损失函数包括分类损失函数和回归损失函数，当所述偏差低于设定阈值时，则完成对maskr-cnn神经网络的训练；
将完成训练后的maskr-cnn神经网络作为工件磨损检测模型。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件的实现方式，以嵌入式软件加载到处理器中，以有效利用各种传感器采集的数据，进行基于深度学习的工件磨损检测。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。
所述处理器可以是中央处理单元(central-processing-unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital-signal-processor，dsp)、专用集成电路(application-specific-integrated-circuit，asic)、现场可编程门阵列(field-programmable-gate-array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于深度学习的工件磨损检测系统的控制中心，利用各种接口和线路连接整个基于深度学习的工件磨损检测系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于深度学习的工件磨损检测系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart-media-card，smc)，安全数字(secure-digital，sd)卡，闪存卡(flash-card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
1.一种基于深度学习的工件磨损检测方法，其特征在于，包括：
获取样本工件在各类磨损状态下的样本图像；
标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集；
将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型；
将待检测工件的图像输入所述工件磨损检测模型进行自动检测，识别待检测工件的缺陷类型。
2.根据权利要求1所述的一种基于深度学习的工件磨损检测方法，其特征在于，所述表面缺陷类型包括：磨粒磨损、粘着磨损、表面疲劳磨损、腐蚀磨损和微动磨损。
3.根据权利要求2所述的一种基于深度学习的工件磨损检测方法，其特征在于，所述标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集这一步骤，还包括：
对所述样本图像进行尺寸归一化处理，生成归一化图像；
使用双边滤波剔除所述归一化图像中包含的噪声；
沿逆时针方向将所述归一化图像旋转90°，并对所述归一化图像进行随机缩放和裁剪，以增强所述图像特征集的数据。
4.根据权利要求3所述的一种基于深度学习的工件磨损检测方法，其特征在于，所述将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型，包括：
提取所述图像特征集中的缺陷区域，作为标注框；
将所述图像特征集输入maskr-cnn神经网络进行训练，得到表面缺陷的结果框；
采用多任务损失函数计算所述结果框和所述标注框的偏差，所述多任务损失函数包括分类损失函数和回归损失函数，当所述偏差低于设定阈值时，则完成对maskr-cnn神经网络的训练；
将完成训练后的maskr-cnn神经网络作为工件磨损检测模型。
5.一种基于深度学习的工件磨损检测系统，其特征在于，包括：
样本图像获取模块，用于获取样本工件在各类磨损状态下的样本图像；
特征集生成模块，用于标注所述样本图像的表面缺陷类型和缺陷区域，生成样本工件的图像特征集；
模型训练模块，用于将所述图像特征集输入到maskr-cnn神经网络进行训练，生成工件磨损检测模型；
缺陷检测模块，用于将待检测工件的图像输入所述工件磨损检测模型进行自动检测，识别待检测工件的缺陷类型。
6.根据权利要求5所述的一种基于深度学习的工件磨损检测系统，其特征在于，所述表面缺陷类型包括：磨粒磨损、粘着磨损、表面疲劳磨损、腐蚀磨损和微动磨损。
7.根据权利要求6所述的一种基于深度学习的工件磨损检测系统，其特征在于，所述特征集生成模块还用于：
对所述样本图像进行尺寸归一化处理，生成归一化图像；
使用双边滤波剔除所述归一化图像中包含的噪声；
沿逆时针方向将所述归一化图像旋转90°，并对所述归一化图像进行随机缩放和裁剪，以增强所述图像特征集的数据。
8.根据权利要求7所述的一种基于深度学习的工件磨损检测系统，其特征在于，所述模型训练模块还用于：
提取所述图像特征集中的缺陷区域，作为标注框；
将所述图像特征集输入maskr-cnn神经网络进行训练，得到表面缺陷的结果框；
采用多任务损失函数计算所述结果框和所述标注框的偏差，所述多任务损失函数包括分类损失函数和回归损失函数，当所述偏差低于设定阈值时，则完成对maskr-cnn神经网络的训练；
将完成训练后的maskr-cnn神经网络作为工件磨损检测模型。
技术总结