本发明涉及烟支生产技术领域，尤其涉及一种乱序烟支的识别系统及方法。
背景技术：
在卷烟制品生产过程中，由于生产场地原因，卷烟机(如型号：zj17、zj116、m5)生产出来的合格烟支需要由皮带、履带、电机配合作用经过长距离传输才能到达包装机，由包装机完成包装工序形成卷烟成品。烟支传输过程复杂，烟支流容易受到过道拉扯、阻塞，导致其排列乱序，而乱序的烟支会对烟支质量产生较大的影响、导致烟支触皱、变形、刮破，而在包装机中缺少与之对应的检测手段，给产品质量带来风险，一旦缺陷产品流入市场将损害消费者利益。现有主要通过卷接包机组操作人员对乱序烟支检测的方法为人工用肉眼观察，进而识别。这种人工检测对于质检行为判定存在以下缺陷：(1)因为乱序烟支出现的随机性，操作人员需要对过道进行不断的观察，耗费大量的时间与精力。(2)如果需要对乱序烟支产生的数量、时间等相关因素进行统计分析，人工观察对统计结果的增加、删除、修改、查看极其不便，浪费大量的人力、物力、管理资源。(3)人工观察无法实时分析。
技术实现要素：
本发明提供一种乱序烟支的识别系统及方法，解决现有烟支生产时需要通过人工检测乱序烟支，易造成烟支质量问题，给产品质量管理带来风险。从根本上杜绝了由烟支乱序原因产生的质量隐患，保证了产品质量。
为实现以上目的，本发明提供以下技术方案：
一种乱序烟支的识别系统，包括：plc控制器、工业相机、图像处理装置和光电耦合器；
所述工业相机的控制端与所述plc控制器的输出端相连，所述工业相机通过总线与所述图像处理装置相连，所述图像处理装置的输出端分别与所述光电耦合器的输入端和所述plc控制器的输入端相连；
所述plc控制器用于控制所述工业相机对烟支流通道中的烟支进行拍照，以获得烟支排序图像；
所述图像处理装置用于对所述烟支排序图像按设定算法进行处理，并根据处理后的图像判断是否存在乱序的烟支，如果是，则发出高电平给所述光电耦合器，使所述光电耦合器发送使能信号，以识别出乱序的烟支。
优选的，还包括：工控机；
所述工控机与所述plc控制器信号连接，用于显示所述烟支排序图像及所述图像装置所处理过的图像，并在烟支流通道存在乱序烟支时显示和/或语音提醒操作人员。
优选的，还包括：吹风电磁阀；
所述吹风电磁阀的控制端与所述光电耦合器的输出端相连，在所述光电耦合器的输出端输出高电平时，所述吹风电磁阀导通烟支流通道的吹扫风孔，使吹扫风将乱序的烟支吹出烟支流通道。
优选的，所述图像处理装置包括：图像滤波单元，所述图像滤波单元对烟支排序图像进行滤波处理，以去除图像中的噪声。
优选的，所述图像处理装置还包括：图像样本生成单元，所述图像样本生成单元用于对烟支排序图像进行数据提升，以形成一系列提升图像样本。
优选的，所述图像处理装置还包括：图像特征比对单元，所述图像特征比对单元用于提取图像特征图，并通过对特征图进行灰度比较、边缘特征比较、连通域面积比较，进而判断是否存在乱序的烟支。
优选的，所述图像处理装置还包括：神经网络识别单元；
所述神经网络识别单元用于将所述提升图像样本作为预设的神经网络模型的输入样本，并通过所述神经网络模型进行学习训练，进而判断所述提升图像样本中是否存在乱序的烟支。
本发明还提供一种乱序烟支的识别方法，包括：
在烟支流通道中设置工业相机，并控制所述工业相机对烟支流通道中的烟支进行拍照，以获得烟支排序图像；
对所述烟支排序图像按设定算法进行图像处理，并根据处理后的图像判断是否存在乱序的烟支；
如果是，则发出高电平给光电耦合器，使所述光电耦合器发送使能信号，以识别出乱序的烟支。
优选的，所述对所述烟支排序图像按设定算法进行图像处理，并根据处理后的图像判断是否存在乱序的烟支，包括：
对所述烟支排序图像进行滤波处理，以去除图像中的噪声；
对所述烟支排序图像进行平移、旋转、翻转、拉升变化，以形成一系列提升图像样本；
将所述提升图像样本作为预设的神经网络模型的输入样本，并通过所述神经网络模型进行学习训练，进而判断所述提升图像样本中是否存在乱序的烟支。
优选的，所述神经网络模型包括：
第一层为输入层，将所述这提升图像样本变成矩阵输入网络；
设置3个卷积层和2个全连接层，经过卷积核卷积后，产生特征矩阵；
采用激活函数对每个节点进行计算，产生激活矩阵；
定义损失函数，并判断损失函数值是否达到设定值，如果是，则训练结束，否则返回输入层继续训练。
本发明提供一种乱序烟支的识别系统及方法，采用工业相机对烟支流输送通道进行拍照，通过图像处理装置进行乱序烟支的识别算法，判断过道中是否存在乱序烟支，如果有乱序烟支，则通过工控机对操作人员进行提醒。解决现有烟支生产时需要通过人工检测乱序烟支，易造成烟支质量问题，给产品质量管理带来风险。从根本上杜绝了由烟支乱序原因产生的质量隐患，保证了产品质量。
附图说明
为了更清楚地说明本发明的具体实施例，下面将对实施例中所需要使用的附图作简单地介绍。
图1是本发明提供的一种乱序烟支的识别系统示意图。
图2是实施例中图像滤波后的效果对比图。
图3是实施例提供的图像进行数据提升处理的示意图。
图4是本发明提供的一种乱序烟支的识别方法流程图；
图5是本发明实施例提供的神经网络模型的训练示意图。
附图标记
j光电耦合器
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
针对当前对烟支生产时易因烟支乱序造成质量问题，本发明提供一种乱序烟支的识别系统，采用工业相机对烟支流输送通道进行拍照，通过图像处理装置进行乱序烟支的识别算法，判断过道中是否存在乱序烟支，如果有乱序烟支，则通过工控机对操作人员进行提醒。解决现有烟支生产时需要通过人工检测乱序烟支，易造成烟支质量问题，给产品质量管理带来风险。从根本上杜绝了由烟支乱序原因产生的质量隐患，保证了产品质量。
如图1所示，一种乱序烟支的识别系统，包括：plc控制器、工业相机、图像处理装置和光电耦合器j。所述工业相机的控制端与所述plc控制器的输出端相连，所述工业相机通过总线与所述图像处理装置相连，所述图像处理装置的输出端分别与所述光电耦合器j的输入端和所述plc控制器的输入端相连。所述plc控制器用于控制所述工业相机对烟支流通道中的烟支进行拍照，以获得烟支排序图像。所述图像处理装置用于对所述烟支排序图像按设定算法进行处理，并根据处理后的图像判断是否存在乱序的烟支。如果是，则发出高电平给所述光电耦合器，使所述光电耦合器发送使能信号，以识别出乱序的烟支。
具体地，硬件主要包括以下几个部分：工业相机、光电耦合器、plc控制器和图像处理装置。工控机品牌型号选用为：智能相机选用品牌为普密斯(pomeas)工业相机，型号为vp-ccn-1000g11csc。光电耦合器选用品牌为亿光光耦，型号为光耦6n1356n1366n137。plc控制器的型号为西门子(siemens-1000)。如图1所示：工业相机0、1号引脚分别接入0v、24v，2号端口与图像处理模块连接。图像处理模块的输出端连接plc中x01输如引脚相连接，同时并联接入光电耦合信号输入引脚。光电耦合输出端连接吹风电磁阀。plc的x04输出口连接工业相机拍照触发使能信号，使能信号中并入连接光源。同时，所有元器件接地端共地连接。由工业相机对烟支流输送通道进行拍照，并通过图像处理装置进行识别，进而判断烟支流通道中是否存在乱序烟支，如果有乱序烟支，则通过工控机对操作人员进行提醒。从根本上杜绝了由烟支乱序原因产生的质量隐患，保证了产品质量。
进一步，该系统还包括：工控机；所述工控机与所述plc控制器信号连接，用于显示所述烟支排序图像及所述图像装置所处理过的图像，并在烟支流通道存在乱序烟支时显示和/或语音提醒操作人员。
该系统还包括：吹风电磁阀；所述吹风电磁阀的控制端与所述光电耦合器的输出端相连，在所述光电耦合器的输出端输出高电平时，所述吹风电磁阀导通烟支流通道的吹扫风孔，使吹扫风将乱序的烟支吹出烟支流通道。
具体地，其工作过程为：plc通过x05端口向工业相机发出拍照使能信号，同时光源点亮，工业相机接收到使能信号拍照。将图片压缩为jpeg格式并发送至图像处理装置。通过图像处理装置对图像进行推理运算，判断图片中是否有乱序烟支。如果图像中有乱序烟支，则将信号通过输出口输送至光电耦合器信号输入口，此时，光电耦合器输出口输出信号，吹风电磁阀导通，将乱序烟支吹出烟支流通道，同时，通过工控机屏幕提醒操作工人此时烟支流过道中有乱序烟支产生。
所述图像处理装置包括：图像滤波单元，所述图像滤波单元对烟支排序图像进行滤波处理，以去除图像中的噪声。
考虑到图像在生产环境中采集，受到烟末、灰尘等特殊环境因素影响，图像中会有噪声产生，因此采用双边滤波法对图像进行滤波。滤波效果如图2所示。
进一步，所述图像处理装置还包括：图像样本生成单元，所述图像样本生成单元用于对烟支排序图像进行数据提升，以形成一系列提升图像样本。
如图3所示，对图像进行平移、旋转、翻转、拉升等等数据提升手段对图像进行运算，能有效阻止模型过拟合。
在实际应用中，图像处理装置还包括：图像特征比对单元，用于提取图像特征图，并通过对特征图进行灰度比较、边缘特征比较、连通域面积比较，进而判断是否存在乱序的烟支。
更进一步，所述图像处理装置还包括：神经网络识别单元；所述神经网络识别单元用于将所述提升图像样本作为预设的神经网络模型的输入样本，并通过所述神经网络模型进行学习训练，进而判断所述提升图像样本中是否存在乱序的烟支。
进一步，所述图像处理装置采用jetsonnano深度学习加速推理模块。
该系统还包括：直流电源；所述直流电源作为所述工业相机和所述光电耦合器的24v供电电源。
该系统还包括：led灯；
所述led灯与所述plc控制器的输出端相连，在所述工业相机进行拍照时进行点亮。其中led灯的电源可由直流电源供电。
可见，本发明提供一种乱序烟支的识别系统，采用工业相机对烟支流输送通道进行拍照，通过图像处理装置进行乱序烟支的识别算法，判断过道中是否存在乱序烟支，如果有乱序烟支，则通过工控机对操作人员进行提醒。解决现有烟支生产时需要通过人工检测乱序烟支，易造成烟支质量问题，给产品质量管理带来风险。从根本上杜绝了由烟支乱序原因产生的质量隐患，保证了产品质量。
相应地，如图4所示，本发明还提供本发明还提供一种乱序烟支的识别方法，包括：
s1：在烟支流通道中设置工业相机，并控制所述工业相机对烟支流通道中的烟支进行拍照，以获得烟支排序图像；
s2：对所述烟支排序图像按设定算法进行图像处理，并根据处理后的图像判断是否存在乱序的烟支；
s3：如果是，则发出高电平给光电耦合器，使所述光电耦合器发送使能信号，以识别出乱序的烟支。
进一步，所述对所述烟支排序图像按设定算法进行图像处理，并根据处理后的图像判断是否存在乱序的烟支，包括：
s21：对所述烟支排序图像进行滤波处理，以去除图像中的噪声；
s22：对所述烟支排序图像进行平移、旋转、翻转、拉升变化，以形成一系列提升图像样本；
s23：将所述提升图像样本作为预设的神经网络模型的输入样本，并通过所述神经网络模型进行学习训练，进而判断所述提升图像样本中是否存在乱序的烟支。
更进一步，所述神经网络模型包括：第一层为输入层，将所述这提升图像样本变成矩阵输入网络；设置3个卷积层和2个全连接层，经过卷积核卷积后，产生特征矩阵；采用激活函数对每个节点进行计算，产生激活矩阵；定义损失函数，并判断损失函数值是否达到设定值，如果是，则训练结束，否则返回输入层继续训练。
具体地，如图5所示，该神经网络模型的前向推导过程为：在模型结构中，第一层为输入层input：将640*480*3(长：640像素，宽：480像素，rgb3通道)格式的图像变为150*150*3(长：150像素，宽：150像素，rgb3通道)的矩阵a输入网络。
模型中采用了3个卷积层(conv2d)，卷积层使用的位置如图5所示，其通用计算方法如下：矩阵a为计算模型中第k层conv2d的输入,fc为当前卷积层中c个有m×m感受野的卷积核
式中bc为偏置项，valid′为第i个卷积计算有效值。经过卷积核卷积后，产生c个特征矩阵。
模型中采用了5个激活层(activation),激活层采用relu函数对每个节点进行计算，其计算过程如下：矩阵b为计算模型中第i层激活层的输入,，每一层计算结果
经过激活层计算，产生c个激活矩阵。
模型中采用了3个最大池化层(maxpooling)，最大池化层的使用位置如图所示。其计算过程如下：矩阵c为模型中第p层池化层pp的输入，池化感受野为n×n，每个池化层输出pp计算如公式：
pp＝β·down(c) bp
全连接层(dense)：全连接层位于模型的最后三层，其输入为1×n维向量。向量v为第d层全连接层的输入，全连接层dd的计算公式为：
z＝w·v bd
其中，w为全连接层的权重向量，bd为全连接层的偏置项。
输出层(activation_5)：softmax能将一个含任意实数的k维向量v压缩到另一个k维实向量σ(v)中，使得每一个元素都在(0，1)之间，并且所有元素之和为1。向量v为输出层的输入，其计算公式为：
为了要求模型具有良好的准确率、召回率、效率、泛化性能，需要考虑到以下因素：1.在检测过程中，被检测的烟支过道，正常的情况比较多，出现乱序烟支的情况比较少，乱序烟支图片样本的获取比较困难。2.对于深度学习方法而言，所能够获取到的所有样本较少。
可使用自定义损失函数，其计算过程如下公式：
反向传播的过程在于使得损失函数j(p，σ(v))值最小，p为输入样本标签，如果p为正样本，则采用标准交叉熵函数进行损失函数计算。为了解决负样本较难获取，数量较少的问题，给标准交叉熵函数适当的增益τ，τ值在[1,10]区间之间，τ值越大，说明模型对负样本的敏感程度越大，模型效果越好。
在反向传播过程中，首先由如下公式计算模型输出误差：
其中：
其次，使用下一层误差
δl＝((wl 1)tδl 1)⊙σ‘(zl)
再次，损失函数关于网络中任意偏置的变化率为：
最后，损失函数关于任何一个权重的变化率为：
到此，模型完成训练。
在实际应用中，设计如下试验：
实验一：在不同样本数量下，使用2倍交叉验证法获取本发明的分类正确率。
实验二：在不同样本数量下，使用2倍交叉验证法获取vgg16,vgg19,resnet50,resnet101分类正确率。
实验三：讨论实验一、实验二在相同样本输入条件下的推理效率。
实验四：在样本数确定的条件下，分别使用不同的损失函数进行比较，使用2倍交叉验证法获取推理正确率。
实验一到三的结果统一表示在表1中。由表一可以得出，样本数量与vgg16、vgg19、resnet50、resnet101检测准确率为正相关关系，当样本量达到30000时，本发明所取得准确率虽不及resnet101，但效率为resnet101模型的42.85倍，取得了良好的效果。满足检测效率的需求。而当样本数量较小时，本模型的检测精度明显高于resnet101，说明模型具有良好的泛化性能。
表1
实验四的结果统一表示在表2中，由表可知，在样本数量一定的情况下，自定义损失函数取得了较高正确率。
表2
可见，本发明提供一种乱序烟支的识别方法，采用工业相机对烟支流输送通道进行拍照，通过图像处理装置进行乱序烟支的识别算法，判断过道中是否存在乱序烟支，如果有乱序烟支，则通过工控机对操作人员进行提醒。解决现有烟支生产时需要通过人工检测乱序烟支，易造成烟支质量问题，给产品质量管理带来风险。从根本上杜绝了由烟支乱序原因产生的质量隐患，保证了产品质量。
以上依据图示所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。
1.一种乱序烟支的识别系统，其特征在于，包括：plc控制器、工业相机、图像处理装置和光电耦合器；
所述工业相机的控制端与所述plc控制器的输出端相连，所述工业相机通过总线与所述图像处理装置相连，所述图像处理装置的输出端分别与所述光电耦合器的输入端和所述plc控制器的输入端相连；
所述plc控制器用于控制所述工业相机对烟支流通道中的烟支进行拍照，以获得烟支排序图像；
所述图像处理装置用于对所述烟支排序图像按设定算法进行处理，并根据处理后的图像判断是否存在乱序的烟支，如果是，则发出高电平给所述光电耦合器，使所述光电耦合器发送使能信号，以识别出乱序的烟支。
2.根据权利要求1所述的乱序烟支的识别系统，其特征在于，还包括：工控机；
所述工控机与所述plc控制器信号连接，用于显示所述烟支排序图像及所述图像装置所处理过的图像，并在烟支流通道存在乱序烟支时显示和/或语音提醒操作人员。
3.根据权利要求2所述的乱序烟支的识别系统，其特征在于，还包括：吹风电磁阀；
所述吹风电磁阀的控制端与所述光电耦合器的输出端相连，在所述光电耦合器的输出端输出高电平时，所述吹风电磁阀导通烟支流通道的吹扫风孔，使吹扫风将乱序的烟支吹出烟支流通道。
4.根据权利要求3所述的乱序烟支的识别系统，其特征在于，所述图像处理装置包括：图像滤波单元，所述图像滤波单元对所述烟支排序图像进行滤波处理，以去除图像中的噪声。
5.根据权利要求4所述的乱序烟支的识别系统，其特征在于，所述图像处理装置还包括：图像样本生成单元，所述图像样本生成单元用于对烟支排序图像进行数据提升，以形成一系列提升图像样本。
6.根据权利要求5所述的乱序烟支的识别系统，其特征在于，所述图像处理装置还包括：图像特征比对单元，所述图像特征比对单元用于提取图像特征图，并通过对特征图进行灰度比较、边缘特征比较、连通域面积比较，进而判断是否存在乱序的烟支。
7.根据权利要求6所述的乱序烟支的识别系统，其特征在于，所述图像处理装置还包括：神经网络识别单元；
所述神经网络识别单元用于将所述提升图像样本作为预设的神经网络模型的输入样本，并通过所述神经网络模型进行学习训练，进而判断所述提升图像样本中是否存在乱序的烟支。
8.一种乱序烟支的识别方法，其特征在于，包括：
在烟支流通道中设置工业相机，并控制所述工业相机对烟支流通道中的烟支进行拍照，以获得烟支排序图像；
对所述烟支排序图像按设定算法进行图像处理，并根据处理后的图像判断是否存在乱序的烟支；
如果是，则发出高电平给光电耦合器，使所述光电耦合器发送使能信号，以识别出乱序的烟支。
9.根据权利要求8所述的乱序烟支的识别方法，其特征在于，所述对所述烟支排序图像按设定算法进行图像处理，并根据处理后的图像判断是否存在乱序的烟支，包括：
对所述烟支排序图像进行滤波处理，以去除图像中的噪声；
对所述烟支排序图像进行平移、旋转、翻转、拉升变化，以形成一系列提升图像样本；
将所述提升图像样本作为预设的神经网络模型的输入样本，并通过所述神经网络模型进行学习训练，进而判断所述提升图像样本中是否存在乱序的烟支。
10.根据权利要求9所述的乱序烟支的识别方法，其特征在于，所述神经网络模型包括：
第一层为输入层，将所述这提升图像样本变成矩阵输入网络；
设置3个卷积层和2个全连接层，经过卷积核卷积后，产生特征矩阵；
采用激活函数对每个节点进行计算，产生激活矩阵；
定义损失函数，并判断损失函数值是否达到设定值，如果是，则训练结束，否则返回输入层继续训练。
技术总结