本发明涉及信息技术领域，具体涉及基于计算机视觉的彩色标签缺陷检测与质量评级。
背景技术：
印刷标签缺陷检测在我国印刷行业有着巨大的应用，印刷标签广泛应用于人们的生活，在各种产品上都可以看到标签。在当前现状下，对于小型厂家，由于大型印刷标签缺陷检测系统包含各种昂贵的硬件，而印刷标签本身成本低廉使得小型标签印刷厂家无法承受设备昂贵的价格，故许多小型标签印刷厂家只能采用一些人工的方法来对标签的缺陷进行检测处理。目前国内对于印刷标签缺陷检测的研究随着机器视觉的不断发展有了很大的进步，但很多方法只是单纯地使用了机器视觉的算法，而没有考虑到标签印刷机的一些特性，故不结合标签印刷机的特性而直接使用计算机视觉算法无法达到良好识别检测的效果，另一方面，目前市面上的标签多数是彩色的，目前还没有一种效果很好的方法可以对标签彩色部分的缺陷进行有效地检测。
技术实现要素：
本发明架设在印刷标签生产线上，通过对经过传送带的彩色印刷标签进行图像采集，之后对采集的图像进行处理分析，最终得出彩色标签的质量指标，用户可以基于此指标并设定指标阈值来对彩色标签质量进行评级并确定其是否为缺陷标签，本发明可以有效地检测彩色印刷标签的颜色缺陷和非彩色缺陷。
本发明采取的技术方案为：一种彩色印刷标签缺陷检测与质量评级的方法，包括彩色印刷标签图像采集模块、彩色印刷标签结构缺陷处理模块、彩色印刷标签颜色缺陷处理模块和彩色印刷标签质量评级模块。
所述技术方案步骤包括以下两部分。
结构缺陷检测包括以下步骤。
步骤一：使用改进的标定方法(基于张正友标定法，在实际环境中，保持相机和标签的相对位置不变，在计算时将相机坐标和世界坐标的z方向参数设置为0，可以有效降低计算量)对面阵相机的畸变进行矫正，然后使用矫正得到的参数对面阵相机采集到的彩色印刷标签图像s1进行畸变矫正得到s2，最后分割s2上的待测彩色印刷标签图像得到s3。
步骤二：选取s3中无损彩色印刷标签图像制作标准模板t。
步骤三：在t中将彩色印刷标签的内容手动分割出来，得到彩色印刷标签的各部分内容模板t1，使用t1对所有待测图像进行模板匹配得到待测图像模板t2。
步骤四：使用改进的配准方法将t1与t2进行配准。
步骤五：将配准后的t1与t2进行差分并对差分结果做二值化处理得到图像s4。
步骤六：使用blob方法对s4进行分析并提取特征。
步骤七：基于svm方法对步骤六得到的特征进行训练，得到训练好的模型m。
步骤八：对步骤七模型判定有缺陷的图像，基于步骤六得到的一些特征，对其缺陷进行进一步判断，并基于此对缺陷进行评级。
作为优选，步骤一中，进行畸变矫正并获得参数之后，固定相机的位置。
进一步的，步骤三中，将分割好的彩色印刷标签的各部分内容加上一些备注，如文字部分、图案部分、渐变部分。
作为优选，步骤三中，只选取分割好的非彩色部分进行配准操作。
颜色缺陷检测包括以下步骤。
步骤一：首先将采集到的彩色印刷标签图像的颜色空间转为hsv颜色空间。
步骤二：使用阈值分割的方法将彩色印刷标签图像中的彩色部分分割出来。
步骤三：对于颜色部分缺陷检测，基于统计分析两幅图像h分量的差异，然后基于此差异判定是否包含颜色错印缺陷。
步骤四：对于颜色渐变部分缺陷检测，使用ransac结合最小二乘法对颜色渐变部分数据进行二次拟合，并基于二次拟合函数的参数，使用svm对参数进行训练，获得训练模型之后，对待检测彩色印刷标签进行同样操作，得到其二次拟合参数，并以此为训练好的模型的输入，最后以模型输出结果为依据判定该彩色印刷标签是否具有颜色渐变缺陷。
作为优选，步骤一中，可以先对采集到的彩色印刷标签图像进行光照补偿操作再进行后续操作。
本发明一种彩色印刷标签缺陷检测与质量评级的方法，与现有的技术相比，具有以下优势和创新点。
(1)现有的市面上的印刷标签缺陷检测方案需要造价昂贵的硬件设备和图像算法处理设备，本发明无需昂贵的硬件设备，对普通的面阵相机采集到的图像使用本发明改进的畸变矫正算法之后即可完成后续的处理操作。
(2)本发明使用快速特征点寻找算法，并对一些错误的特征点进行筛选，加快了特征点的寻找和匹配速度，使得配准的效率得到有效地提高。
(3)本发明对差分后得到的缺陷图像使用blob分析并进行了特征提取，使用机器学习的方法对特征进行训练，基于该方法可以对缺陷特征进行有效的学习，提高缺陷检测的准确率；另一方面，缺陷的特征作为评级的标准，可以使得用户根据实际对质量的需求进行缺陷级别阈值设定，有效减少资源浪费。
(4)针对彩色缺陷的检测，使用了基于统计的方法对其进行检测，该算法复杂度低，但检测效果良好，可以搭建于一些微型主机上，有效地降低厂家设备花费。
(5)针对彩色标签上颜色渐变部分，提出了一种颜色渐变缺陷检测的方法，该方法对颜色渐变进行建模，在建模过程中增加了算法的鲁棒性，可以有效的避免杂色的对渐变检测的影响，同时使用机器学习对参数进行训练，进一步加强了识别的准确率。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明彩色印刷标签分割示意图。
图2是本发明整个系统的架构示意图。
图3是本发明总体缺陷检测流程图。
其中图1中：1文字部分，2为彩色商标部分，3为彩色渐变部分，4为彩色部分。
其中图2中：1为光源，2为面阵相机，3为有线或无线传输单元，4为彩色印刷标签，5为传送带，6为处理主机。
具体实施方式
以下描述中，为了说明而不是限定，提出了一些阈值范围以及实验条件之类的具体细节，以便透彻理解本发明的实施。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本发明。
本实施方案的处理流程皆参考图3。
本实施方案所应用的场景如图2所示。
为了说明本发明所述的技术方案，下面通过具体实施步骤来说明。
步骤一：彩色印刷标签图像预处理。
(1)彩色印刷标签图像畸变矫正
为了降低整个系统的成本，故使用的相机为价格低廉的面阵相机，由于该类相机拍摄的图像存在一定的畸变，故在后续处理之前需要对采集到的图像进行畸变矫正，畸变矫正使用的方法为：固定相机的位置，然后使用其拍摄一幅标定板图像，通过分析标定板的实际位置与其在图像中的位置，得到其畸变模型及参数，最终使用该参数及模型对拍摄到的畸变图像进行矫正继而进行后续处理。
(2)标签图像的分割
如图2，在本例中传送带上一次通过的图像有6张，即一幅采集到的图像上包含6张标签，故首先需要将标签图像分别提取出来，在本发明中，使用了投影法对标签进行分割，具体实施步骤为：首先将图像转换到hsv空间，然后选取一种标签包含的颜色并获得其在hsv空间的范围值(如选择橙色，其范围为h：11～25，s：43～255，v：46～255)，对图像进行该范围内的颜色分割，得到只包含该颜色的图像，然后将其二值化，如果二值化后的图像有噪声污染，可以对其进行1～3次的中值滤波处理，将最后处理得到的图像在水平方向进行投影，得到其在水平方向的像素统计直方图，根据其分布选择分割范围，可以正确地将水平方向包含的标签图像分割出来，然后将其在竖直方向进行同样的处理，最终可以将一幅图像上的所有标签分割出来。
(3)标签图像配准
首先使用surf算法得到待配准的两幅图像的特征点序列(kp1，kp2)以及特征描述符序列(des1，des2)，然后使用k近邻算法在des1序列中找到的2个与des2序列最相似的匹配点组成的序列(des3)，设定一个阈值(本例为0.75)判断des3序列中两个量的比值是否小于该阈值，如果小于该阈值则认为该匹配是一个正确的匹配，接着对得到的正确的匹配序列使用ransac算法剔除一些错误的匹配之后，然后使用最终得到的匹配点序列计算两幅图像的单应性矩阵，最后根据得到的单应性矩阵对待配准图像进行透视变换，可以得到匹配好的两幅图像。
步骤二：非彩色缺陷的检测。
(1)制作标签图像模板
首先选取若干张(本例为10张，数目越多，模板越准确)已经分割好的没有缺陷的彩色印刷标签图像，对这些图像使用步骤一所述的配准方法进行配准操作，然后将这些图像对应像素相加得到的结果除以选取图像的数目，最终得到一幅标准模板图像。
(2)标签图像内容分割由于纸张的长度和标签打印机滚筒的长度有微小的误差，故每张打印好的彩色印刷标签内容的位置会出现一定的偏差，如果直接对其进行缺陷检测，会使得后续缺陷检测的准确率下降，故本发明首先将图像的待检测内容分割出来，再对其进行后续缺陷检测。分割示意图如图1所示，主要的分割方法是：在标准模板图像上将待检测的标签内容框选分割出来并为每个框选的部分打上标签(如文字部分、图像部分等)；使用框选分割出来的彩色印刷标签内容图像作为模板，用模板匹配的方法在待检测图像上进行匹配，得到分割好标签内容的待检测图像，其中，如果待检测彩色印刷标签分割得到的图像数目与模板图像分割得到的图像数目不一致，可以直接判定该图像有内容缺失缺陷。
(3)标签图像内容配准
将(2)中分割好的待检测彩色印刷标签图像内容与对应的分割好的模板彩色印刷标签图像内容分别进行配准，配准方法与预处理中的配准方法一致。
(4)标签图像内容差分
将配准好的待检测的彩色印刷标签内容图像与对应的模板彩色印刷标签图像内容进行差分处理，并对差分结果进行二值化处理。
(5)缺陷检测
使用blob方法对(4)中得到的差分后的二值图像进行分析，首先对缺陷的连通性进行分析，并对连通区域进行标记，然后计算各连通区域的特征量，主要包括。
缺陷区域面积：缺陷区域中总的像素点个数。
最小外接矩形面积：缺陷区域最小外接矩形的面积。
缺陷周长：缺陷区域中缺陷点的边界长度。
缺陷宽度：最小外接矩形的宽。
缺陷长度：最小外接矩形的长。
缺陷长宽比：缺陷长度与缺陷宽度的比值。
缺陷区域圆形度：缺陷面积与缺陷周长的平方的比值。
为了进一步提高缺陷检测的准确率，首先让用户给若干张标签图像打上标签(标签主要为有缺陷和无缺陷两种)，为了减少计算量，接下来只计算这些样本中面积最大的缺陷的以上7个特征，以这7个特征作为输入使用svm(支持向量机)对样本进行训练，得到训练好的模型，然后使用该模型对待测彩色印刷标签提取到的特征进行预测分类，同样的，预测时的输入也为待测彩色印刷标签连通区域面积最大的缺陷的7个特征，继而由用户设定阈值(本例为0.75)，最终根据阈值判定其有无缺陷。
(6)质量评级
质量评级主要分析缺陷特征，根据特征之间的关系确定缺陷的种类，进而根据种类分析其在标签中对应的缺陷，最终形成分级指标参考。本例中将缺陷分为点缺陷、面缺陷和线缺陷，评级主要参考的特征为：缺陷区域面积、最小外接矩形面积、缺陷周长、缺陷宽度、缺陷长度。
点缺陷，主要表现为文字部分的笔画中有空洞、边缘缺失或一些面积较小的笔画缺失等，评判时使用的特征为缺陷区域面积和缺陷周长，首先确定缺陷区域面积的阈值，其一般设定为匹配图像分辨率的一百分之一到二百分之一，具体可以根据图像的大小以及实际缺陷的大小情况进一步确定；然后确定第二个阈值，即缺陷区域面积与缺陷周长的比值，在本例中该比值设定为0.5～2。
线缺陷，主要表现为文字部分出现墨水滴溅、划痕、笔画中出现长条空洞等，评判该类缺陷使用的特征为缺陷区域面积、缺陷周长、缺陷宽度和缺陷长度，首先确定缺陷区域面积的阈值，其面积阈值的设定必须大于点缺陷面积的阈值，一般设定为匹配图像分辨率的一百分之一到五十分之一；然后确定第二个阈值，即缺陷周长与缺陷区域面积的比值，在本例中该比值设定为大于5；最后确定第三个阈值，缺陷长度和缺陷宽度的比值，取两者间最大的一个值与另一个做比值，该值的范围在本例中设定为大于10。
面缺陷，主要表现为文字部分出现大块墨水滴溅、笔画一处或多处出现缺失、笔画之间的空隙被墨水填充等，评判该类缺陷使用的特征为缺陷区域面积、缺陷宽度和缺陷长度，首先确定缺陷区域面积的阈值，该阈值在本例中设定为大于一百分之一；然后确定第二个阈值，缺陷长度和缺陷宽度的比值，取两者间最大的一个值与另一个做比值，该值的范围在本例中设定为小于20。
分级标准为。
一级：只有点缺陷。
二级：包含点缺陷和线缺陷。
三级：包含点缺陷、线缺陷和面缺陷。
步骤三：彩色缺陷检测。
(1)颜色空间转换
将采集到的彩色印刷标签图像的颜色空间从rgb转换为hsv。
(2)彩色部分分割
使用阈值分割的方法将彩色印刷标签中的彩色部分分割出来，在本例中，图像包含红、橙、黄三种颜色，故对彩色印刷标签hsv颜色空间进行如下阈值分割(以opencv的hsv空间颜色范围为例)。
红：h(0-10，156-180)，s(43-255)，v(46-255)。
橙：h(11-25)，s(43-255)，v(46-255)。
黄：h(26-34)，s(43-255)，v(46-255)。
进行以上分割之后，可以得到彩色印刷标签的已经分割好的三部分颜色。
(3)颜色错印缺陷检测
颜色错印使用基于颜色差值统计的方法，以图1中的部分4为例，首先将上述步骤提取好的颜色部分与模板对应的部分进行配准操作，然后分别计算两个特征参数：h分量总和的差值以及对应像素h分量差值的总和，设定这两个参数的阈值，同时满足这两个参数阈值的条件则判定无颜色缺陷。对于阈值的确定，可以根据实际颜色区域大小以及具体颜色进行实验确定，对于评级，可以根据实验结果结合用户需求，设定合理且满足用户需求的阈值。
(4)颜色渐变部分缺陷检测
颜色渐变部分的缺陷检测的步骤如下。
步骤一：为了减少拟合的计算量，对颜色渐变区域的h分量进行y方向叠加后除以叠加的行数，得到一个y值，然后以该列像素所在图像位置的横坐标为x值，组成一个二维向量，以此二维向量为输入，使用ransac算法对其进行二次拟合，得到二项式拟合参数a，b，c。
步骤二：获取100张有颜色渐变缺陷和100张无颜色渐变缺陷的样本，分别使用步骤一的方法求出这200张样本的a，b，c值，然后以此值为输入，有缺陷和无缺陷为其标签，使用svm对其进行训练，最终得到一个训练好的模型。
步骤三：对于一幅待检测的彩色印刷标签图像，将其做步骤一的处理，然后输入计算得到的a，b，c值至步骤二训练得到的模型中，根据设定的阈值(本例中为0.6)判定其是否有颜色渐变缺陷。
步骤四：对于有颜色渐变缺陷的彩色印刷标签，使用(3)中的方法对其进行计算及评级。
1.一种彩色印刷标签缺陷检测与质量评级方法，其特征在于，包括面阵相机图像采集及预处理步骤、彩色印刷标签非彩色缺陷检测步骤、彩色印刷标签一般彩色缺陷检测步骤、彩色印刷标签彩色渐变缺陷检测步骤和质量评级步骤；
所述面阵相机图像采集及预处理步骤采集的图像为：未粘贴的、置于传送带上的彩色印刷标签的24位真彩色图像；
所述面阵相机图像采集及预处理步骤依次通过：彩色印刷标签图像采集、采集图像畸变矫正、彩色印刷标签图像分割、彩色印刷标签图像配准、模板制作、彩色印刷标签图像内容分割；
所述彩色印刷标签非彩色缺陷检测步骤主要包括：
步骤一：使用改进的标定方法(基于张正友标定法，在实际环境中，保持相机和标签的相对位置不变，在计算时将相机坐标和世界坐标的z方向参数设置为0，可以有效降低计算量)对面阵相机导致的标定板图像畸变进行矫正，然后使用矫正得到的参数对面阵相机采集到的彩色印刷标签图像s1进行畸变矫正得到s2，最后分割s2上的待测彩色印刷标签图像得到s3；
步骤二：选取s3中无损彩色印刷标签图像制作标准模板t；
步骤三：为了消除标签内容位置偏移对后续处理结果造成的影响，需要在t中将彩色印刷标签的内容手动分割出来，得到彩色印刷标签的各部分内容模板t1，使用t1对所有待测图像进行模板匹配得到待测图像模板t2；
步骤四：使用改进的配准方法将t1与t2进行配准；改进的配准方法为：首先使用surf算法得到待配准的两幅图像的特征点序列(kp1，kp2)以及特征描述符序列(des1，des2)，然后使用k近邻算法在des1序列中找到的2个与des2序列最相似的匹配点组成的序列(des3)，设定一个阈值判断des3序列中两个量的比值是否小于该阈值，如果小于该阈值则认为该匹配是一个正确的匹配，接着对得到的正确的匹配序列使用ransac算法剔除一些错误的匹配之后，然后使用最终得到的匹配点序列计算两幅图像的单应性矩阵，最后根据得到的单应性矩阵对待配准图像进行透视变换，得到匹配好的两幅图像；
步骤五：将配准后的t1与t2进行差分并对差分结果做二值化处理后得到图像s4；然后使用blob方法对s4进行分析并提取特征；提取的特征包括：缺陷区域面积、最小外接矩形面积、缺陷周长、缺陷宽度、缺陷长度、缺陷长宽比、缺陷区域圆形度；
步骤六：基于svm方法对步骤六得到的7个特征进行训练，得到训练好的模型m1；
所述彩色印刷标签一般彩色缺陷检测步骤主要包括：
步骤一：颜色空间转换，将采集到的彩色印刷标签图像的颜色空间从rgb转换为hsv；
步骤二：彩色部分分割，使用阈值分割的方法将彩色印刷标签中的彩色部分分割出来；
步骤三：颜色错印缺陷检测，颜色错印使用基于颜色差值统计的方法，该方法的主要实施方式为：首先将待测标签图像提取出来的颜色部分与模板对应的部分进行配准操作，然后分别计算两个特征参数：hsv空间下的h分量总和的差值以及对应像素h分量差值的总和，设定这两个参数的阈值，同时满足这两个参数阈值的条件则判定无颜色缺陷；
所述彩色印刷标签彩色渐变缺陷检测步骤主要包括：
步骤一：为了减少拟合的计算量，对hsv颜色空间下的颜色渐变区域的h分量进行y方向叠加后除以叠加的行数，得到一个y值，然后以该列像素所在图像位置的横坐标为x值，组成一个二维向量，以此二维向量为输入，使用ransac算法对其进行二次拟合，得到二项式拟合参数a，b，c；
步骤二：使用二项式拟合参数a，b，c的值作为svm模型的训练输入，得到一个训练好的模型；
步骤三：对于一幅待检测的彩色印刷标签图像，获取其二项式拟合参数a，b，c的值并将其输入步骤二训练好的模型中，设定的阈值并判定其是否有颜色渐变缺陷；
所述质量评级步骤主要包括：根据各模块确定的阈值及条件分析得出最终缺陷的评级。
2.根据权利要求1所述一种彩色印刷标签缺陷检测与质量评级方法，其特征在于使用改进的标定方法对采集图像畸变进行矫正，是以实际检测环境中，固定相机的位置以及传送带的位置为准的。
3.根据权利要求1所述一种彩色印刷标签缺陷检测与质量评级方法，其特征在于避免彩色印刷标签内容相对位置偏移，使用对内容进行分割后再检测的方法对彩色印刷标签的内容进行更为准确的缺陷检测。
4.根据权利要求1所述一种彩色印刷标签缺陷检测与质量评级方法，其特征在于使用改进的配准方法，结合了surf、knn与ransac算法使得其与一般的配准比较兼具快速性和准确性。
5.根据权利要求1所述一种彩色印刷标签缺陷检测与质量评级方法，其特征在于使用svm的方法对提取的特征进行模型训练并设定预测分类的阈值。
6.根据权利要求1所述一种彩色印刷标签缺陷检测与质量评级方法，其特征在于对彩色印刷标签的颜色缺陷进行检测，使用了基于统计的方法，提取了统计分析的两个特征量：hsv空间下的h分量总和的差值以及对应像素h分量差值的总和。
7.根据权利要求1所述一种彩色印刷标签缺陷检测与质量评级方法，其特征在于对彩色印刷标签的颜色渐变缺陷进行检测，将颜色渐变数据化出处理，并视其变化可以拟合为二次函数，使用ransac算法对其数据进行二次拟合，得到二项式拟合参数a，b，c，并以此作为svm模型的训练输入，得到训练好的模型，对后续待测图像同样求取这三个参数，并将其输入模型判定其是否包含缺陷。
技术总结