镜面、类镜面物体表面缺陷检测方法与流程

专利2022-06-28  127


本发明涉及缺陷检测领域,具体涉及一种镜面、类镜面物体表面缺陷检测方法。



背景技术:

镜面、类镜面物体广泛存在于现代制造业中,如汽车涂装车身、玻璃面板、光学镜片等,缺陷检测是保证镜面物体表面质量的必要环节。

目前物体表面缺陷检测大多是采用:人工目视的方法,此方法主要依靠工人主观判断,存在漏检率高的问题,且人工目视的方法检测效率低,对人眼伤害较大,人工成本高;另一种检测方法为:相位测量偏折术(phasemeasuringdeflectometry,pmd),此方法向物体表面投射相位编码的条纹图像,通过解算反射图像相位实现缺陷检测区域识别;但是,由于缺陷区域存在相位信息丢失,因此相位测量偏折术检测方法无法直接实现对缺陷区域的空间定位。



技术实现要素:

针对上述问题,本发明提出一种镜面、类镜面物体表面缺陷检测方法,本方法利用双目系统及投影装置(相位测量偏折术),不仅可以获得镜面、类镜面物体表面相位信息,基于相位信息识别出缺陷区域;还能够利用标定信息解算出缺陷区域的三维信息,有效解决了:因缺陷区域相位信息丢失而无法对缺陷区域进行空间定位的技术难点。

一种镜面、类镜面物体表面缺陷检测方法,包括以下步骤:

1)对左、右相机及投影装置进行系统标定;投影装置向被测物表面投射光栅条纹,左、右相机采集投射在被测物表面的光栅条纹图像;

任选其中一部相机记为第一相机,另一相机记为第二相机,对第一相机采集到的图像进行处理,标记出缺陷区域;

2)利用最小外接图形框选所述缺陷区域,从所述最小外接图形的边缘中选取多个边缘点记为预选点集;

3)从所述预选点集中任选一点记为标记点,将其转换到世界坐标系下,得出三维坐标p1(xp1,yp1,zp1);通过绝对相位相等,得出点p1对应在投影装置中的点为q1,将其转换到世界坐标系下,得出三维坐标q1(xq1,yq1,zq1);

记所述标记点对应在被测物表面上的点为s1(xs1,ys1,zs1),其中,zs1=a×d,a为比例系数,d为第一相机的工作距;

4)计算矢量v1=s1(xs1,ys1,zs1)-p1(xp1,yp1,zp1)和w1=s1(xs1,ys1,zs1)-q1(xq1,yq1,zq1);

利用第一相机,得到点s1的法向量

记点s1对应在第二相机像平面中的点为p2,将其转换到世界坐标系下,得出三维坐标p2(xp2,yp2,zp2);;

通过绝对相位相等,得出点p2对应在投影装置中的点q2,将其转换到世界坐标系下,得出三维坐标q2(xq2,yq2,zq2);

计算矢量v2=s1(xs1,ys1,zs1)-p2(xp2,yp2,zp2)和w2=s1(xs1,ys1,zs1)-q2(xq2,yq2,zq2);

利用第二相机,得到点s1的法向量

计算法向量n1、n2的夹角:

5)令zs1增加步长δt,更新点s1(xs1,ys1,zs1)的坐标位置,利用新的点s1坐标,重复步骤4),再次计算夹角β;

6)重复步骤5),直到zs1>b×d时,停止迭代,并将得出β值最小的一次对应的点s1(xs1,ys1,zs1)存储为候选空间点;b为比例系数;

此过程,假设一系列的s1点坐标,设定合适的步长,重复,得到一系列的夹角,理论上,对于真实的s1点坐标,两相机确定的法向量n1、n2应该相等,即夹角为0,但是实际上存在噪声和检测误差,所以计算得到的夹角只可能无限接近与0,因此通过寻找β的最小值来确定s1点的真实位置;

7)从预选点集中剔除标记点,得到新的预选点集,重复步骤3)~6),直到新的预选点集中无点,得出各点所对应的候选空间点;

将各个候选空间点加和求取平均值,此计算结果即为所述缺陷区域中心所在的空间位置坐标,实现对缺陷区域的空间定位。

优选,步骤2)中,所述最小外接图形为矩形或圆形;

为了得到较好的定位效果,从所述最小外接图形的边缘中选取至少3个边缘点记为预选点集,且选取的3个边缘点不共线;选取的边缘点位置应尽量分散。

进一步,比例系数a取值0.8~0.9,步长δt取值0.05~0.3,比例系数b取值1.1~1.2。

进一步,s1(xs1,ys1,zs1)的坐标中xs1=(u-u0)zs1\fx、ys1=(v-v0)zs1\fy;

其中,(u0,v0)为相机主点,(fx,fy)为第一相机的焦距,(u,v)为标记点的图像像素坐标。

进一步,步骤1),标记缺陷区域的方法为:

对第一相机采集到的图像进行相位解算,得出绝对相位图;根据绝对相位图中的相位分布,将相位异常的点标记为缺陷点,标记出缺陷区域。

进一步,利用高斯函数对绝对相位图中的各点进行增强处理,对增强后的图像进行卷积、滤波处理,最后进行图像阈值分割,得出初始缺陷区域,对初始缺陷区域进行连通域提取和形态学处理,得出最终的缺陷区域。

除上述方法,步骤1),标记缺陷区域的方法也可以采用以下方式:

求取第一相机采集到的图像中各点的调制度、法向量和主曲率,基于调制度、法向量和主曲率进行特征识别,将法向量和主曲率异常的点标记为缺陷点,标记出缺陷区域。

优选,所述投影装置为液晶显示屏或led阵列显示屏。

本方法利用双目系统及投影装置(相位测量偏折术),不仅可以获得镜面、类镜面物体表面相位信息,基于相位信息识别出缺陷区域;还能够利用标定信息解算出缺陷区域的三维信息,有效解决了:因缺陷区域相位信息丢失而无法对缺陷区域进行空间定位的技术难点,本方法能够防止误检,仅依靠少量点(优选大于等于3个)即可对缺陷区域进行空间定位,缩短了检测时间,适用于对各类镜面、类镜面物体表面的质量检测。

附图说明

图1为实施例中被测涂装车身上的纤维毛缺陷示意图;

图2为实施例中得出纤维毛缺陷区域的二值化图;

图3为实施例中s1点法向量n1、n2的位置的示意图;

图4为实施例中纤维毛缺陷在折叠相位图中的显示示意图。

具体实施方式

以下结合附图和具体实施方式对本发明的技术方案进行详细描述。

一种镜面、类镜面物体表面缺陷检测方法,本实施例中,投影装置为液晶显示屏,具体的,包括以下步骤:

1)利用一台液晶显示屏显示编码的光栅条纹图像,并将光栅条纹图像投射到镜面、类镜面物体表面,两台工业相机构成双目系统,采集经镜面物体反射的条纹图像;(液晶显示屏也可以使用led阵列显示屏);

左、右相机与液晶显示屏之间的位置关系固定,对左、右相机及投影装置进行系统标定;包括左、右相机内参标定、外参标定,以及液晶显示屏坐标系与左、右相机坐标系的参数标定;

将屏幕坐标系、左、右两个相机坐标系统一到世界坐标系下,本实施例中选择左相机记为第一相机,将其坐标系作为世界坐标系;

对第一相机采集到的图像进行处理,标记出缺陷区域;

其中,标记缺陷区域的方法可以采用以下两种:

方法一:对第一相机采集到的图像进行相位解算,得出绝对相位图;根据绝对相位图中的相位分布,将相位异常的点标记为缺陷点,标记出缺陷区域。

具体的,如图1中汽车涂装车身上纤维毛缺陷,首先利用高斯函数对绝对相位图中的各点进行增强处理,对增强后的图像进行卷积、滤波处理,最后进行图像阈值分割,得出二值化的初始缺陷区域,继续对初始缺陷区域进行连通域提取和形态学处理,本实施例中首先对初始缺陷区域进行闭运算,消除孔洞,再进行连通域提取,得出最终的纤维毛二值化缺陷区域(如图2所示)。

方法二:求取第一相机采集到的图像中各点的调制度、法向量和主曲率,基于调制度、法向量和主曲率进行特征识别,将法向量和主曲率异常的点标记为缺陷点,标记出缺陷区域。

2)利用最小外接图形框选缺陷区域,从最小外接图形的边缘中选取多个边缘点记为预选点集;

其中,最小外接图形为矩形或圆形;为了得到较好的定位效果,从最小外接图形的边缘中选取至少3个边缘点记为预选点集,且选取的3个边缘点不共线;选取的边缘点位置应尽量分散。

本实施例中,如图4,纤维毛缺陷在折叠相位中的显示,根据纤维毛特征,利用最小外接矩形框选纤维毛缺陷区域,将最小外接矩形的四个顶点坐标记为预选点集;

3)从预选点集中任选一点记为标记点,将其转换到世界坐标系下,得出三维坐标p1(xp1,yp1,zp1);如图3所示,通过绝对相位相等,得出点p1对应在投影装置中的点为q1,将其转换到世界坐标系下,得出三维坐标q1(xq1,yq1,zq1);

记标记点对应在被测物表面上的点为s1(xs1,ys1,zs1),其中,zs1=a×d,a为比例系数,d为第一相机的工作距;其中,a取值0.8~0.9;

计算xs1=(u-u0)zs1\fx、ys1=(v-v0)zs1\fy;

其中,(u0,v0)为相机主点,(fx,fy)为第一相机的焦距,(u,v)为标记点的图像像素坐标。

4)计算矢量v1=s1(xs1,ys1,zs1)-p1(xp1,yp1,zp1)和w1=s1(xs1,ys1,zs1)-q1(xq1,yq1,zq1);

利用第一相机,得到点s1的法向量

记点s1对应在第二相机像平面中的点为p2,将其转换到世界坐标系下,得出三维坐标p2(xp2,yp2,zp2);;

通过绝对相位相等,得出点p2对应在投影装置中的点q2,将其转换到世界坐标系下,得出三维坐标q2(xq2,yq2,zq2);

计算矢量v2=s1(xs1,ys1,zs1)-p2(xp2,yp2,zp2)和w2=s1(xs1,ys1,zs1)-q2(xq2,yq2,zq2);

利用第二相机,得到点s1的法向量

计算法向量n1、n2的夹角:

5)令zs1增加步长δt,δt取值0.05~0.3更新点s1(xs1,ys1,zs1)的坐标位置,利用新的点s1坐标,重复步骤4),再次计算夹角β;

6)重复步骤5),直到zs1>b×d时,停止迭代,并将得出β值最小的一次对应的点s1(xs1,ys1,zs1)存储为候选空间点;b为比例系数,取值1.1~1.2;

7)从预选点集中剔除标记点,得到新的预选点集,重复步骤3)~6),直到新的预选点集中无点,得出四个顶点所对应的候选空间点(s1、s2、s3、s4);

本实施例中,对纤维毛缺陷区域的计算数据如下表所示:

将四个候选空间点的坐标,加和求取平均值,即为缺陷区域中心位置坐标,实现对缺陷区域的空间定位。

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的,也不是想要把本发明限制为所公开的精确形式,显然,根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用,从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。


技术特征:

1.一种镜面、类镜面物体表面缺陷检测方法,其特征在于,包括以下步骤:

1)对左、右相机及投影装置进行系统标定;投影装置向被测物表面投射光栅条纹,左、右相机采集投射在被测物表面的光栅条纹图像;

任选其中一部相机记为第一相机,另一相机记为第二相机,对第一相机采集到的图像进行处理,标记出缺陷区域;

2)利用最小外接图形框选所述缺陷区域,从所述最小外接图形的边缘中选取多个边缘点记为预选点集;

3)从所述预选点集中任选一点记为标记点,将其转换到世界坐标系下,得出三维坐标p1(xp1,yp1,zp1);通过绝对相位相等,得出点p1对应在投影装置中的点为q1,将其转换到世界坐标系下,得出三维坐标q1(xq1,yq1,zq1);

记所述标记点对应在被测物表面上的点为s1(xs1,ys1,zs1),其中,zs1=a×d,a为比例系数,d为第一相机的工作距;

4)计算矢量v1=s1(xs1,ys1,zs1)-p1(xp1,yp1,zp1)和w1=s1(xs1,ys1,zs1)-q1(xq1,yq1,zq1);

利用第一相机,得到点s1的法向量

记点s1对应在第二相机像平面中的点为p2,将其转换到世界坐标系下,得出三维坐标p2(xp2,yp2,zp2);;

通过绝对相位相等,得出点p2对应在投影装置中的点q2,将其转换到世界坐标系下,得出三维坐标q2(xq2,yq2,zq2);

计算矢量v2=s1(xs1,ys1,zs1)-p2(xp2,yp2,zp2)和w2=s1(xs1,ys1,zs1)-q2(xq2,yq2,zq2);

利用第二相机,得到点s1的法向量

计算法向量n1、n2的夹角:

5)令zs1增加步长δt,更新点s1(xs1,ys1,zs1)的坐标位置,利用新的点s1坐标,重复步骤4),再次计算夹角β;

6)重复步骤5),直到zs1>b×d时停止迭代,并将得出β值最小的一次对应的点s1(xs1,ys1,zs1)存储为候选空间点;b为比例系数;

7)从预选点集中剔除标记点,得到新的预选点集,重复步骤3)~6),直到新的预选点集中无点,得出各点所对应的候选空间点;

将各个候选空间点加和求取平均值,此计算结果即为所述缺陷区域中心所在的空间位置坐标,实现对缺陷区域的空间定位。

2.如权利要求1所述镜面、类镜面物体表面缺陷检测方法,其特征在于:步骤2)中,所述最小外接图形为矩形或圆形;

从所述最小外接图形的边缘中选取至少3个边缘点记为预选点集,且选取的3个边缘点不共线。

3.如权利要求1所述镜面、类镜面物体表面缺陷检测方法,其特征在于:比例系数a取值0.8~0.9,步长δt取值0.05~0.3,比例系数b取值1.1~1.2。

4.如权利要求1所述镜面、类镜面物体表面缺陷检测方法,其特征在于:s1(xs1,ys1,zs1)的坐标中xs1=(u-u0)zs1\fx、ys1=(v-v0)zs1\fy;

其中,(u0,v0)为相机主点,(fx,fy)为第一相机的焦距,(u,v)为标记点的图像像素坐标。

5.如权利要求1所述镜面、类镜面物体表面缺陷检测方法,其特征在于:步骤1),标记缺陷区域的方法为:

对第一相机采集到的图像进行相位解算,得出绝对相位图;根据绝对相位图中的相位分布,将相位异常的点标记为缺陷点,标记出缺陷区域。

6.如权利要求5所述镜面、类镜面物体表面缺陷检测方法,其特征在于:利用高斯函数对绝对相位图中的各点进行增强处理,对增强后的图像进行卷积、滤波处理,最后进行图像阈值分割,得出初始缺陷区域,对初始缺陷区域进行连通域提取和形态学处理,得出最终的缺陷区域。

7.如权利要求1所述镜面、类镜面物体表面缺陷检测方法,其特征在于:步骤1),标记缺陷区域的方法为:

求取第一相机采集到的图像中各点的调制度、法向量和主曲率,基于调制度、法向量和主曲率进行特征识别,将法向量和主曲率异常的点标记为缺陷点,标记出缺陷区域。

8.如权利要求1所述镜面、类镜面物体表面缺陷检测方法,其特征在于:所述投影装置为液晶显示屏或led阵列显示屏。

技术总结
本发明公开了一种镜面、类镜面物体表面缺陷检测方法,包括以下步骤:对左、右相机及投影装置进行系统标定,标记出其中一部相机图像中的缺陷区域;框选缺陷区域,选取预选点集并任选一点记为标记点,记标记点对应在被测物表面上的点为s1;利用第一相机得到法向量n1;利用第二相机得到法向量n2;计算n1、n2的夹角;更新点s1的坐标位置,再次计算夹角β;重复上述过程,将β值最小的一次对应的点s1存储为候选空间点;遍历预选点集中各点,得出各点所对应的候选空间点;将各个候选空间点加和求取平均值,将计算结果记为缺陷区域中心所在的空间位置坐标,实现对缺陷区域的空间定位;本方法有效解决了因缺陷区域相位信息丢失而无法对缺陷区域进行空间定位的技术难点。

技术研发人员:郭寅;尹仕斌;孙博;郭磊;姜硕
受保护的技术使用者:易思维(杭州)科技有限公司
技术研发日:2020.02.14
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-9082.html

最新回复(0)