本发明涉及一种精密相机模组的表面缺陷检测装置,属于工业视觉检测技术领域。
背景技术:
随着移动互联网的兴起,手机的便捷性、多功能性和互联互通性极大的方便的人们的日常生活,手机以其强大的通讯、拍照、文件处理等优势成为人们日常生活中不可替代的产品;随着手机真正融入到人们的日常生活中,人们对手机优秀的拍摄功能的需求越来越旺盛,精密相机模组,作为手机相机中的重要组成部分,是影响手机拍摄功能的重要因素,因此对精密相机模组的质量检测,保证精密相机的良品率尤为重要。然而在工业流水线上目前主流的是采用人力检测的方式检测精密相机模组的质量,人力检测方式无法满足工业流水线对效率的要求,人力成本较高,无法保证缺陷产品的检出率,不利于精密相机模组的工业流水线进一步提高效率。
技术实现要素:
本发明所要解决的技术问题是克服现有技术人工检测的方式的缺陷,提供一种精密相机模组的表面缺陷检测装置。
为解决上述技术问题,本发明提供一种精密相机模组的表面缺陷检测装置,包括俯视摄像头、斜视摄像头、环形光源、背景光源、信息传输单元和信息处理单元;
所述俯视摄像头设在相机模组的正上方,用于采集相机模组外部表面的图像;
所述环形光源位于俯视摄像头的镜头下方,用于为俯视摄像头提供光线;
所述斜视摄像头设在相机模组的斜上方,用于采集相机模组内部螺纹表面的图像;
所述背景光源设在相机模组的正下方,用于为斜视摄像头提供光线;
所述信息传输单元,用于将俯视摄像头和斜视摄像头采集到的图像传递给所述的信息处理单元;
所述信息处理单元,用于对采集到的图像进行缺陷检测,确定相机模组外部表面和相机模组内部螺纹表面的缺陷,根据确定的缺陷进行质量评估并分类。
进一步的,所述俯视摄像头位于相机模组的正上方,俯视摄像头的镜头垂直向下采集相机模组外部表面图像信息,所述斜视摄像头位于相机模组的斜上方,斜视摄像头的镜头倾斜向下采集相机模组内部螺纹的表面图像信息。通过俯视摄像头和斜视摄像头可以实现对相机外部表面缺陷和内部螺纹表面的全面检测。
进一步的,所述环形光源由若干个白色led灯珠均匀排列成一个环形,位于俯视摄像头的镜头下方,光线垂直向下,为相机模组外部表面提供光线;所述背景光源为由若干个白色led灯珠均匀分布在正方形框架内组成的方形背景光源,方形背景光源放置在相机模组的正下方,光线垂直向上,为相机模组内部表面提供光线。通过环形光源和方形背景光源的组合打光方式,可以对相机模组补充充足的光线,进而使得摄像头可以采集到完整的表面信息。
进一步的,所述确定相机模组外部表面的缺陷的过程为:
对采集的相机模组外部表面的图像进行滤波处理,得到滤除噪声后的图像;
依据预先定义的相机模组的特征点,从滤除噪声后的图像中获取相机模组的特征点,所述预先定义的相机模组的特征点根据相机模组的轮廓信息预先定义;
通过获取的相机模组的特征点,对目标图像进行平移、旋转和切割图像操作,矫正相机模组的图像,使得相机模组的目标位于图像的正中央,获取到目标外部表面图像;
将获取到的目标外部表面图像和预先制作的相机模组外部表面的模版图像进行整体化模版匹配,选取最大的匹配度作为图像的最优匹配结果;
将最优匹配结果图像和预先制作的相机模组外部表面的模版图像进行对比,得到缺陷的位置、大小和颜色信息。
进一步的,所述确定相机模组内部螺纹表面的缺陷的过程为:
对采集到的相机模组内部螺纹表面的图像进行滤波预处理,得到滤除噪声后的图像;
依据预先定义的内部螺纹特征点,从图像中获取内部螺纹的特征点,所述预先定义的内部螺纹特征点根据内部螺纹的轮廓信息来预先定义;
通过获取的内部螺纹的特征点,对目标图像进行平移、旋转和切割图像操作,矫正内部螺纹的图像,使得内部螺纹的目标位于图像的正中央,获取到目标内部螺纹图像;
将获取到的目标内部螺纹图像和预先制作的内部螺纹的模版图像进行区域化模版匹配,选取最大的匹配度作为图像的最优匹配结果;
将最优匹配结果图像和预先制作的内部螺纹的模版图像进行对比,得到缺陷的位置、大小和颜色信息;
标记当前检测的内部螺纹部分,并旋转相机模组,使得斜视摄像头检测内部螺纹剩余部分,直至相机模组内部螺纹全部检测完成。
进一步的,根据缺陷的位置、大小和颜色信息判断得到的缺陷是否影响相机模组的质量,并根据评判结果,对相机模组产品进行分类。
进一步的,所述预先制作的相机模组外部表面的模版图像为预先制作的无任何缺陷的相机模组图像。
进一步的,所述预先制作的内部螺纹的模版图像为预先制作的无任何缺陷的内部螺纹图像。
进一步的,所述整体化模版匹配,是将目标看作一个整体,通过与预先制作的相机模组外部表面的模版图像进行相关性系数匹配,选取最大匹配度的位置作为最优匹配点。
进一步的,所述区域化模版匹配,是将内部螺纹图像分割成多个区域,对每个区域进行相关性系数匹配,选取最大匹配度的位置作为最优匹配点。
本发明所达到的有益效果:
本发明中通过俯视摄像头和斜视摄像头对相机模组的表面和内部螺纹表面图像,信息处理单元对图像进行处理;实现了对相机模组表面缺陷的自动识别、精确定位,完成了对相机模组优劣产品的分类,提高了相机模组质量检测的效率。
附图说明
图1为本发明的总体系统结构图;
图2为本发明实例中相机模组的结构示意图;
图3为本发明实例中的实施俯视摄像头检测相机模组外部表面缺陷的步骤流程图;
图4为本发明实例中的实施斜视摄像头检测相机模组内部螺纹表面缺陷的步骤流程图;
图中:1、俯视摄像头;2、斜视摄像头;3、环形光源;4、方形背景光源;5、相机模组外部表面;6、相机模组内部螺纹表面。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
在本发明的描述中,需要理解的是,术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1所示,一种精密相机模组的表面缺陷检测装置,包括俯视摄像头1、斜视摄像头2、环形光源3、方形背景光源4、信息传输单元和信息处理单元。
如图2所示,相机模组的结构示意图,包括相机模组外部表面5、相机模组内部螺纹表面6。
俯视摄像头1采集相机模组外部表面5的图像,环形光源3位俯视摄像头1提供光线;斜视摄像头2采集相机模组内部螺纹表面6的图像,方形背景光源4为斜视摄像头2提供光线;信息处理单元将采集到的图像信息传递到信息处理单元进行处理。
俯视摄像头1和斜视摄像头2均采用500万像素的ov5647摄像头,该摄像头像素高,适用于精密测量相机模组缺陷的应用场景。
俯视摄像头1位于相机模组的正上方20厘米至30厘米处,保证采集到的相机模组图像占图像画幅的2/3以上,环形光源3位于俯视摄像头的镜头下方,垂直向下发射白色光线,为俯视摄像头1提供光线。
斜视摄像头2位于相机模组的60度斜上方处,与相机模组中心距20厘米处,保证采集到的相机模组外部表面图像占图像画幅的2/3以上,方形背景光源4放置在相机模组的下方,垂直向上发射白色光线,和环形光源3一起为斜视摄像头2提供光线。
所述环形光源由12个白色led组成,12个白色led沿以10cm为直径的圆的周长均匀排列成一个环形,位于俯视摄像头的镜头下方,光线垂直向下,为相机模组外部表面提供光线;所述背景光源由100个白色led和正方形框架组成,100个白色led分成10行×10列,均匀分布在20cm边长的正方形框架内部,方形背景光源放置在相机模组的正下方,光线垂直向上,为相机模组内部表面提供光线。通过环形光源和方形背景光源的组合打光方式,可以对相机模组补充充足的光线,进而使得摄像头可以采集到完整的表面信息。
参照图3和图4,为本发明中实例中一种精密相机模组的表面缺陷检测装置及方法的实施步骤流程图。
参照图3,相机模组外部表面缺陷检测方法,包括以下几个步骤:
步骤s101,通过俯视摄像头1采集相机模组外部表面的图像。
具体地,通过俯视摄像头1采集相机模组外部表面的图像,保证采集图像的环境无尘无其他光源的干扰,图像采集过程中保持环形光源3和方形背景光源4的光线强度不变。
步骤s102至步骤s106,将采集到的相机模组的外部表面图像在图像处理单元进行图像处理,获得相机模组的缺陷部分。
步骤s102,对采集到的外部表面图像进行预处理,对图像中的噪声进行滤波处理,消除图像中的噪声。
步骤s103,获取图像中的特征点,将相机模组的定位孔作为图像中的特征点,定位到图像中的相机模组的外表面。
具体地,预先总结出相机模组图像中的特征,根据定位孔的圆形、大小面积的特征,在图像中定位到相机模组的定位孔,进而定位到相机模组的位置和大小。本发明中,首先对图像进行霍夫圆的变换,寻找图像中的圆形图像,进而根据圆形的面积大小确定出相机模组的定位孔的位置。
步骤s104,目标提取,提取到矫正后的相机模组外部表面图像。
具体地,根据步骤s103确定的相机模组的定位孔的位置,确定相机模组外表面图像的位置,然后经过旋转、平移的操作,将图像进行矫正,得到矫正后的相机模组的外表面图像。
步骤s105,目标整体化模版匹配,使用模版匹配的方法,确定目标图像和模版图像的位置关系。
具体地,将目标相机模组外表面图像看作一个整体,和预先制作的相机模组外表面模版图像进行整体化模版匹配,计算两幅图像的相关性系数,选取最大的相关性系数作为整体化匹配到的位置。
具体地,相关性系数匹配计算根据以下公式计算,x,y表示模版图像的坐标,x′,y′表示目标图像的坐标,式中的t′表示模版图像,′表示待匹配目标图像;
其中r(x,y)为计算出的相关匹配度的矩阵,在矩阵中找出最大值,即为目标图像在模版图像中的最优的匹配点。
步骤s106,获取缺陷部分,将目标图像和缺陷图像进行相减后得到缺陷部分。
步骤s107,根据缺陷的大小、形状和颜色信息判断缺陷是否满足缺陷特征,将满足缺陷特征的产品分类至残次品中。
参照图4,相机模组内部螺纹表面缺陷检测方法,包括以下几个步骤:
步骤s201,通过斜视摄像头2采集相机模组内部螺纹表面的图像。
具体地,通过斜视摄像头2采集相机模组内部螺纹表面的图像,保证采集图像的环境无尘无其他光源的干扰,图像采集过程中保持环形光源3和方形背景光源4的光线强度不变。
步骤s202至步骤s206,将采集到的相机模组的内部螺纹表面图像在图像处理单元进行图像处理,获得相机模组的缺陷部分。
步骤s202,对采集到的外部表面图像进行预处理,对图像中的噪声进行滤波处理,消除图像中的噪声。
步骤s203,获取图像中的特征点,将相机模组内部螺纹的曲率作为图像中的特征,定位到图像中的相机模组的内部螺纹表面。
具体地,预先总结出内部螺纹曲率的在图像中的特征,根据内部螺纹曲率特征,在图像中寻找固定的曲率范围内的图像,进而得到相机模组内部螺纹的表面图像。
步骤s204,目标提取,提取到相机模组内部螺纹表面图像。
具体地,根据步骤s203确定的相机模组的内部螺纹的曲率,通过切割、移动的图像处理技术,将内部螺纹表面区域提取出来。
步骤s205,目标区域化模版匹配,使用模版匹配的方法,确定目标图像和模版图像的关系。
具体地,将内部螺纹表面区域根据曲率沿水平方向进行区域划分为若干个狭长的区域,一个狭长的区域内包括了一条固定曲率的螺纹,然后使用预先准备好的螺纹模版图像和狭长的目标螺纹区域进行匹配。
具体地,相关性系数匹配计算根据以下公式计算,x,y表示模版图像的坐标,x′,y′表示目标螺纹区域的坐标,式中的t′表示模版图像,′表示待匹配目标图像;
其中r(x,y)为计算出的相关匹配度的矩阵,在矩阵中找出最大值,即为目标图像在模版图像中的最优的匹配点。
步骤s206,获取缺陷部分,当区域化匹配的匹配系数小于一定范围,则认为该区域为缺陷部分区域。
步骤s207,根据缺陷的大小、形状和颜色信息判断缺陷是否满足缺陷特征,将满足缺陷特征的产品分类至残次品中。
步骤s208,检查是否完成了所有侧面的检测,如果没有完成,则选装相机模组,直至完成所有相机模组的内部螺纹的测量的检测。
具体地,由于斜视摄像头的有效检测范围为90度,检测整个相机模组内部螺纹需要检测4次,当检测内部螺纹时对当前检测的次数进行计数,根据计数值来判断该相机模组的内部螺纹表面是否检测完成。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
1.一种精密相机模组的表面缺陷检测装置,其特征在于,包括俯视摄像头(1)、斜视摄像头(2)、环形光源(3)、背景光源(4)、信息传输单元和信息处理单元;
所述俯视摄像头(1)设在相机模组的正上方,用于采集相机模组外部表面(5)的图像;
所述环形光源(3)位于俯视摄像头(1)的镜头下方,用于为俯视摄像头提供光线;
所述斜视摄像头(2)设在相机模组的斜上方,用于采集相机模组内部螺纹表面(6)的图像;
所述背景光源(4)设在相机模组的正下方,用于为斜视摄像头提供光线;
所述信息传输单元,用于将俯视摄像头(1)和斜视摄像头(2)采集到的图像传递给所述的信息处理单元;
所述信息处理单元,用于对采集到的图像进行缺陷检测,确定相机模组外部表面(5)和相机模组内部螺纹表面(6)的缺陷,根据确定的缺陷进行质量评估并分类。
2.根据权利要求1所述的精密相机模组的表面缺陷检测装置,其特征在于,所述俯视摄像头(1)位于相机模组的正上方,俯视摄像头(1)的镜头垂直向下采集相机模组外部表面图像信息,所述斜视摄像头(2)位于相机模组的斜上方,斜视摄像头(2)的镜头倾斜向下采集相机模组内部螺纹的表面图像信息。
3.根据权利要求1所述的精密相机模组的表面缺陷检测装置,其特征在于,所述环形光源由若干个白色led灯珠均匀排列成一个环形,位于俯视摄像头的镜头下方,光线垂直向下,为相机模组外部表面提供光线;所述背景光源为由若干个白色led灯珠均匀分布在正方形框架内组成的方形背景光源,方形背景光源放置在相机模组的正下方,光线垂直向上,为相机模组内部表面提供光线。
4.根据权利要求1所述的精密相机模组的表面缺陷检测装置,其特征在于,所述确定相机模组外部表面(5)的缺陷的过程为:
对采集的相机模组外部表面(5)的图像进行滤波处理,得到滤除噪声后的图像;
依据预先定义的相机模组的特征点,从滤除噪声后的图像中获取相机模组的特征点,所述预先定义的相机模组的特征点根据相机模组的轮廓信息预先定义;
通过获取的相机模组的特征点,对目标图像进行平移、旋转和切割图像操作,矫正相机模组的图像,使得相机模组的目标位于图像的正中央,获取到目标外部表面图像;
将获取到的目标外部表面图像和预先制作的相机模组外部表面的模版图像进行整体化模版匹配,选取最大的匹配度作为图像的最优匹配结果;
将最优匹配结果图像和预先制作的相机模组外部表面的模版图像进行对比,得到缺陷的位置、大小和颜色信息。
5.根据权利要求1所述的精密相机模组的表面缺陷检测装置,其特征在于,所述确定相机模组内部螺纹表面(6)的缺陷的过程为:
对采集到的相机模组内部螺纹表面(6)的图像进行滤波预处理,得到滤除噪声后的图像;
依据预先定义的内部螺纹特征点,从图像中获取内部螺纹的特征点,所述预先定义的内部螺纹特征点根据内部螺纹的轮廓信息来预先定义;
通过获取的内部螺纹的特征点,对目标图像进行平移、旋转和切割图像操作,矫正内部螺纹的图像,使得内部螺纹的目标位于图像的正中央,获取到目标内部螺纹图像;
将获取到的目标内部螺纹图像和预先制作的内部螺纹的模版图像进行区域化模版匹配,选取最大的匹配度作为图像的最优匹配结果;
将最优匹配结果图像和预先制作的内部螺纹的模版图像进行对比,得到缺陷的位置、大小和颜色信息;
标记当前检测的内部螺纹部分,并旋转相机模组,使得斜视摄像头检测内部螺纹剩余部分,直至相机模组内部螺纹全部检测完成。
6.根据权利要求4或5所述的精密相机模组的表面缺陷检测装置,其特征在于,根据缺陷的位置、大小和颜色信息判断得到的缺陷是否影响相机模组的质量,并根据评判结果,对相机模组产品进行分类。
7.根据权利要求4所述的精密相机模组的表面缺陷检测装置,其特征在于,所述预先制作的相机模组外部表面的模版图像为预先制作的无任何缺陷的相机模组图像。
8.根据权利要求5所述的精密相机模组的表面缺陷检测装置,其特征在于,所述预先制作的内部螺纹的模版图像为预先制作的无任何缺陷的内部螺纹图像。
9.根据权利要求4所述的精密相机模组的表面缺陷检测装置,其特征在于,所述整体化模版匹配,是将目标看作一个整体,通过与预先制作的相机模组外部表面的模版图像进行相关性系数匹配,选取最大匹配度的位置作为最优匹配点。
10.根据权利要求5所述的精密相机模组的表面缺陷检测装置,其特征在于,所述区域化模版匹配,是将内部螺纹图像分割成多个区域,对每个区域进行相关性系数匹配,选取最大匹配度的位置作为最优匹配点。
技术总结