一种基于光场子孔径条纹图像的三维重建方法及装置与流程

专利2022-06-29  144


本发明涉及立体视觉领域,尤其涉及一种基于光场子孔径条纹图像的三维重建方法及装置。



背景技术:

随着信息技术和机器人技术的快速发展,准确获取物体表面的三维数据以满足多样化应用的需求也日益强烈。作为一种主流的主动视觉技术,基于数字条纹投影的三维测量技术有着不接触物体表面、设备简便易于控制、成本低廉、测量精度高等一系列显著优点,在机器视觉、生物医学、工业自动检测等领域有着重要应用潜力。

然而,基于传统相机的三维成像,由于需要得到不同深度位置的清晰图像,需要在成像前通过机械调焦来对准到相应的深度,而一般机械调焦过程较慢,同时传统成像只能感知单个平面的强度信息,要获得目标的三维形态或光谱特性,只能采用推扫或凝视成像的方式多次扫描曝光,而扫描过程一般比较耗时,鉴于传统三维成像方法成像过程较慢,难以满足实时性要求的问题,有必要提出一种基于光场子孔径条纹图像的三维重建方法。



技术实现要素:

有鉴于此,本发明实施例提供了一种基于光场子孔径条纹图像的三维重建方法及装置,以解决现有三维成像过程处理速度慢,难以满足实时性要求的问题。

在本发明实施例的第一方面,提供了一种基于光场子孔径条纹图像的三维重建方法,包括:

将特定频率的正弦条纹投影至待测物体表面,通过光场相机拍摄变形的条纹图像;

对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像;

通过laplace算子和条纹图像各像素点的灰度值进行卷积得到梯度矩阵,将各像素点梯度的平方和作为评价函数,得到不同理想对焦面的清晰条纹图像;

通过相移轮廓术对清晰条纹图像进行条纹分析,得到包裹相位;

基于多频率投影条纹的时间相位展开,对包裹相位进行相位展开,得到绝对相位;

将绝对相位与定标参数结合得到三维形貌数据以进行三维重建。

在一个实施例中,所述对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像具体为:

将探测器上含有四维信息的光场图像进行傅里叶变换;

根据傅里叶切片定理进行切片采样;

对切片采样频率进行傅里叶反变换,得到光场在某一焦深处的切片投影图像信息。

在本发明实施例的第二方面,提供了一种基于光场子孔径条纹图像的三维重建装置,包括:

投影模块,用于将特定频率的正弦条纹投影至待测物体表面,通过光场相机拍摄变形的条纹图像;

对焦模块,用于对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像;

卷积模块,用于通过laplace算子和条纹图像各像素点的灰度值进行卷积得到梯度矩阵,将各像素点梯度的平方和作为评价函数,得到不同理想对焦面的清晰条纹图像;

分析模块,用于通过相移轮廓术对清晰条纹图像进行条纹分析,得到包裹相位;

展开模块,用于基于多频率投影条纹的时间相位展开,对包裹相位进行相位展开,得到绝对相位;

重建模块,用于将绝对相位与定标参数结合得到三维形貌数据以进行三维重建。

本发明实施例中,通过数字对焦得到不同对焦面上的图像,然后利用图形清晰度评价函数找出不同的理想对焦面,最后通过投影仪投影的正弦条纹图像,采用相位测量轮廓术进行条纹分析和相位展开获取绝对相位,从而进行物体三维重建。可以解决现有三维成像过程速度慢、实时性差的问题,基于光场成像,可以对任一深度位置的图像通过光场积分获得,无需机械调焦,同时也解决了景深受孔径尺寸的限制;在积分成像之前对光辐射的相位误差进行校正,能够消除几何像差的影响;从多维度的光辐射信息中能够实时计算出目标的三维形态或提取出其光谱图像数据。

通过光场相机数字对焦技术,即使在不对焦或者对焦深度不准确的情况下依然能过获得某一对焦深度的清晰图像,同时解决了传统对焦方法受光照条件影响较大的缺陷;通过投影结构光的方式,为待测物体增加主动特征,解决被动式立体视觉方法匹配速度慢,在低纹理区域匹配精度低的问题。此外,通过基于频率选择的三频率相位展开技术对变形条纹图像进行相位展开,具有较强的抗噪声性能,从而大大提高了多频率投影条纹相位展开技术的可靠性。进一步的,还具有以下优点:

1.计算量小。本方法中数字对焦采用的基于傅里叶切片定理的频域方法,只需要进行傅里叶变换和切片采样,相比于时域对四维光场信息进项积分的方法,频域方法的计算量远小于时域方法,速度也更快。

2.稳定可靠。光场相机是以子孔径条纹图像的形式来记录数字投影条纹信号的,一旦确定了子孔径条纹图像的相位-深度映射,就可以重建场景深度。克服了传统数字结构光投影测量技术高度依赖物体表面反射特性的局限,极大扩展其应用领域。

3.实时性强,三频率相位展开技术通过选择合适的条纹频率,建立条纹相位映射关系表,采用查表的方式计算绝对相位,处理速度快。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍,显而易见地,下面描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他附图。

图1为本发明的一个实施例提供的一种基于光场子孔径条纹图像的三维重建方法的流程示意图;

图2为本发明的一个实施例提供的一种基于光场子孔径条纹图像的三维重建装置的结构示意图;

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。

本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述,意指覆盖不排他的包含,如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。

在本发明实施例提供的技术方案中,提供不同厚度的单层光学薄膜及半导体薄膜的不确定度及相关系数表征方法,可用于评估对应薄膜的临界厚度值。

请参阅图1,图1为本发明一个实施例提供的一种基于光场子孔径条纹图像的三维重建方法的流程示意图,包括:

s101、将特定频率的正弦条纹投影至待测物体表面,通过光场相机拍摄变形的条纹图像;

拍摄变形条纹图像。选择最大公因子为1的三个频率f1,f2,f3的条纹,投影条纹的相位由计算机控制每次移动,然后分别投影到参考平面和被测物体的表面,这时候参考条纹和变形条纹的表达式可以分别表示为:

其中,f0表示基频成分的空间频率,bk是第k阶谐波分量的幅度,表示初始相位,x表示像素点横向坐标,m表示条纹阶数,位相调制。

s102、对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像;

具体的,将探测器上含有四维信息的光场图像进行傅里叶变换;根据傅里叶切片定理进行切片采样;对切片采样频率进行傅里叶反变换,得到光场在某一焦深处的切片投影图像信息。

s103、通过laplace算子和条纹图像各像素点的灰度值进行卷积得到梯度矩阵,将各像素点梯度的平方和作为评价函数,得到不同理想对焦面的清晰条纹图像;

采用laplace算子与图像各个像素点的灰度值进行卷积得到一个梯度矩阵记为g(x,y),取各像素点梯度的平方和作为评价函数,如下式所示:

f=∑x∑yg2(x,y)

其中,f表示评价函数,(x,y)表示像素点位置,f(x,y)表示对应像素点的灰度值,l表示算子模板。

s104、通过相移轮廓术对清晰条纹图像进行条纹分析,得到包裹相位;

根据相移轮廓术中的条纹分析,利用三角函数关系来计算相位图。根据所投影的参考条纹,可以得到:

s105、基于多频率投影条纹的时间相位展开,对包裹相位进行相位展开,得到绝对相位;

根据参考条纹和变形条纹的相位可以得到相位差,进而获取深度信息:

其中,sa,sb,da,db都是中间变量,unwrap()表示相位展开操作,arctan()定义的是四象限反正切函数,表示调制相位,d0表示照相机到投影仪出瞳的距离,l0表示参考平面到照相机的距离,f0表示基频成分的空间频率,h(x)表示物面高度。

s106、将绝对相位与定标参数结合得到三维形貌数据以进行三维重建。

通过以上的计算过程,可以恢复出参考的条纹和变形条纹的绝对相位,两组绝对相位之间的差就表示了经过物体表面高度“调制”之后的条纹变形程度,利用相位差,可以准确恢复物体表面的三维形貌数据。

应理解,上述实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

图2为本发明实施例提供的基于光场子孔径条纹图像的三维重建装置的结构示意图,该装置包括:

投影模块210,用于将特定频率的正弦条纹投影至待测物体表面,通过光场相机拍摄变形的条纹图像;

对焦模块220,用于对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像;

具体的,所述对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像具体为:

将探测器上含有四维信息的光场图像进行傅里叶变换;

根据傅里叶切片定理进行切片采样;

对切片采样频率进行傅里叶反变换,得到光场在某一焦深处的切片投影图像信息。

卷积模块230,用于通过laplace算子和条纹图像各像素点的灰度值进行卷积得到梯度矩阵,将各像素点梯度的平方和作为评价函数,得到不同理想对焦面的清晰条纹图像;

分析模块240,用于通过相移轮廓术对清晰条纹图像进行条纹分析,得到包裹相位;

展开模块250,用于基于多频率投影条纹的时间相位展开,对包裹相位进行相位展开,得到绝对相位;

重建模块260,用于将绝对相位与定标参数结合得到三维形貌数据以进行三维重建。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。

以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。


技术特征:

1.一种基于光场子孔径条纹图像的三维重建方法,其特征在于,包括:

将特定频率的正弦条纹投影至待测物体表面,通过光场相机拍摄变形的条纹图像;

对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像;

通过laplace算子和条纹图像各像素点的灰度值进行卷积得到梯度矩阵,将各像素点梯度的平方和作为评价函数,得到不同理想对焦面的清晰条纹图像;

通过相移轮廓术对清晰条纹图像进行条纹分析,得到包裹相位;

基于多频率投影条纹的时间相位展开,对包裹相位进行相位展开,得到绝对相位;

将绝对相位与定标参数结合得到三维形貌数据以进行三维重建。

2.根据权利要求1所述的方法,其特征在于,所述将特定频率的正弦条纹投影至待测物体表面,通过光场相机拍摄变形的条纹图像还包括:

将特定频率的正弦条纹分别投影至参考平面和待测物体表面;

其中,参考条纹的表达式为:

变形条纹的表达式为:

其中,f0表示基频成分的空间频率,bk是第k阶谐波分量的幅度,表示初始相位,x表示像素点横向坐标,m表示条纹阶数,位相调制。

3.根据权利要求1所述的方法,其特征在于,所述对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像具体为:

将探测器上含有四维信息的光场图像进行傅里叶变换;

根据傅里叶切片定理进行切片采样;

对切片采样频率进行傅里叶反变换,得到光场在某一焦深处的切片投影图像信息。

4.根据权利要求1所述的方法,其特征在于,所述评价函数为:

其中,梯度矩阵为f表示评价函数,(x,y)表示像素点位置,f(x,y)表示对应像素点的灰度值,l表示算子模板。

5.根据权利要求1所述的方法,其特征在于,所述基于多频率投影条纹的时间相位展开,对包裹相位进行相位展开,得到绝对相位包括:

根据如下公式计算物面高度:

其中,表示调制相位,da、db表示中间变量,unwrap()表示相位展开操作,arctan()定义的是四象限反正切函数,d0表示照相机到投影仪出瞳的距离,l0表示参考平面到照相机的距离,f0表示基频成分的空间频率,h(x)表示物面高度。

6.一种基于光场子孔径条纹图像的三维重建装置,其特征在于,包括:

投影模块,用于将特定频率的正弦条纹投影至待测物体表面,通过光场相机拍摄变形的条纹图像;

对焦模块,用于对所述条纹图像进行基于频率域的数字对焦处理,得到对焦在不同平面深度的条纹图像;

卷积模块,用于通过laplace算子和条纹图像各像素点的灰度值进行卷积得到梯度矩阵,将各像素点梯度的平方和作为评价函数,得到不同理想对焦面的清晰条纹图像;

分析模块,用于通过相移轮廓术对清晰条纹图像进行条纹分析,得到包裹相位;

展开模块,用于基于多频率投影条纹的时间相位展开,对包裹相位进行相位展开,得到绝对相位;

重建模块,用于将绝对相位与定标参数结合得到三维形貌数据以进行三维重建。

技术总结
本发明提供一种基于光场子孔径条纹图像的三维重建方法及装置,该方法包括:首先通过数字对焦得到不同对焦面上的图像,然后利用图形清晰度评价函数找出不同的理想对焦面,最后通过投影仪投影的正弦条纹图像,采用相位测量轮廓术进行条纹分析和相位展开获取绝对相位,从而进行物体三维重建。通过该方案解决了现有三维成像过程速度慢,实时性差的问题,无需机械调焦,能快速对光辐射相位误差进行校正,实时计算出目标的三维形态,实现对快速变化物体进行成像。

技术研发人员:刘茜;彭麟雅;丁毅;徐晶;詹玮琪;丁泽彦
受保护的技术使用者:武汉盛信鸿通科技有限公司
技术研发日:2020.01.18
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-50474.html

最新回复(0)