应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法与流程

本发明涉及三维测量领域的单目激光散斑投影系统标定和深度估计方法，具体地说是基于单目相机和激光散斑投射器构造等效双目激光散斑投影系统的系统标定和深度估计方法。

背景技术：

基于结构光原理的散斑投影系统，是一种近年来应用广泛的深度信息估计方法，具有测量范围大、结构简单、速度快、精度高等优点。激光器产生的激光，经过散斑光栅，可以在空间形成具有高度随机性的散斑。利用这一特征，可以对整个空间进行标记，进而利用立体视觉的理论与方法实现标记空间的深度感知。根据相机数量，激光散斑投影系统可分为双目激光散斑投影系统和单目激光散斑投影系统。

双目激光散斑投影系统，是激光散斑投影系统的最常用的一种。传统的双目视觉方法，无法测量表面缺乏纹理的空间物体，且易受环境光的干扰。将散斑投影引入双目立体视觉系统，可以为待测空间增加丰富的特征点，极大的增强双目立体视觉系统的稳定性和适应性，提高测量精度。

单目激光散斑投影系统，只用一个相机和一个激光散斑投射器，即可实现空间三维信息感知。相对于双/多目激光散斑投影系统，单目激光散斑投影系统更简洁、成本更低。单目激光散斑投影系统的典型应用是2011年美国微软公司推出的kinect红外散斑场景传感系统。发明人在其专利（专利号us8150142b2）中将深度的测量描述为三角测量过程。

设参考平面上一个斑点与传感器的距离为，投影至物体表面上为点，点与传感器的距离为。如果将物体移近传感器（或远离传感器），则斑点在图像平面上的位置将在方向上移动。移动的偏移量为点对应的视差。根据三角形的相似性：

(1)

(2)

其中，是基线长度，是红外相机的焦距，是点在物体空间中方向的位移，是观察到的图像空间中的视差。将从（2）代入（1）并用其他变量表示，得出：

(3)

分析kinect红外散斑场景传感系统的标定和测量过程，其不足主要在于：参考平面距离校正不准带来额外误差；由于安装精度导致图像轴方向与基线方向存在不可避免的偏差；基线长度校准存在误差等。

技术实现要素：

本发明要解决的技术问题是：针对现有的单目激光散斑投影系统存在的不足，提出了基于单目激光散斑投影系统的系统标定和深度估计的新方法：利用单目相机和激光散斑投射器构造等效双目激光散斑投影系统，通过计算得到相机和图像的校正转换矩阵，以及标准参考图像；根据双目立体匹配原理进行深度估计和物体三维数据测量。

本发明的技术方案主要包括以下步骤：

第一步，装置安装，采集标定图像

安装相机与激光散斑投射器；制作棋盘格标定板，在相机视场内固定标定板，打开激光散斑投射器，向标定板投射散斑图案。调整标定板位置和姿态，利用相机采集幅标定板散斑图像；其中，第幅为白板散斑图像，其余为棋盘格散斑图像。

第二步，标定相机，散斑点检测

采用张氏标定法标定相机，得到相机内参数、外参数和畸变系数。同时，对幅标定板散斑图像进行特征点检测，得到图像上散斑点的二维坐标。

第三步，同名散斑点匹配

将其余标定板散斑图像与第1幅标定板散斑图像进行图像匹配，得到每幅标定板散斑图像上同名散斑点之间的对应关系，同名散斑点即激光散斑投射器投射的同一条光线在不同位置姿态标定板上的投影点。

第四步，计算同名散斑点三维坐标，直线拟合

根据相机标定参数，求解同名散斑点在相机坐标系下对应的三维坐标。对同名散斑点的三维坐标进行直线拟合，所有直线相交于一点。

第五步，建立虚拟左、右相机坐标系，计算图像极线校正转换矩阵

拟合直线的交点作为虚拟的左相机光心，以此为原点建立虚拟左相机坐标系，虚拟左相机坐标系的轴平行于虚拟的左相机光心与相机光心的连线，两相机光心连线即为基线。校正相机坐标系，建立虚拟右相机坐标系，使其轴平行于轴，根据右手定则确定轴、轴，虚拟左相机坐标系的轴、轴分别平行于轴、轴。虚拟左右相机构造了等效双目激光散斑投影系统。根据虚拟右相机和相机之间的转换矩阵计算图像极线校正转换矩阵。

所述等效双目激光散斑投影系统：

（1）激光散斑投射器等效为虚拟左相机，激光散斑投射器光源点即为虚拟左相机光心，由光线束拟合相交于一点得到；

（2）相机校正后等效为虚拟右相机，虚拟右相机光心为相机光心，以此为原点建立虚拟右相机坐标系，轴方向与基线方向平行，其单位方向向量为；将轴方向定义为相机轴与轴正交方向，其单位方向向量为，轴与轴、轴正交，其单位方向向量为；

（3）建立的虚拟左相机坐标系与校正后的虚拟右相机坐标系平行；

所述图像极线校正转换矩阵计算方法为：

在相机坐标系下，相机坐标系三个坐标轴方向向量已知，校正后的虚拟右相机坐标系，其光心与相机光心一致，三个坐标轴方向向量，从而可以计算虚拟右相机坐标系相对于相机坐标系的旋转矩阵；则图像极线校正转换矩阵可以计算为；

第六步，建立虚拟左视图图像坐标系，计算虚拟的参考左视图散斑图像

确定虚拟左相机内参数，建立虚拟左视图图像坐标系，求解虚拟左视图图像平面和相机图像平面之间的平面单应性矩阵；根据第幅标定板散斑图像计算虚拟的参考左视图散斑图像。

所述参考左视图散斑图像计算方法为：首先在采集标定图像时，相机拍摄了平面白板的散斑图像，根据相机标定所得畸变系数对其进行畸变校正，再根据图像极线校正转换矩阵对其进行极线校正，使得校正后的图像极线互相平行，且与基线方向平行；然后再根据平面诱导的单应性矩阵计算在虚拟左视图图像坐标系下的参考左视图散斑图像。

第七步，相机拍摄物体散斑图像，根据相机畸变参数进行畸变校正，并根据图像极线校正转换矩阵对其进行极线校正，得到校正后的物体右视图散斑图像。

第八步，立体匹配，计算参考左视图散斑图像与极线校正后的物体右视图散斑图像的视差图。

第九步，根据视差图和已知参数，利用三角测量原理计算物体三维坐标。

本发明的优点在于：相比于目前市场上消费级深度相机产品，本发明避免了采用传感器确定参考图像深度带来的额外误差，对相机和激光散斑投射器的安装精度要求不高，采用单相机和激光散斑投射器构造等效双目系统，降低了成本，方法简单、精度更高，在高精度三维测量领域中具有广阔的应用前景。

附图说明

图1是kinect红外散斑场景传感系统深度测量原理示意图；

图2是本发明的系统安装装置示意图；

图3是本发明深度测量原理示意图；

图4是本发明的整体流程图。

具体实施方式

采用本发明进行单目激光散斑投影系统标定和获取物体三维坐标，具体步骤如下：

第一步，安装相机与激光散斑投射器，两者固连在一条横梁上，激光散斑投射器在左，相机在右；制作标定板，一面有棋盘格标志点，另一面为白板；将标定板安装在固定器械上，使其位于测量系统视场内；重复调整标定板位置和姿态，利用相机拍摄幅标定板散斑图像，其中前幅图像为标定板棋盘格散斑图像，第幅为标定板白板散斑图像，记为标定图像集合。

第二步，采用张氏标定法对相机进行标定，输入前张标定图像，得到相机内参数（包括焦距，主点），外参数（包括旋转矩阵，平移向量）以及畸变系数。同时可对标定图像进行特征点检测，得到不同位置姿态标定板的散斑图像中散斑点的二维图像坐标。

第三步，第1幅标定图像作为参考图像，标定图像作为待匹配图像，利用匹配算法进行图像匹配，得到不同位置姿态标定板的散斑图像上同名散斑点之间的对应关系。

第四步，基于相机标定参数求解同名散斑点在相机坐标系下的三维坐标，同名散斑点都应该位于同一条空间光线上。利用最小二乘拟合方法，对同名散斑点的三维坐标进行直线拟合，且所有直线相交于一点，交点即为激光散斑投射器的光源点，记为，计算得到在相机坐标系下的三维坐标。

第五步，将激光散斑投射器虚拟为左相机，与相机一起构成等效双目激光散斑投影系统。在相机坐标系下，相机光心的坐标，轴方向向量，轴方向向量，轴方向向量。光源点即为虚拟左相机光心，以此为原点建立虚拟左相机坐标系，其轴方向与两相机光心连线平行，两相机光心连线即为基线，长度为。校正虚拟右相机坐标系原点为相机光心，建立虚拟右相机坐标系，轴方向与轴方向平行，其单位方向向量为；将轴方向定义为相机轴与轴正交方向，其单位方向向量为，轴与轴、轴正交，其单位方向向量为；虚拟左相机坐标系的轴、轴分别平行于轴、轴。从而可以确定虚拟右相机坐标系的校正旋转矩阵和图像极线校正转换矩阵。

第六步，令虚拟左相机内参数与相机一致，内参数矩阵都为，建立虚拟左视图图像坐标系；将世界坐标系固定在虚拟左相机上，虚拟左相机坐标系和虚拟右相机坐标系之间的相对位置姿态参数为、，为单位矩阵。则左右相机的相机参数矩阵、分别为：

(4)

令表示标定图像对应的标定板平面，根据相机标定参数可以求解平面上特征点在相机坐标系下的三维坐标，从而可以拟合该平面，得到其单位法向量，以及到虚拟左相机光心的距离。则左右相机之间的由平面诱导的平面单应性矩阵为：

(5)

根据标定图像，根据相机畸变参数对其进行畸变校正，并根据图像极线校正转换矩阵对其进行极线校正，得到虚拟右相机对应的右视图散斑图像，根据平面单应性矩阵计算虚拟的参考左视图散斑图像。

第七步，相机拍摄物体散斑图像，根据相机畸变参数对其进行畸变校正，并根据图像极线校正转换矩阵对其进行极线校正，得到校正后的物体右视图散斑图像。与参考左视图散斑图像只有水平视差，没有垂直视差，可以大大简化图像立体匹配的复杂度。

第八步，立体匹配，计算参考左视图散斑图像与校正后的物体右视图散斑图像的视差图。

第九步，根据已知的基线长度、相机焦距和视差，在双目视觉模型下根据相似三角形原理，求解物体深度：

(6)

则其三维坐标可以计算：

(7)

其中，为对应点在参考左视图图像上的二维坐标。

技术特征：

1.应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法，利用单目相机和激光散斑投射器构造等效双目激光散斑投影系统，通过计算得到相机和图像的校正转换矩阵，以及标准参考图像；根据双目立体匹配原理进行深度估计和物体三维数据测量，其特征在于，该方法具体步骤如下：

第一步，装置安装，采集标定图像

安装相机与激光散斑投射器；制作棋盘格标定板，调整标定板位置和姿态，利用相机采集幅标定板散斑图像；其中，第幅为白板散斑图像，其余为棋盘格散斑图像；

第二步，标定相机，散斑点检测

采用张氏标定法标定相机，得到相机内参数、外参数和畸变系数，同时，对幅标定板散斑图像进行特征点检测，得到图像上散斑点的二维坐标；

第三步，同名散斑点匹配

将其余标定板散斑图像与第1幅标定板散斑图像进行图像匹配，得到每幅标定板散斑图像上同名散斑点之间的对应关系，同名散斑点即激光散斑投射器投射的同一条光线在不同位置姿态标定板上的投影点；

第四步，计算同名散斑点三维坐标，直线拟合

根据相机标定参数，求解同名散斑点在相机坐标系下对应的三维坐标，对同名散斑点的三维坐标进行直线拟合，所有直线相交于一点；

第五步，建立虚拟左、右相机坐标系，计算图像极线校正转换矩阵；

第六步，建立虚拟左视图图像坐标系，计算虚拟的参考左视图散斑图像

确定虚拟左相机内参数，建立虚拟左视图图像坐标系，求解虚拟左视图图像平面和相机图像平面之间的平面单应性矩阵；根据第幅标定板散斑图像计算虚拟的参考左视图散斑图像；

第七步，相机拍摄物体散斑图像，根据相机畸变参数进行畸变校正，并根据图像极线校正转换矩阵对其进行极线校正，得到校正后的物体右视图散斑图像；

第八步，立体匹配，计算参考左视图散斑图像与极线校正后的物体右视图散斑图像的视差图；

第九步，根据视差图和已知参数，利用三角测量原理计算物体三维坐标。

2.根据权利要求1所述的应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法，其特征在于：所述等效双目激光散斑投影系统，具体为：

（1）激光散斑投射器等效为虚拟左相机，激光散斑投射器光源点即为虚拟左相机光心，由光线束拟合相交于一点得到；

（2）相机校正后等效为虚拟右相机，虚拟右相机光心为相机光心，建立虚拟右相机坐标系，轴方向与基线方向平行，其单位方向向量为；将轴方向定义为相机轴与轴正交方向，其单位方向向量为，轴与轴、轴正交，其单位方向向量为；

（3）建立的虚拟左相机坐标系与校正后的虚拟右相机坐标系平行。

3.根据权利要求1所述的应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法，其特征在于：所述图像极线校正转换矩阵计算方法为：

在相机坐标系下，相机坐标系三个坐标轴方向向量已知，校正后的虚拟右相机坐标系，其光心与相机光心一致，三个坐标轴方向向量，从而可以计算虚拟右相机坐标系相对于相机坐标系的旋转矩阵；则图像极线校正转换矩阵计算为。

4.根据权利要求1所述的应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法，其特征在于：所述参考左视图散斑图像计算方法为：

首先在采集标定图像时，相机拍摄了平面白板的散斑图像，根据相机标定所得畸变系数对其进行畸变校正，再根据图像极线校正转换矩阵对其进行极线校正，使得校正后的图像极线互相平行，且与虚拟右相机坐标系轴平行；然后再根据平面诱导的单应性矩阵计算在虚拟左视图图像坐标系下的参考左视图散斑图像。

技术总结
本发明涉及应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法。解决单目激光散斑投影系统校正不准带来额外误差问题。本方法构造无畸变虚拟左相机，并利用平面单应性矩阵计算标准参考左视图散斑图像作为标准参考图像。根据虚拟左相机和参考左视图散斑图像，对相机坐标系和相机拍摄的散斑图像进行校正，得到图像极线校正转换矩阵。本发明避免了采用传感器确定参考图像深度带来的额外误差，采用单相机和激光散斑投射器构造等效双目系统，降低成本，方法简单、精度更高。

技术研发人员：刘海波;孙才艺
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2020.01.15
技术公布日：2020.06.05