本发明涉及三维重建技术，特别涉及一种基于连续相位稠密匹配的360°三维重建优化方法。
背景技术：
三维重建在工业生产、逆向工程、航空测量、虚拟现实等领域都有广泛的应用。基于结构光投影和图像信息的三维重建，可以获取被测三维物体极高精度的三维信息，同时利用多相机或运动相机的多视几何原理可以获取更大角度范围、更加完整的三维模型，因此，利用多相机的结构光重建方法，是获取高精度360°完整三维模型的有效手段。在结构光重建方法中，三维点云的配准和重建结果的优化是关系到三维模型重建效果的两个关键技术。
三维点云的配准很大程度上决定着三维模型的重建精度，受到本领域技术人员的广泛关注。通常，要想获得物体完整的三维模型，需要将不同视角的数据集变换到同一个坐标系下，这个过程称为三维数据配准。不同视角间的三维数据配准尤为重要，它直接关系到三维重建的重建精度及自动化程度。在进行三维模型重建时，由于受观察方向和物体自身形状的限制，需要分别从不同角度获取物体表面的三维数据，获得具有真实自然的纹理、并能够模拟出任意光照和视角的三维物体表面。点云数据是通过各种三维数据采集设备得到的表达物体表面信息和空间分布的三维数据点的集合，通常以非结构化的三维点的形式进行表示，是空间上离散的几何点。点云的最基本构成元素是空间离散点及与之关联的表面属性。配准的难点在于两个三维点云集的点云之间对应关系的获取。
在结构光重建方法中，完整三维模型主要是通过多片局部三维点云融合生成的。结构光三维测量是通过投影装置将一个被周期函数调制的光栅条纹投射在被测物体的表面，由于物体表面高度的变化，各点的光栅条纹的相位发生了偏移。这种方法可以获取物体表面的三维信息。由于光学扫描系统的有限可见性，导致单视角扫描存在由遮挡造成的扫描盲区，要得到完整模型往往需要多视角、多次扫描后再进行多片点云配准融合，即将不同视角下采集的具有一定重叠区域的点云，根据重叠区域一致的特点配准到一起,使得它们能够在同一坐标系下,融合成为一个整体。三维点云融合的关键技术是三维点云配准技术。三维点云配准技术是通过寻找不同视角下点云之间的映射关系，利用一定的算法，将物体点云通过旋转和平移等刚体变换，使处在不同坐标系下的点云匹配对齐的变换操作，其关键是求取坐标变换参数：旋转矩阵和平移向量，旋转矩阵和平移向量将源点云变换到与目标点云相同的坐标系下。结构光三维点云配准有诸多的干扰因素。首先是配准噪声的影响，点云数据在结构光重建获的过程中，由于人为的干扰、环境光照的影响和物体面型的陡变使得生成的三维数据往往带有许多小振幅噪声和离群点，进而使得重建后的模型粗糙零乱。其次是计算量巨大，在大规模数据运算中，点云的数据量对后期运算效率有着极大的影响。由于扫描数据与模型的初始状态差异，可能会导致配准的发散。点云的数据一般都在千级以上，甚至百万级，如此庞大的数据，如果全部参与计算和重复的遍历搜索必然会导致效率低下。正是由于三维点云配准技术需要进行对应点集之间的特征匹配，因此需要耗费大量的计算时间。
重建结果的优化是对结构光重建过程中三维点云配准结果的进一步细致调整，使得重建的三维模型和相机位姿具有全局最小误差。三维点云配准获取得到了不同视角多片点云各自对应的刚体变换关系，但是由于单片点云内部存在着各种细小的波动噪声，如果想要获取更高精度的完整重建模型，需要对每片三维点云中的每个点进行空间位置的细微调整，而这种调整通过刚体变换是无法实现的，因此，需要构建针对完整重建点云噪声的优化模型，实现重建结果的优化。如何设计重建结果优化算法也是获取更高精度三维重建模型的一个技术难点。为了获取整个物体的三维模型，在将不同视角的物体三维数据配准到同一个参考坐标系下时，由于基准视角的不断变化，从而会引起配准误差的积累。在总体上对数据配准进行全局优化，可以减少配准误差。在重建结构的优化中，误差函数或代价函数的构建是设计重建结果优化算法的关键步骤。在利用基于特征匹配的多视角被动式三维重建中，重投影误差衡量了同一空间点在不同视角成像条件下的像素坐标差异，重投影误差整体大小的二范数被作为构造误差函数的关键参数。误差函数的求解是利用迭代方式寻找非线性优化最优值的过程，该过程使用扰动模型，求得单个误差项关于待优化量的导数，然后进行不断迭代，获取唯一或多个极小值，通过判断，判定全局最小值对应的待优化量作为全局最优值。在实际应用中，点云的数目由几千到数百万，误差函数的迭代求解需要大量的时间代价和空间代价，因此设计快速收敛的误差函数，以及可以使得误差函数快速收敛的优化初始值同样很有必要。
技术实现要素：
本发明旨在提出一种可以快速实现360°重建被测对象三维点云，并对重建结果进行非线性优化的方法，该方法具备重建精度高、纹理依赖低、被测对象旋转次数少、无接触且每点的计算相互独立等优点。
本发明提出一种基于连续相位稠密匹配的360°三维重建优化方法，具有如下技术特征：在结构光投影及相机阵列1采集中，首先进行数字投影仪2和相机阵列1的标定，数字投影仪2标定后投影结构光条纹，相机阵列1标定后拍摄不同角度变形条纹，获取对应的结构光变形图像，进而计算变形条纹像素点相位级次，同时确定变形条纹像素点在相机阵列1不同相机成像平面的极线，由此建立对极几何与等相位联合约束，计算不同视角结构光图像的稠密匹配，生成不同角度变形条纹相位稠密匹配关系；利用相位稠密匹配关系和三角化原理，初始化相机变换矩阵和三维初始点，设计全局优化的目标函数，表征整体误差，构建目标函数图优化模型并求解；通过迭代，计算不同相机位姿和整体三维点云的最优解，完成目标函数迭代优化计算；利用最优化的三维点云生成完整三维点云，对最优化的三维模型进行三角化曲面重建，得到被测目标完整的360°三维目标重建模型，完成完整三维目标模型生成。
本发明相比于需要技术具有如下有益效果。
本发明利用标定后的相机阵列1和数字投影仪，从不同角度同时获取对应的结构光变形图像；然后利用相机阵列1对极几何和结构光等相位联合约束，计算不同视角结构光图像的稠密匹配，并利用三角化原理计算优化迭代的初始值；接着设计表征整体误差的目标函数，构建目标函数图优化模型，迭代计算不同相机位姿和整体三维点云的最优解；最后对最优化的三维模型进行三角化曲面重建，得到被测三维目标完整的360°三维重建模型。通过结构光投影及相机阵列1采集、不同视角连续相位稠密匹配、目标函数构建及迭代优化计算和完整三维目标模型生成四个过程，可以实现被测对象360°三维点云快速重建，实验结果表明，本发明具备重建精度高、纹理依赖低、被测对象旋转次数少、无接触且每点的计算相互独立等优点。相比传统的迭代最近点三维配准方法，该方法更加高效、精确和稳定。
本发明从不同角度同时获取对应的结构光变形图像，计算变形条纹像素点相位级次，确定变形条纹像素点极线，建立对级几何与相位联合约束，然后利用相机阵列1对极几何和结构光等相位联合约束，计算不同视角结构光变形条纹相位稠密匹配，同时，设计全局优化目标函数，并构建该函数的图优化模型，进而进行求解。该目标函数将表征相机位姿的变换矩阵和三维点云空间位置同时考虑在内，实现了结构光三维重建过程的全局优化，同时由于不同视角连续相位的稠密匹配关系和目标函数准确的初始值设计，极大地提高了目标优化结果的精度，并降低了计算过程的时间消耗。
本发明根据不同视角连续相位稠密匹配过程，利用标定后的相机阵列和数字投影仪，从不同角度同时获取对应的结构光变形图像，然后利用相机阵列对极几何和结构光等相位联合约束，计算不同视角结构光图像的稠密匹配，并利用三角化原理计算优化迭代的初始值，具备重建精度高、纹理依赖低、被测对象旋转次数少、无接触且每点的计算相互独立的优点。
附图说明
图1是本发明基于连续相位稠密匹配的360°三维重建优化方法流程示意图；
图2是本发明基于连续相位稠密匹配的360°三维重建优化方法装置示意图；
图3为对极几何与等相位联合约束条件示意图；
图4为目标函数图优化表示示意图。
图中：1相机阵列1，2数字投影仪，3投影结构光条纹，4被测三维目标，5第一相机成像平面，6第二相机成像平面，7被测三维目标表面等相位线，8相机位姿顶点，9三维点云顶点。
应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
下面详细说明本发明的一种基于连续相位稠密匹配的360°三维重建优化方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。
参阅图1。根据本发明，三维重建优化方法包括结构光投影及相机阵列1采集、不同视角连续相位稠密匹配、目标函数构建及迭代优化计算和完整三维目标模型生成四个过程。在结构光投影及相机阵列1采集中，首先进行数字投影仪2和相机阵列1的标定，数字投影仪2标定后投影结构光条纹，相机阵列1标定后拍摄不同角度变形条纹，获取对应的结构光变形图像，进而计算变形条纹像素点相位级次，同时确定变形条纹像素点在相机阵列1不同相机成像平面的极线，由此建立对级几何与等相位联合约束，计算不同视角结构光图像的稠密匹配，生成不同角度变形条纹相位稠密匹配关系；利用相位稠密匹配关系和三角化原理，初始化相机变换矩阵和三维初始点，设计全局优化的目标函数，表征整体误差，构建目标函数图优化模型并求解，通过迭代，计算不同相机位姿和整体三维点云的最优解，完成目标函数及迭代优化计算；利用最优化的三维点云生成完整三维点云，对最优化的三维模型进行三角化曲面重建，得到被测目标完整的360°三维目标重建模型，完成完整三维目标模型生成。
参阅图2—图3。基于连续相位稠密匹配的结构光三维重建优化装置，包括：由mk×nk个相机组成的相机阵列1，放置于相机阵列1所处平面中心轴线位置的数字投影仪2，并且相机之间的间隔为dcc，数字投影仪2和相机阵列1的光轴会聚被测三维目标4，并产生覆盖被测三维目标4的投影结构光条纹3，第一相机和第二相机中心分别为o1和o2，o1、o2点分别对应第一相机成像平面5和第二相机成像平面6。
在三维空间中，被测目标表面一点p在第一相机成像平面i1和第二相机成像平面i2分别形成像素点p1和像素点p2，o1、o2和三维空间中点p构成三角形，三角形顶点处于被测三维目标表面等相位线7，等相位线7经过第一相机和第二相机分别成像。
在结构光投影及相机阵列1采集过程中，利用数字投影仪在平面处投影棋盘格标定图像，相机阵列1获取棋盘格图像，并进行图像角点检测，进而计算得到每个相机与数字投影仪之间的基础矩阵。由基础矩阵进行分解，得到第k个相机相对数字投影仪的旋转矩阵rkc和平移矩阵tkc，其中kc是相机的索引编号。然后利用数字投影仪投影正弦明暗分布的结构光条纹pi(u,v)，结构光条纹pi(u,v)满足：
其中，(u,v)是投影仪像素坐标系的任意一个像素坐标，ap(u,v)表示直流分量强度，bp(u,v)表示条纹幅值，2πi/n表示第i个条纹的相移量，n为结构光条纹的相移总步数，取值为大于等于4的整数。同时利用相机阵列对被测三维目标进行采集，获得反射的变形条纹图像ii(x,y)满足：
其中，(x,y)是相机像素坐标系的任意一个像素坐标，ac(x,y)表示被测物体背景强度，bc(x,y)表示获取条纹幅值。利用
并且相位函数
其中，t为结构光相位周期，u为当前像素对应的截断相位坐标，绝对相位具有连续性，等相位线方向与原始投影条纹方向一致。
参阅图3。定匹配点的对极几何约束。从第一相机角度来看，p1是空间中点p的投影，在第二相机成像平面可能的投影位置在e2和p2的连线上，即极线l2上。相机阵列1的内参数矩阵统一为k，其中像素点p1和p2在齐次坐标下满足：
p1＝kp,p2＝k(rp t)(5)
像素点p1和p2对应的归一化平面坐标
其中，[*]t表示矩阵的转置，e12为两个相机之间的本质矩阵。满足对极几何约束的像素匹配点确定了在另一个像素坐标系内可能对应的极线位置，但是尚无法确定该像素对应的具体坐标。然后确定匹配点的结构光等相位约束。如图3所示，在第一相机对应的图像il中，像素点p1对应的绝对相位φ1(x,y)可以由公式(4)得到，而该绝对相位φ1(x,y)在三维空间中对应被测三维目标表面等相位线7，记为轮廓线s，空间点p处于该轮廓线上。该轮廓线经过第二相机进行投影，在第二相机上同样形成一条等相位曲线s2，在图像i2上可以表示为：
s2(x2,y2)＝φ1(w1)＝φ1(x1,y1)(7)
则从第一相机角度来看，图i1中的像素点p1在第二相机的成像平面i2上的重投影点仅能是在等相位曲线s2上。
最后联合p点的相机阵列1对极几何约束和结构光等相位约束。在图像i2中求解极线l2与曲线s2交点p2，其像素坐标便是图像i1中p1点的匹配坐标，求得p点在第一相机和第二相机成像平面的精确匹配。同理，遍历图像i1中的所有像素点，除去匹配点超出图像i2坐标范围的点，其余点都可以找到正确的对应关系，进而得到图像i1和图像i2的稠密匹配。利用三角测量原理和多点投影算法，得到在每个相机坐标系的三维点云初始值和变换矩阵的初始值。
所述目标函数构建及迭代优化计算过程，利用三角测量原理得到的存在较大的误差的三维点云初始值，通过迭代优化将该误差降到最小。同样，对不同相机的变换矩阵rkc|tkc也进行优化，以得到被测物体最佳的三维重建结果。该过程首先构建优化的目标函数。利用所有相机对应的三维点云的观测值和估计值之间的距离作为优化的目标函数，将三维点云和变换矩阵r|t表示为李代数
其中，ρ为ξ的前三维，表示三维点云变换中的平移，φ为ξ的后三维，表示三维点云变换中的旋转。
三维点云的估计值的集合表示为{qj(x,y,z)}，目标函数设置为：
其中，
参阅图4。将目标函数的求解构造成为一个图优化问题。附图4中的实线三角形代表相机位姿顶点，虚线三角形代表该顶点的位姿不确定性，虚线三角形距离实线三角形越远、角度越大，代表相机位姿观测值距真实值的偏差越大；实线圆圈代表三维点云顶点，虚线圆圈代表点云不确定性，虚线圆圈越大，代表改点云的观测值距离真实值的偏差越大；连接点云和相机位姿顶点的虚直线代表观测模型。图的顶点为所有三维空间点云和相机阵列1的位姿，表示该图优化问题的优化变量；图优化问题中图的边连接着顶点，表示共视区域内不同顶点之间的观测关系，是该图优化问题的误差项。该过程对三维点云和相机阵列1位姿同时进行优化，分别设置三维点云顶点和位姿顶点。目标函数构建及迭代优化计算过程对三维点云和相机阵列1位姿同时进行优化。在对该优化问题具体求解时，首先要定义顶点和边的类型。三维点云顶点维度为3，
所述完整三维目标模型生成过程，利用最优化的三维点云进行三角化和曲面重建，得到被测三维目标完整的360°三维重建模型，同时利用优化后的每个相机的变换矩阵，对应每个相机相对点云的位姿，确定相机阵列1在完整的三维模型坐标系下的位姿关系。
本实施例通过结构光投影及相机阵列1采集、不同视角连续相位稠密匹配、目标函数构建及迭代优化计算和完整三维目标模型生成四个过程，可以实现被测对象360°三维点云快速重建，该方法具备重建精度高、纹理依赖低、被测对象旋转次数少、无接触且每点的计算相互独立等优点。
以上结合附图对本发明进行了详细描述，但需要指出的是，上述实例所描述的是仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
1.一种基于连续相位稠密匹配的360°三维重建优化方法，具有如下技术特征：在结构光投影及相机阵列(1)采集中，首先进行数字投影仪(2)和相机阵列(1)的标定，数字投影仪(2)标定后投影结构光条纹，相机阵列(1)标定后拍摄不同角度变形条纹，获取对应的结构光变形图像，进而计算变形条纹像素点相位级次，同时确定变形条纹像素点在相机阵列(1)不同相机成像平面的极线，由此建立对极几何与等相位联合约束，计算不同视角结构光图像的稠密匹配，生成不同角度变形条纹相位稠密匹配关系；利用相位稠密匹配关系和三角化原理，初始化相机变换矩阵和三维点云初始点，设计全局优化的目标函数，表征整体误差，构建目标函数图优化模型并求解；通过迭代，计算不同相机位姿和整体三维点云的最优解，完成目标函数迭代优化计算；利用最优化的三维点云生成完整三维点云，对最优化的三维点云进行三角化曲面重建，得到被测目标完整的360°三维目标重建模型，完成完整三维目标模型生成。
2.如权利要求1所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：在三维空间中，被测目标表面一点p在第一相机成像平面i1和第二相机成像平面i2分别形成像素点p1和像素点p2，o1、o2和三维空间中点p构成三角形，三角形顶点处于被测三维目标表面等相位线(7)，等相位线(7)经过第一相机和第二相机分别成像。
3.如权利要求1所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：在结构光投影及相机阵列(1)采集过程中，利用数字投影仪(2)在平面处投影棋盘格标定图像，相机阵列(1)获取棋盘格图像，并进行图像角点检测，进而计算得到每个相机与数字投影仪之间的基础矩阵。
4.如权利要求3所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：根据相机的索引编号kc，由基础矩阵进行分解，得到第k个相机相对数字投影仪(2)的旋转矩阵rkc和平移矩阵tkc，然后根据结构光相位周期t，结构光条纹的相移总步数n，投影仪像素坐标系的任意一个像素坐标(u,v)第i个条纹的相移量2πi/n，直流分量强度ap(u,v)和条纹幅值bp(u,v)，得到满足数字投影仪投影正弦明暗分布的结构光条纹pi(u,v)，
其中，，n取值为大于等于4的整数。
5.如权利要求4所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：利用相机阵列对被测三维目标进行采集，根据相机像素坐标系的任意一个像素坐标(x,y)，被测物体背景强度ac(x,y)，获取条纹幅值bc(x,y)，经物体表面调制后的变形条纹的相位函数
求解得到截断相位：
其中，相位函数
6.如权利要求5所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：利用不同频率的格雷码投影，确定不同相位周期的级次，并对其进行展开，得到对应的绝对相位φ(x,y)：
其中，t为结构光相位周期，u为当前像素对应的截断相位坐标，绝对相位具有连续性，等相位线方向与原始投影条纹方向一致。
7.如权利要求6所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：确定匹配点的对极几何约束：根据从第一相机角度来看的p1是空间中点p的投影，在第二相机成像平面可能的投影位置在e2和p2的连线上，即极线l2上，相机阵列1的内参数矩阵统一为k，其中像素点p1和p2在齐次坐标下满足：p1＝kp,p2＝k(rp t)，
像素点p1和p2对应的归一化平面坐标
其中，[*]t表示矩阵的转置，e12为两个相机之间的本质矩阵。
8.如权利要求7所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：在第一相机对应的图像il中，像素点p1对应的绝对相位φ1(x,y)由绝对相位φ(x,y)得到，而该绝对相位φ1(x,y)在三维空间中对应被测三维目标表面等相位线(7)，空间点p处于该轮廓线s上，该轮廓线s经过第二相机进行投影，在第二相机上同样形成一条等相位曲线s2，在图像i2上表示为：s2(x2,y2)＝φ1(w1)＝φ1(x1,y1)(7)
最后联合p点的相机阵列(1)对极几何约束和结构光等相位约束。
9.如权利要求7所述的基于连续相位稠密匹配的360°三维重建优化方法，其特征在于：在图像i2中求解极线l2与曲线s2交点p2，其像素坐标便是图像i1中p1点的匹配坐标，求得p点在第一相机和第二相机成像平面的精确匹配，同理，遍历图像i1中的所有像素点，除去匹配点超出图像i2坐标范围的点，其余点都找到正确的对应关系，进而得到图像i1和图像i2的稠密匹配，利用三角测量原理和多点投影算法，得到在每个相机坐标系的三维点云初始值和变换矩阵的初始值；利用所有相机对应的三维点云的观测值和估计值之间的距离作为优化的目标函数，将三维点云和变换矩阵r|t表示为李代数
其中，ρ为ξ的前三维，表示三维点云变换中的平移，φ为ξ的后三维，表示三维点云变换中的旋转，三维点云的估计值的集合表示为{qj(x,y,z)}，目标函数设置为：
其中
10.一种基于连续相位稠密匹配的结构光三维重建优化装置，包括：由mk×nk个相机组成的相机阵列(1)，放置于相机阵列(1)所处平面中心轴线位置的数字投影仪(2)，并且相机之间的间隔为dcc，其特征在于：数字投影仪(2)和相机阵列(1)的光轴会聚被测三维目标(4)，并产生覆盖被测三维目标(4)的投影结构光条纹(3)，第一相机和第二相机中心分别为o1和o2，o1、o2点分别对应第一相机成像平面(5)和第二相机成像平面(6)。
技术总结