本发明属于图像处理，具体涉及一种基于局部特征和欧式空间距离的深度神经网络点云配准系统及其构建方法。
背景技术：
1、点云配准任务旨在寻找一个刚性变换以使源点云source与目标点云target进行对齐，其中点云可能存在遮挡、噪声或两个点云重叠程度低等情况，因此要求算法需在保证运行效率的前提下，具备较高的准确性和一定的鲁棒性。传统的icp等方法先假设有一个初始位姿，然后迭代求解最优变换，这也就导致了一个问题：在初始值较好的条件下可获得较好的精度，但是如果初始值偏离较大时就容易陷入局部最优解，无法收敛至全局最优解，而且这些方法在搜索对应点的过程中，认为欧氏距离最近的点就是对应点，这种假设是比较武断的，没有考虑到特征空间的距离及特征之间的相互关系，因此不可避免地会产生一定数量的错误对应点。深度学习方法对初始值的扰动有一定的鲁棒性，可在一定程度上规避初始位姿偏离过大带来的配准精度的影响，但是深度学习方法对点云的特征标识依赖较高，特征的表达直接影响配准的精度，而点云特征的处理方法不同于二维图像或者三维体素，常规的应用于图像任务上的深度学习方法不能直接应用在点云数据上，需要解决点云的无序性、局部结构性和变换不变性问题。
技术实现思路
1、本发明要解决的问题是寻找置信度更高的对应关系映射，求解刚体运动参数估计，提出一种基于局部特征和欧式空间距离的深度神经网络点云配准系统及其构建方法。
2、为实现上述目的，本发明通过以下技术方案实现：
3、一种基于局部特征和欧式空间距离的深度神经网络点云配准系统，包括点云特征学习模块、特征空间聚集模块、特征空间相似性度量模块和刚体运动参数估计模块，所述点云特征学习模块包括spnet主干网络和lof局部特征提取网络；
4、所述的一种基于局部特征和欧式空间距离的深度神经网络点云配准系统的输入为待配准的源点云和目标点云xn为源点云的第n个点，ym为目标点云中的第m个点；
5、源点云x和目标点云y分别连接点云特征学习模块，在点云特征学习模块中经spnet主干网络和lof局部特征提取网络特征学习后，源点云x和目标点云y分别获得具有邻域几何信息的源点云特征向量hx(·)和具有邻域几何信息的目标点云特征向量hy(·)；
6、然后将hx(·)、hy(·)及源点云与目标点云之间的欧几里得距离特征输入到特征空间聚集模块中，通过特征的聚集生成增广特征张量t(·)；
7、然后将增广特征张量t(·)输入到特征空间相似性度量模块中，利用1×1的卷积学习到源特征和目标特征之间的点对映射关系，在点对映射关系的每一行应用softmax函数获得相似性得分，利用argmax函数提取对应点对；
8、然后将对应点对输入到刚体运动参数估计模块，利用奇异值分解svd计算得到u和v，u为左奇异向量矩阵，v为右奇异向量矩阵，再利用u和v计算得到(rxy,txy)，其中rxy为刚性变换旋转矩阵，txy为平移向量。
9、一种基于局部特征和欧式空间距离的深度神经网络点云配准系统的构建方法，包括如下步骤：
10、s1.构建点云特征学习模块，包括spnet主干网络和lof局部特征提取网络；
11、s2.将源点云x和目标点云y分别连接步骤s1构建的点云特征学习模块，在点云特征学习模块中经spnet主干网络和lof局部特征提取网络特征学习后，得到具有邻域几何信息的源点云特征向量hx(·)和具有邻域几何信息的目标点云特征向量hy(·)；
12、s3构建特征空间聚集模块，将步骤s2得到的hx(·)、hy(·)及源点云与目标点云之间的欧几里得距离特征输入到特征空间聚集模块中，生成增广特征张量t(·)；
13、s4.构建特征空间相似性度量模块，将步骤s3得到的增广特征张量t(·)输入到特征空间相似性度量模块中，输出点对(xi,yj)；
14、s5.构建刚体运动参数估计模块，将步骤s4得到的点对(xi,yj)输入到刚体运动参数估计模块中，输出刚性变换旋转矩阵和平移向量。
15、进一步的，步骤s1的具体实现方法包括如下步骤：
16、s1.1.构建lof局部特征提取网络，待计算特征点输入到k临近模块进行邻域范围内搜索k近邻点，形成一个k×d维的特征，然后经由5个多层感知器mlp进行处理，5个多层感知器mlp的大小分别为64、128、256、512、d，处理后获得k×d维的特征向量，然后再利用对称的最大池化函数maxpooling处理得到1×d维的邻域全局几何特征向量，最后将n个待计算特征点重复执行局部特征提取操作，得到与输入同维度的邻域局部几何特征，源点云的局部特征提取f(x1,x2,…,xn)的计算表达式为：
17、
18、目标点云的局部特征提取f(y1,y2,…,ym)的计算表达式为：
19、
20、其中，h代表特征提取层，g为对称方法，γ为更高维特征提取，g设定为maxpooling或sumpooling；
21、s1.2.构建spnet主干网络，去掉pointnet的最大池化及其后面的部件，使用精减的pointnet作为主干网络spnet，初始输入为n×3的点云，然后经过第一次stn仿射变换生成3×3的变换矩阵对空间中输入的点云进行调整使输入对齐，然后经由大小为64、64的mlp得到64维的特征，然后经过第二次stn仿射变换生成64×64的变换矩阵在特征空间对齐，然后经过64、128的mlp和128、256的mlp进行特征升维，得到128维和256维的特征，网络中各个mlp共享权重，每个mlp都包含relu和bn。
22、进一步的，步骤s2的具体实现方法为将源点云x和目标点云y分别连接步骤s1构建的点云特征学习模块，经由lof局部特征提取网络处理生成的局部邻域几何特征后，与spnet主干网络的点特征级联分别生成64,192和384维的特征，最终生成每一个点的特征描述为融合了点特征和局部几何特征的长度的384维的特征向量，得到具有邻域几何信息的源点云特征向量hx(·)和具有邻域几何信息的目标点云特征向量hy(·)。
23、进一步的，步骤s3的具体实现方法为将得到的hx(·)、hy(·)及源点云与目标点云之间的欧几里得距离特征输入到特征空间聚集模块中计算距离增广特征张量t(·)，计算表达式为：
24、
25、其中，[；]表示级联，t(i,j)表示位于(i,j)处的点对(xi,yj)的几何特征和欧几里得特征的距离增广特征张量；
26、得到2k+4维的距离增广特征张量t(·)包括k维的hx(i)几何特征、k维的hy(j)几何特征，以及4维的欧几里得特征。
27、进一步的，步骤s4的具体实现方法包括如下步骤：
28、s4.1.将步骤s3得到的距离增广特征张量设置为具有(2k+4)通道的2d图像；
29、s4.2.在t(·)上使用一系列1×1的2d卷积，在最后一层输出相同空间大小的单通道图像，相当于在t(·)上应用32,32,32,32,1多层感知器mlp，1×1卷积，使用点匹配损失学习权重，得到和目标特征之间的特征映射关系在s×s单通道图像的每一行应用softmax函数来获得相似度矩阵m(·)，将匹配成本转换为概率，得到m(i,j)表示yj是xi的对应关系的概率，即yj与xi的相似性得分，配准的任务是寻找一个刚性变换旋转矩阵rxy∈so(3)和平移向量其中so(3)为3维旋转群，使得原点云x与目标点云y对齐，点云配准问题描述为一个均方误差最小化问题，通过最小化目标函数实现点云配准任务，最小化目标函数公式为：
30、
31、刚性变化e(rxy,txy,m)被定义成变量(rxy,txy),rxy∈so(3),m是从x中的点到y中点的映射，表示任意点xi∈x使用m的映射方式下在目标点云y中的对应点；
32、s4.3.然后在相似度矩阵m(·)的每一行上执行argmax获得点对(xi,yj)，设置x和y的质心分别定义为则有：
33、rxy＝vut
34、
35、其中，u为左奇异向量矩阵，v为右奇异向量矩阵；
36、m是x中的每一个点在y中对应点的映射，表达式为：
37、m(xi,y)＝argmin||rxyxi+txy-yj||2。
38、进一步的，步骤s5的具体实现方法包括如下步骤：
39、s5.1.构建刚体运动参数估计模块，将步骤s4得到的点对坐标代入最小化目标函数公式(，利用奇异值分解svd计算得到u和v，然后求解rxy，txy，计算公式为：
40、h＝u∑vt
41、其中，h为任意矩阵，σ为对角矩阵；
42、s5.2.基于步骤s5.1得到的rxy，txy，更新源点云，得到新的源点云，重复步骤s3和步骤s5直到满足收敛条件，得到运动参数(r*,t*)的最终估计是所有迭代的中间体(r(n),t(n))的组成，输出刚性变换旋转矩阵和平移向量。
43、本发明的有益效果：
44、本发明所述的一种基于局部特征和欧式空间距离的深度神经网络点云配准系统，利用局部邻域特征模块来充分学习点及其邻域之间的几何关系以此获取点云的局部几何特征。针对传统icp方法对初始位姿敏感，容易陷入局部最优解，无法收敛到全局最优解的问题，本发明构建了一个基于局部特征和欧几里得空间距离的深度神经网络点云配准系统，利用深度学习和迭代优化的方法对抗点云配准的初始扰动问题。针对icp方法在搜索对应点时使用欧氏距离作为度量，缺少鲁棒性的问题；本发明设计的几何距离感知相似度矩阵卷积模块，将两个点的局部邻域信息及其欧几里得空间位置进行联合信息编码，然后将联合的编码信息整合到点对的匹配过程中，以此寻找置信度更高的对应关系映射。
1.一种基于局部特征和欧式空间距离的深度神经网络点云配准系统，其特征在于，包括点云特征学习模块、特征空间聚集模块、特征空间相似性度量模块和刚体运动参数估计模块，所述点云特征学习模块包括spnet主干网络和lof局部特征提取网络；
2.一种权利要求1所述的一种基于局部特征和欧式空间距离的深度神经网络点云配准系统的构建方法，其特征在于，包括如下步骤：
3.根据权利要求2所述的一种基于局部特征和欧式空间距离的深度神经网络点云配准系统的构建方法，其特征在于，步骤s1的具体实现方法包括如下步骤：
4.根据权利要求3所述的一种基于局部特征和欧式空间距离的深度神经网络点云配准系统的构建方法，其特征在于，步骤s2的具体实现方法为将源点云x和目标点云y分别连接步骤s1构建的点云特征学习模块，经由lof局部特征提取网络处理生成的局部邻域几何特征后，与spnet主干网络的点特征级联分别生成64,192和384维的特征，最终生成每一个点的特征描述为融合了点特征和局部几何特征的长度的384维的特征向量，得到具有邻域几何信息的源点云特征向量hx(·)和具有邻域几何信息的目标点云特征向量hy(·)。
5.根据权利要求4所述的一种基于局部特征和欧式空间距离的深度神经网络点云配准系统的构建方法，其特征在于，步骤s3的具体实现方法为将得到的hx(·)、hy(·)及源点云与目标点云之间的欧几里得距离特征输入到特征空间聚集模块中计算距离增广特征张量t(·)，计算表达式为：
6.根据权利要求5所述的一种基于局部特征和欧式空间距离的深度神经网络点云配准系统的构建方法，其特征在于，步骤s4的具体实现方法包括如下步骤：
7.根据权利要求6所述的一种基于局部特征和欧式空间距离的深度神经网络点云配准系统的构建方法，其特征在于，步骤s5的具体实现方法包括如下步骤：
