本发明属于目标检测领域，涉及一种基于融合点级与体素特征的3d目标检测方法。
背景技术：
1、机械装置在运动前需要对于周围环境的感知，在未获取周围环境物体位置之前进行运动会导致机械装置与周围物体发生碰撞进而影响机械装置完成指定任务。对于道路行驶的自动驾驶车辆来说，对道路中运动或静止的车辆、行人、骑自行车的人进行检测、识别和定位对于其完成自动驾驶的任务至关重要。自动驾驶车辆可以通过相机、激光雷达等装置获取周围环境状态。相机通过接收物体所反射的光线，能够生成相机平面下物体表面细腻的轮阔信息，但是由于其成像原理的限制，缺乏对于物体在空间中位置的准确数据。不过相机对于物体在定位后进行准确类别和状态描述有独特的作用。激光雷达通过对周围场景表面的逐点扫描，实现了对于整个场景物体表面的点云成像。与相机相比，激光雷达所生成的点云能够精确的描述周围物体在激光雷达坐标系下的准确位置。
2、由于激光雷达的旋转扫描特性，点云中点的密度根据距离而变化。距离激光雷达较近的区域表现出较高的点密度，而较远的区域则具有较稀疏的点。此外，由于物体之间的遮挡因素和激光雷达性能限制，对于近处物体的点云密度和完整度与远处物体相比有较大差异。然而，在点云中对于物体描述的点云密度越高，形态结构越完整，越有利于网络对其位置和结构信息的表达。为缓解点云得近密远疏对物体定位结果带来的影响，通常会采用点云采样、点云滤波等点云数据的预处理过程。
3、与图像等结构化存储的数据不同，由于不同场景中物体数量不同以及激光雷达性能约束，激光雷达在不同场景中所得到的点云中点的数量不同。然而不管是出于存储的便利还是为了并行运算来加速网络训练和推理过程，需要将点云进行采样来批量化存储。常用的采样方法有随机采样和最远点采样。
4、对点云采取随机采样或均匀采样，一定程度上平衡了点云密集区域和稀疏区域的密度平衡，并且能够批量化点云。对于随机采样，其采样过程对于点保留随机性对物体点云的结构会造成一定的破坏，这种破坏使得后期定位物体变得更加困难。对于均匀采样，不管是基于体素的方法还是最远点采样的方法，在采样之前的计算过程都非常耗时。
5、与使用采样方法平衡点云远近密度不同，点云滤波特别是体素格滤波通过调整体素格滤波的体素大小，控制点云的最终密度。较小的体素大小将产生更高密度的点云，而较大的体素大小将导致更低密度的点云。而由于体素大小的选择需要按照应用场景手工设置，这使得最终的滤波效果有很大的不确定性。
6、不管是点云采样或是点云滤波，都倾向于将高密度区域点云稀疏化，以此达到点云整体密度的平衡。然而这不仅没能改变低密度点云区域物体难定位的状态，更有可能使得高密度点云区域物体结构信息造成破坏。基于随机采样和均匀采样的批量化点云方法，难以在前景点保留率与采样时间之间取得均衡。
7、近年来，随着深度学习快速发展，结合图像与稀疏深度图的深度补全任务的精度实现了较大提升，这对于弥补点云近密远疏带来了新的可能。将图像和稀疏深度图输入深度网络补全深度图，将所补全的深度图转换为伪点云能够给予场景中物体更多结构信息。尽管在物体轮廓和图像边缘所补全的深度值精度仍然缺乏，但是对于远处物体和小物体能够极大的丰富其点云。通过补全深度图转换得到的伪点云，存在噪声大，密度高的特点，因此将虚拟点云应用于点云中弥补其密度不均的问题仍需进一步处理。
8、基于点云的3d目标检测网络方法随着深度学习的发展而逐渐变多，但是大多数的方法耗时较多，且精度有限，尽管对于点云密度大，结构信息清晰的物体的定位精度高，但是点云密度较小、存在遮挡的物体定位精度有限，分类的准确性差。在众多3d目标检测方法中，3d-ssd因其推理速度快，运行存储需求小而备受关注。3d-ssd所输入点云采取随机采样的方法批量化，在下采样过程中的根据特征采样使得物体的点云结构信息存在一定程度破坏，无法保持同图像一致的下采样过程的邻域信息不变。因此最终使得3d-ssd的检测精度有限，检测的稳定性欠缺。因此本发明在3d-ssd的框架下，进行一定程度改进，使其在高效检测的同时，使输入前景点密度更加密集，检测效果更加稳定。所改进方法包括体素引导滤波、特征分区采样和目标检测三个步骤。
9、在3d目标检测方法中，特别是基于点的检测方法中。需要对点的进行筛取，以此将多个点云样本批量化，这是加速网络训练的重要步骤。本发明的3d目标检测是一种高效且精准的3d目标检测技术，主要是基于类pointnet++的主干结构用于提取点云的结构特征，并且使用轻量级的mlp检测头实现了3d目标检测流程。
技术实现思路
1、有鉴于此，本发明的目的在于提供一种基于融合点级与体素特征的3d目标检测方法。
2、为达到上述目的，本发明提供如下技术方案：
3、基于融合点级与体素特征的3d目标检测方法，该方法包括以下步骤：
4、步骤1：获取实际场景的机扫点云和图像文件，并将其存储在通用存储器中；
5、步骤2：将存储其中的机扫点云利用对应的转换矩阵投影到相机平面生成稀疏深度图，结合图像信息输入到深度补全网络中生成补全深度图；
6、步骤3：将补全后的深度图利用逆转换矩阵转换为虚拟点云，体素化虚拟点云利用体素点数均值和最小点数稀疏化虚拟点与过滤彗尾状噪声点；利用迭代最近点算法ipc配准虚拟点云和机扫点云；
7、步骤4：体素化机扫点云，采样机扫点云的体素质心获取关键点；通过统计关键点局部球查询体素数量的统计量来计算得到局部密度相关累计函数，进一步得到关键点的密度系数；
8、步骤5：计算机扫点云的体素质心的深度值，通过下式计算关键点的深度系数：
9、
10、其中，ρi为深度系数，di为第i个体素质心的深度值，dmin和dmax分别为所有体素质心深度值所组成的集合中最小值和最大值；
11、步骤6：由密度系数和深度系数通过下式计算得到关键点的采样半径：
12、
13、ri＝rbase*βi
14、其中，σi为密度系数；βi为半径系数，rbase为待检物体预设框(由标注框聚类或取均值得出)中最大体积框体体对角线长度的一半的取整值，即rbase＝2，ri为第i个体素质心采样半径；
15、通过关键点不同的采样半径来采样虚拟点云中的点；
16、步骤7：将输入点云按照深度值进行分区，分别计算各分区基于密度的采样点个数和基于均值采样的采样点个数；选取两种采样个数中较大值采样此分区中的点云，在合并所有分区点云后，再次采样以实现基于特征分区的筛取；
17、步骤8：丰富抽象集合算子输入特征，计算关键点所采样的周围点相关特征值；
18、步骤9：增加体素特征提取主干网络，在输入检测头之前融合点级-体素的特征；
19、步骤10：在通过体素引导滤波的虚拟点云增强点云后，将所有点云进行数据增强，选取增强前后点云中的一半作为训练集，另一半作为测试集；利用标注数据通过融合点级与体素特征的3d目标检测方法进行训练，得到融合点级与体素特征的3d目标检测方法模型；
20、步骤11：通过融合点级与体素特征的3d目标检测方法模型使用测试集数据进行验证。
21、进一步，所述步骤3中，补全深度图转换成虚拟点云的坐标为：
22、z＝f(u,v)
23、
24、
25、其中，每个像素点(u,v)深度值由深度补全网络f预测得到，(cu,cv)为相机坐标系下的图像的中心点坐标，(fu,fv)是水平方向和垂直方向的焦距。
26、进一步，所述步骤8具体为：
27、经典的抽象集合算子仅计算局部点云的相对位置pq，即[xk-xq,yk-yq,zk-zq]；通过显示计算输入到网络中；
28、
29、关键点pk的局部密度βk通过上式计算得出；snum为各关键点所查询到局部点集合的点数集合，为关键点pk所查询到的局部点集合中点的个数；log为以2为底的对数函数，n为本层中关键点的个数，k为关键点pk的序号，取值于集合{1,..,n}；
30、对于点间特征，需要显示计算得出输入网络；点间距离dq通过相对位置pq得出，点间的角度由以下步骤得出：
31、通过相对位置pq，得到以关键点为原点的3d向量
32、计算得到向量与x轴方向的夹角余弦值cosθx：
33、
34、通过向量与基向量叉乘得出的法向量的相关分量符号来判断反余弦值符号，得到向量角分量的正弦值，其中为x轴的基向量即(1,0,0)，θx为向量在x轴方向的角分量；
35、引入体素3d主干网络，并在上下语义预测过程中利用改进后的抽象集合算子提取以体素质心为前景点的局部特征信息，然后利用点-体素融合模块融合局部点云信息；
36、点级特征信息与体素特征信息组成的两种特征信息融合计算方式如下式所示：
37、ffuse＝cat[fpt*σ(h(fpt)-fpt),fvxl*σ(h(fvxl)-fvxl)]
38、
39、fpt为点级主干网络所以提取得关键点局部点云特征，fvxl为体素主干网络所以提取得关键点局部点云特征；h为平均池化函数，将两种特征分别使用池化自注意力机制计算后再进行拼接得到关键点的完整特征信息；
40、在融合点级与体素特征的3d目标检测方法中，在将点云输入后，会经过半径为[[0.2,0.8],[0.8,1.6],[1.6,4.8]]，输出特征大小为[[64],[128],[256]]的点级特征提取网络下采样提取关键点局部特征信息；同时也会经过2、4、8倍的体素卷积下采样特征提取过程；在经过投票层回归关键点所在物体中心位置后；利用回归中心在点级主干网络和体素主干网络输出结果中重新采样提取局部特征信息；采样半径分别为[[4.8,6.4],[1.8,3.2]]，输出特征大小分别为[[256],[256]]；结合所输入到投票层的特征信息，利用mlp最终输出通道大小为[768]的关键点特征信息。
41、本发明的有益效果在于：经过本发明的步骤处理后，所检测的物体为预定的物体区域。根据上述方法对数据集进行处理，尽管场景中的物体个数和形状各有不同，但所获得的检测结果中，所有的物体区域都被精确检测得出，而且所预测的类别与标注数据一致。
42、针对点云的数据预处理(增强与采样)：
43、1.由于物体之间的遮挡和机扫雷达近密远疏，因此需要将近处被遮挡区域的点云和远处区域的点云增强。因此可以结合图像补全深度图，进而生成虚拟点云。利用本发明提出的滤波方法，在稀疏化虚拟点云点云的同时能够按需增强机扫点云(侧重于稀疏的区域和远处区域)。
44、2.出于提高3d目标检测网络训练和推理效率的目的，需要将点云这一不规则数据批量化采样。利用本发明提出的特征采样的方法，在保持高效采样的同时能够保留率更多的前景点。
45、针对双主干网络(点级主干的特征提取能力增强和主干网络末端的特征融合)：
46、1.由于初始的抽象集合算子特征提取能力有限，且输入特征维度较少，为网络所提供的信息较为有限。显式计算关键点与其查询到的点的相关量，给予抽象集合算子更多的特征信息，提高其特征提取能力。
47、2.由于点级特征提取主干网络会对于点云中物体的结构信息造成破坏。因此可以在增加有限计算时间成本的前提下，引入体素特征提取主干网络能够更大程度保全物体的结构信息。
48、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
1.基于融合点级与体素特征的3d目标检测方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的基于融合点级与体素特征的3d目标检测方法，其特征在于：所述步骤3中，补全深度图转换成虚拟点云的坐标为：
3.根据权利要求1所述的基于融合点级与体素特征的3d目标检测方法，其特征在于：所述步骤8-9具体为：
