本发明涉及机器人技术领域，特别涉及一种深度图的处理方法、小障碍物检测方法及系统。
背景技术：
障碍物检测是机器人自主导航的重要组成部分且在机器人学和视觉领域得到了广泛研究且在一些消费级产品上得到了应用。小障碍物如果不能得到准确的检测，会导致机器人移动安全性受到影响。但在实际环境中，由于小障碍物种类繁杂，体积较小，对小障碍物检测仍然是一个挑战。
技术实现要素：
机器人场景的障碍物检测一般通过距离获取传感器或算法获取目标的三维信息(如三维位置，轮廓)。一方面，小障碍物由于其体积小，检测时需要获取更准确的三维信息，这对传感器和算法的测量精度及分辨率要求更高。主动传感器中如雷达或者声呐有很高测量精度，但分辨率较低；基于红外结构光的深度相机能达到较高分辨率，但其易受阳光干扰，当干扰影响大时成像存在空洞且成像目标较小时存在鲁棒性不足。被动传感器如双目立体匹配或序列图像立体匹配，若采用无差别稠密重建，存在计算量大，对小目标重建困难存尤其是背景噪声较多时。另一方面，小障碍物种类繁杂，需要检测方案及算法能适用各种类型的小障碍物。如果直接检测障碍物，那么需要对检测对象有预先的定义，鲁棒性存在一定限制。
鉴于此，本发明的目的在于提供一种深度图的处理方法、小障碍物检测方法及系统，提升了方案和算法的鲁棒性和精度，从而提升对各种小障碍物检测的准确性。
为了实现上述目的，本发明实施方式提供如下技术方案：
一种深度图的处理方法，包括：
传感器标定，所述传感器包括双目相机和结构光深度相机，所述双目相机获取左图像和右图像，所述结构光深度相机获取结构光深度图，对所述双目相机的内参畸变标定、外参标定以及对所述双目相机和所述结构光深度相机的外参标定；
畸变与极线矫正，对所述左图像和右图像执行畸变和极线矫正；
数据对齐，利用所述结构光深度相机的所述外参将所述结构光深度图对齐到所述左图像和右图像的坐标系下，获得双目深度图；
稀疏立体匹配，对所述结构光深度图的空洞部分执行稀疏立体匹配并获取视差，将所述视差转换为深度，使用所述深度并融合所述结构光深度图和所述双目深度图，重建出鲁棒的深度图。
由此，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。
其中，所述稀疏立体匹配的操作，具体包括：
提取空洞掩模，对所述空洞掩模内的图像执行稀疏立体匹配并获取视差。
其中，所述畸变与极线矫正的操作，具体包括：
将用于稀疏立体匹配的匹配点约束在一条水平直线上进行对齐操作。
在这种情况下，显著减少了后续执行立体匹配的时间并大幅提升了准确度。
本发明还提供一种小障碍物检测方法，所述检测方法包括如上所述的深度图的处理方法，所述检测方法用于检测地面的小障碍物，所述方法还包括：
通过所述双目相机和结构光深度相机分别获取地面图像，
对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；
通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；
将所述小障碍物的点云映射到图像，执行图像分割获得目标图像；
采用融合方案对所述目标图像进行三维重构获取完整密集点云。
在这种情况下，通过对所述地面图像的占主体的背景执行稠密重建，以及采用“减背景”检测方法对所述小障碍物的点云进行分离检测，整体提升了方法的鲁棒性，并且通过将小障碍物映射到图像，并执行图像分割，可以将小障碍物完整地分割，以便实现准确的三维重构，因此该方法为小障碍物检测的准确性提供了保障。
其中，所述稀疏立体匹配的操作，进一步包括：
对所述鲁棒的深度图进行分块，将每个所述块内的深度图转换为所述点云，以平面模型对所述点云进行地面拟合，若所述块内的点云不满足平面假设，则将所述块内的点云去除，否则保留所述块内的点云；
通过深度神经网络将对所述保留的块进行二次校验，将通过所述二次校验的所述块基于平面法线和重心进行区域生长，分割出大块地面的三维平面方程及边界点云；
获取所有未通过所述二次校验的所述块内的点云到其所归属地面的距离，若距离大于阈值，则将其分割出来，获得疑似障碍物；
将所述疑似障碍物的所属点云映射到图像，作为区域分割的种子点，进行所述种子点生长，提取出完整的障碍物区域；
将所述障碍物区域映射出完整的点云，完成三维的所述小障碍物的检测。
在这种情况下，通过二次校验可排除符合平面模型但不是地面的块内的深度图，进而总体提升小障碍物的检测的准确性。
其中，所述双目相机包括左相机和右相机，所述左相机获取的所述地面图像包括左图像，所述右相机获取的所述地面图像包括右图像，所述结构光深度相机获取所述地面的所述结构光深度图。
本发明还提供一种小障碍物检测系统，所述检测系统包括如上所述的小障碍物检测方法。
其中，还包括机器人本体，所述双目相机和结构光深度相机设置于所述机器人本体，所述双目相机和结构光深度相机朝向所述地面的方向倾斜设置。
在这种情况下，提升了双目相机和结构光深度相机采集的到图像对地面的覆盖区域，显著提升了对小障碍物识别的完整性。
根据本发明所提供的深度图的处理方法、小障碍物检测方法及系统，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。
附图说明
图1示出了本发明的实施方式所涉及的深度图的处理方法的流程示意图；
图2示出了本发明的实施方式所涉及的小障碍物检测方法的流程示意图；
图3示出了本发明的实施方式所涉及的小障碍物检测方法的稀疏立体匹配的流程示意图。
具体实施方式
以下，参考附图，详细地说明本发明的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
本发明实施方式涉及深度图的处理方法、小障碍物检测方法及系统。
如图1所示，本实施方式所涉及的深度图的处理方法100，包括：
101、传感器标定，所述传感器包括双目相机和结构光深度相机，所述双目相机获取左图像和右图像，所述结构光深度相机获取结构光深度图，对所述双目相机的内参畸变标定、外参标定以及对所述双目相机和所述结构光深度相机的外参标定；
102、畸变与极线矫正，对所述左图像和右图像执行畸变和极线矫正；
103、数据对齐，利用所述结构光深度相机的所述外参将所述结构光深度图对齐到所述左图像和右图像的坐标系下，获得双目深度图；
104、稀疏立体匹配，对所述结构光深度图的空洞部分执行稀疏立体匹配并获取视差，将所述视差转换为深度，使用所述深度并融合所述结构光深度图和所述双目深度图，重建出鲁棒的深度图。
由此，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。
在本实施方式中，所述稀疏立体匹配(104)的操作，具体包括：
提取空洞掩模，对所述空洞掩模内的图像执行稀疏立体匹配并获取视差。
在本实施方式中，所述畸变与极线矫正(102)的操作，具体包括：
将用于稀疏立体匹配的匹配点约束在一条水平直线上进行对齐操作。
在这种情况下，显著减少了后续执行立体匹配的时间并大幅提升了准确度。
本发明实施方式还涉及一种小障碍物检测方法200，所述检测方法包括如上所述的深度图的处理方法。关于深度图的处理方法，在此不做赘述。
如图2所示，在本实施方式中，所述检测方法用于检测地面的小障碍物，所述方法还包括：
201、通过所述双目相机和结构光深度相机分别获取地面图像；
202、对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；
203、通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；
204、将所述小障碍物的点云映射到图像，执行图像分割获得目标图像；
205、采用融合方案对所述目标图像进行三维重构获取完整密集点云。
在这种情况下，通过对所述地面图像的占主体的背景执行稠密重建，以及采用“减背景”检测方法对所述小障碍物的点云进行分离检测，整体提升了方法的鲁棒性，并且通过将小障碍物映射到图像，并执行图像分割，可以将小障碍物完整地分割，以便实现准确的三维重构，因此该方法为小障碍物检测的准确性提供了保障。
如图3所示，在本实施方式中，所述稀疏立体匹配的操作，进一步包括：
2041、对所述鲁棒的深度图进行分块，将每个所述块内的深度图转换为所述点云，以平面模型对所述点云进行地面拟合，若所述块内的点云不满足平面假设，则将所述块内的点云去除，否则保留所述块内的点云；
2042、通过深度神经网络将对所述保留的块进行二次校验，将通过所述二次校验的所述块基于平面法线和重心进行区域生长，分割出大块地面的三维平面方程及边界点云；
2043、获取所有未通过所述二次校验的所述块内的点云到其所归属地面的距离，若距离大于阈值，则将其分割出来，获得疑似障碍物；
2044、将所述疑似障碍物的所属点云映射到图像，作为区域分割的种子点，进行所述种子点生长，提取出完整的障碍物区域；
2045、将所述障碍物区域映射出完整的点云，完成三维的所述小障碍物的检测。
在这种情况下，通过二次校验可排除符合平面模型但不是地面的块内的深度图，进而总体提升小障碍物的检测的准确性。
在本实施方式中，所述双目相机包括左相机和右相机，所述左相机获取的所述地面图像包括左图像，所述右相机获取的所述地面图像包括右图像，所述结构光深度相机获取所述地面的所述结构光深度图。
本发明实施方式还涉及一种小障碍物检测系统。所述检测系统包括如上所述的小障碍物检测方法。关于小障碍物检测系统，在此不做赘述。
在本实施方式中，小障碍物检测系统还包括机器人本体，所述双目相机和结构光深度相机设置于所述机器人本体，所述双目相机和结构光深度相机朝向所述地面的方向倾斜设置。
在这种情况下，提升了双目相机和结构光深度相机采集的到图像对地面的覆盖区域，显著提升了对小障碍物识别的完整性。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同更换和改进等，均应包含在该技术方案的保护范围之内。
1.一种深度图的处理方法，其特征在于，所述方法包括：
传感器标定，所述传感器包括双目相机和结构光深度相机，所述双目相机获取左图像和右图像，所述结构光深度相机获取结构光深度图，对所述双目相机的内参畸变标定、外参标定以及对所述双目相机和所述结构光深度相机的外参标定；
畸变与极线矫正，对所述左图像和右图像执行畸变和极线矫正；
数据对齐，利用所述结构光深度相机的所述外参将所述结构光深度图对齐到所述左图像和右图像的坐标系下，获得双目深度图；
稀疏立体匹配，对所述结构光深度图的空洞部分执行稀疏立体匹配并获取视差，将所述视差转换为深度，使用所述深度并融合所述结构光深度图和所述双目深度图，重建出鲁棒的深度图。
2.如权利要求1所述的深度图的处理方法，其特征在于，所述稀疏立体匹配的操作，具体包括：
提取空洞掩模，对所述空洞掩模内的图像执行稀疏立体匹配并获取视差。
3.如权利要求1所述的深度图的处理方法，其特征在于，所述畸变与极线矫正的操作，具体包括：
将用于稀疏立体匹配的匹配点约束在一条水平直线上进行对齐操作。
4.一种小障碍物检测方法，其特征在于，所述检测方法包括如权利要求1-3任一项所述的深度图的处理方法，所述检测方法用于检测地面的小障碍物，所述方法还包括：
通过所述双目相机和结构光深度相机分别获取地面图像；
对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；
通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；
将所述小障碍物的点云映射到图像，执行图像分割获得目标图像；
采用融合方案对所述目标图像进行三维重构获取完整密集点云。
5.如权利要求4所述的小障碍物检测方法，其特征在于，所述稀疏立体匹配的操作，进一步包括：
对所述鲁棒的深度图进行分块，将每个所述块内的深度图转换为所述点云，以平面模型对所述点云进行地面拟合，若所述块内的点云不满足平面假设，则将所述块内的点云去除，否则保留所述块内的点云；
通过深度神经网络将对所述保留的块进行二次校验，将通过所述二次校验的所述块基于平面法线和重心进行区域生长，分割出大块地面的三维平面方程及边界点云；
获取所有未通过所述二次校验的所述块内的点云到其所归属地面的距离，若距离大于阈值，则将其分割出来，获得疑似障碍物；
将所述疑似障碍物的所属点云映射到图像，作为区域分割的种子点，进行所述种子点生长，提取出完整的障碍物区域；
将所述障碍物区域映射出完整的点云，完成三维的所述小障碍物的检测。
6.如权利要求4所述的小障碍物检测方法，其特征在于，所述双目相机包括左相机和右相机，所述左相机获取的所述地面图像包括左图像，所述右相机获取的所述地面图像包括右图像，所述结构光深度相机获取所述地面的所述结构光深度图。
7.一种小障碍物检测系统，其特征在于，所述检测系统包括如权利要求4-6任一项所述的小障碍物检测方法。
8.如权利要求7所述的小障碍物检测系统，其特征在于，还包括机器人本体，所述双目相机和结构光深度相机设置于所述机器人本体，所述双目相机和结构光深度相机朝向所述地面的方向倾斜设置。
技术总结