本发明属于计算机视觉、深度学习领域，尤其涉及一种将基于深度学习的目标检测算法与立体匹配算法相结合的目标高度测定系统。
背景技术：
高度测量仪器主要用于测量物体的高度，也可以测量形状和位置的差尺寸。根据测量方式的不同，高度测量可分为接触式高度测量方法及非接触式高度测量方法。接触式高度测量方法要求目标“正立”在高度测量仪的底板上，移动水平板至目标的顶部，通过读取水平板所在高度值来测定目标的高度，该方法具有测量误差小、测量快捷等特点，但不适合测量3米以上的大尺度物体的高度。非接触式高度测量方法有红外线测量和超声波测量，其原理都是利用仪器发射的光/波到目标顶部之间的时间差来计算目标的高度值，该方法能够实现对工件进行精准测量，主要应用于机械、模具、五金等生产行业。
随着大数据的发展，以及大规模硬件加速设备的出现，基于深度学习的方法逐渐应用到了各个领域。2012年，hinton带领的团队使用多层卷积神经网络在imagenet图像分类比赛上获得冠军，此后深度学习呈爆发式发展并在图像分类、实例分割、立体匹配、目标检测等任务中获得了巨大的成功，如基于深度学习方法的senet模型在2017年的imagenet分类任务比赛中赢得第一名，基于深度学习的m2s_cspn模型在kitti网站的立体匹配算法中占据2018年排行榜第一名。相比于传统的图像类任务计算方法，基于深度学习的方法能够通过大量卷积运算对图像信息进行低维到高维的信息编码，从而更好的解决图像领域的非线性问题。
双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。经过几十年来的发展，立体视觉在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等领域中的运用越来越广。
技术实现要素：
本发明的目的是针对较大尺度目标提供一种非接触式的基于深度学习方法的高度测量系统，该系统能够利用深度学习对双目相机视野内的目标高度进行稳定和精确的测量。
其主要原理是通过已经训练完成的目标检测算法及立体匹配算法分别得到目标检测框及深度信息，再利用图像坐标系到相机坐标系的转换关系来得到目标在现实世界的高度。本发明系统将上述原理过程通过不同的功能模块来实现。
本发明的系统主要由六大模块组成，包括：图像获取模块、目标检测模块、深度计算模块、检测框矫正模块、高度计算模块及输出显示模块，其中
所述图像获取模块，用于利用双目相机获取前方的图像，所述图像包括：双目相机左摄像头获取的每一帧图像、双目相机右摄像头获取的每一帧图像。
所述目标检测模块，用于在双目相机已获取前方图像的情况下，利用基于深度学习的目标检测算法对双目相机左摄像头获取的图像内的目标进行识别和框定，得到目标检测框。
所述深度计算模块，用于在双目相机已获取前方左右视图的情况下，利用基于深度学习的立体匹配方法对左视图进行视差计算，再利用所述视差根据视差到深度的转换公式计算得到目标的深度信息。
所述检测框矫正模块，用于在已获取目标检测框及深度信息的情况下，利用目标的深度信息对目标检测框的顶边及底边进行矫正，使得该检测框能够精确框定目标。
所述高度计算模块，用于在已获得矫正后的目标检测框和目标深度信息的情况下，利用图像坐标系到相机坐标系的转换关系来计算目标的高度。
所述输出显示模块，用于对目标的高度信息进行实时显示。
本发明的特点还在于：
所述目标检测模块中的基于深度学习的目标检测算法，利用空洞-fpn结构能够更好对不同尺度大小的目标进行检测，同时使用softer-nms(nms，即非极大值抑制)来有效的降低目标的漏检率。
所述深度计算模块中的基于深度学习的立体匹配算法利用encode-decode网络结构对网络3d卷积结构进行优化，从而提高模型的精度。
所述深度计算模块输出的左视差图中的视差在不同目标区域间的非连续性可以用于矫正所述目标检测模块输出的目标检测框。
所述输出显示模块中，为了提高高度值测定的准确率与稳定性，对多帧图像的测定结果求平均值后进行显示。
本发明具有的有益效果是：利用深度学习技术能够避免光照、复杂纹理等因素对目标检测框精确度的影响，利用空洞-特征金字塔结构能够有效解决目标的多尺度检测难的问题，利用encode-decode结构有效提高立体匹配网络对目标的视差计算精度，利用目标深度信息对检测框进行矫正能够有效提高目标框的精确度，本发明可对双目相机视野内的目标进行高度测定，相比于其他方法，本发明能够更精确高效的实现对较大尺度目标的非接触式测量。
附图说明
图1是本发明的系统结构示意图；
图2是本发明的目标检测模块中的深度学习模型示意图；
图3是本发明的空洞-fpn网络结构模型示意图；
图4是本发明的深度计算模块中的深度学习模型示意图；
图5是本发明的encode-decode网络结构模型示意图；
图6是本发明的图像坐标系到相机坐标系的映射关系示意图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详细说明。
本发明提供了一种基于深度学习方法的目标高度测定系统，下面首先就本发明提供的一种深度学习系统进行介绍。
图1为本发明提供的一种基于深度学习方法的目标高度测定系统的结构示意图，如图1所示，所述系统包括：图像获取模块、目标检测模块、深度计算模块、检测框矫正模块、高度计算模块及输出显示模块。其中，
所述图像获取模块，用于利用双目相机获取前方的图像，所述图像包括：双目相机左摄像头获取的每一帧图像、双目相机右摄像头获取的每一帧图像。
所述目标检测模块，用于在双目相机已获取前方图像的情况下，利用基于深度学习的目标检测算法对双目相机左摄像头获取的图像内的目标进行识别和框定，得到目标检测框。
所述深度计算模块，用于在双目相机已获取前方左右视图的情况下，利用基于深度学习的立体匹配方法对左视图进行视差计算，再利用所述视差根据视差到深度的转换公式计算得到目标的深度信息。
所述检测框矫正模块，用于在已获取目标检测框及深度信息的情况下，利用目标的深度信息对目标检测框的顶边及底边进行矫正，使得该检测框能够精确框定目标。
所述高度计算模块，用于在已获得矫正后的目标检测框和目标深度信息的情况下，利用图像坐标系到相机坐标系的转换关系来计算目标的高度。
所述输出显示模块，用于对目标的高度信息进行实时显示。
具体的，所述图像获取模块主要由双目相机组成，双目相机能够同时获取前方场景每一帧的左右视图，并将该图像传输至计算机。
具体的，所述目标检测模块主要利用基于深度学习的目标检测算法对左视图内的目标进行识别和框定，从而得到目标检测框。该目标检测网络模型结构如图2所示。其中，resnet结构用于普通特征提取，空洞-fpn结构用于对多尺度目标进行特征提取，其结构如图3所示，soft-nms用于降低目标的漏检率。
具体的，所述深度计算模块的输入为左右视图，利用基于深度学习的立体匹配算法对左视图内的信息进行视差计算。基于深度学习的立体匹配网络模型结构如图3所示。该结构主要由三部分组成：特征提取块、匹配代价卷、3d卷积块。3d卷积块中使用了encode-decode结构，能够有效提高输出视差图的视差精度，encode-decode结构如图5所示。
可以利用视差与深度之间的转换公式将视差图转换为深度图。已知双目相机的基线为b,焦距为f,则视差值d转换成深度值z的公式为：
具体的，所述检测框矫正模块是对所述目标检测模块输出的目标检测框进行进一步的优化，因为所述目标检测模块输出的目标检测框并不能完美的框定目标本身。在已得到所述深度计算模块的输出结果的情况下，由于同一目标区域内视差是连续的，可以利用目标视差值与背景视差值在目标边缘处的非连续性可以得到目标的顶部及底部所在位置，将该顶部及底部与背景的分界线作为所述目标检测模块输出的目标检测框的顶边及底边，从而得到矫正后的目标检测框。
所述检测矫正模块的具体算法过程如下：
1.对所述视差图建立像素坐标系，以图像左下角为原点。
2.已知检测框的左上角顶点坐标为(x1,y1)，右下角顶点坐标为(x2,y2)。求出所述检测框的中心点所在坐标，该中心坐标必在目标区域内，将该中心点设为基点o。
3.从点o出发，判断高于/低于点o纵坐标的邻域内的某个点a的视差值与点o的视差值的绝对值是否小于2，若是，则将点a设为新的基点o。
4.重复上述步骤3，直到基点o的纵坐标值不再改变。
5.通过不断的更新基点，最终可以得到目标区域的顶部像素坐标y_top及底部像素坐标y_bottom。
6.将y_top,y_bottom设为所述检测框的上下边纵坐标值，得到矫正后的检测框的左上角顶点坐标为(x1,y_top)，右下角顶点坐标为(x2,y_bottom)。
可以理解的是，矫正后的检测框在能够完美框定目标的情况下，利用图像坐标系到相机坐标系的转换关系可以得到目标的实际高度值。如图4所示为相机坐标系下目标到图像坐标系的投影关系示意图，其中p表示真实目标，p’表示p在相机投影图像中的目标，o为相机光心，f为相机焦距，z为目标p到相机光心o的距离。可以发现相机坐标系下的显示目标尺度与图像坐标系下的目标尺度呈三角相似关系。
具体的，所述高度计算模块可以利用如下公式对目标的实际高度h进行测定。已知目标在图像坐标系下的检测框高度为h,目标到双目相机基线的深度值为z,双目相机的焦距为f。
具体的，所述输出显示模块用于对计算后的目标的高度进行显示。可以理解的是，由每一帧图像计算得到的目标高度存在误差及波动。为了提高目标高度显示的稳定性，将每十帧图像在所述高度计算模块中的输出结果求平均，将该平均值作为所述输出显示模块中的显示值。
本发明是一种基于深度学习技术对目标高度进行测定的方法，该方法通过引入空洞-fpn结构的目标检测算法及引入encode-decode结构的立体匹配算法分别对双目相机视野范围内的场景进行目标检测和深度估计，再利用目标深度信息对目标检测框进行矫正来提高目标检测框精准度，最终利用图像坐标系到相机坐标系的转换关系得到目标的现实高度值，从而实现对目标高度的非接触式测量，我们要求对这种高度测定方法进行保护。以上所述仅为特定应用场合的具体实施方式，但本发明的真实精神和范围不局限于此，任何熟悉本领域的术人员可以修改、等同替换、改进等，实现不同应用场合的目标高度测定方法。本发明由权利要求书及其等效技术方案来限定。
1.一种基于深度学习方法的目标高度测定系统，其特征在于，所述系统包括：图像获取模块、目标检测模块、深度计算模块、检测框矫正模块、高度计算模块及输出显示模块，其中，
所述图像获取模块，用于利用双目相机获取前方的图像，所述图像包括：双目相机左摄像头获取的每一帧图像、双目相机右摄像头获取的每一帧图像；
所述目标检测模块，用于在双目相机已获取前方图像的情况下，利用基于深度学习的目标检测算法对双目相机左摄像头获取的图像内的目标进行识别和框定，得到目标检测框；
所述深度计算模块，用于在双目相机已获取前方左右视图的情况下，利用基于深度学习的立体匹配方法对左视图进行视差计算，再利用所述视差根据视差到深度的转换公式计算得到目标的深度信息；
所述检测框矫正模块，用于在已获取目标检测框及深度信息的情况下，利用目标的深度信息对目标检测框的顶边及底边进行矫正，使得该检测框能够精确框定目标；
所述高度计算模块，用于在已获得矫正后的目标检测框和目标深度信息的情况下，利用图像坐标系到相机坐标系的转换关系来计算目标的高度；
所述输出显示模块，用于对目标的高度信息进行实时显示。
2.根据权利要求1所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述的图像获取模块，用于获得当前场景的左右视图；
所述左右视图具体用于：左视图用于所述目标检测模块，作为该模块的输入信息；左右视图均用于深度计算模块，作为该模块的输入信息。
3.根据权利要求1所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述目标检测模块利用深度学习模型仅对左视图内的目标进行识别与框定，仅获得左视图内的目标检测框；
所述目标检测模块中的深度学习模型为预先用样本训练好的目标检测算法，该算法的输入为左视图，输出为左视图内的目标检测框。
4.根据权利要求1所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述深度计算模块以左右视图作为输入，利用深度学习模型对左右视图之间的差异进行代价聚合，最终实现对左视图的视差计算，通过视差及深度的转换公式得到左视图内目标的深度信息；
所述深度学习模型为预先用样本训练好的立体匹配算法，该算法的输入为左右视图，输出为左视图的视差。
5.根据权利要求4所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述深度计算模块输出的左视图视差值在同一目标区域内连续，在不同目标区域间不连续。
6.根据权利要求1所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述检测矫正模块的输入为所述目标检测框及所述左视图的视差值。
7.根据权利要求5所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述检测矫正模块利用不同目标区域视间的非连续性对检测框顶边及底边进行矫正。
8.根据权利要求1所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述高度计算模块的输入信息为：矫正后的目标检测框、目标的深度信息、双目相机的基线、双目相机焦距。
9.根据权利要求8所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述高度计算模块利用所述的输入信息及所述图像坐标系到相机坐标系的转换关系来得到目标的实际高度。
10.根据权利要求1所述的一种基于深度学习方法的目标高度测定系统，其特征在于，所述输出显示模块用于实时显示所述左视图的目标检测框及目标高度信息。
技术总结