本发明涉及桥梁检测领域，具体涉及基于激光和机器视觉融合的无人机桥梁表观病害检测方法。
背景技术：
我国公路桥梁建设经过30多年的快速发展，己经成为世界上己建成桥梁数最多的国家。据交通运输部2016年交通运输行业发展统计公报，至2016年末，全国己建成公路总里程达469.63万公里。其中，全国四级及以上等级公路里程422.65万公里，高速公路里程达13.10万公里。公路桥梁80.53万座、4916.97万米。按桥梁分类统计，特大桥梁4257座、753.54万米，大桥86178座、2251.50万米。
目前来看，桥梁检测行业中主要是通过桥检车、望远镜、视频监控等方式进行桥梁外部检测，由于望远镜和视频监控的距离和分辨率原因，不能很好的对桥梁做出更加精细的检测。所以，行业内部通用桥检车对桥梁外部进行细致的检测。
桥梁检测车的组成大部分是在二类货车底盘的基础上加装各种专用工作装置。而根据底盘上的工作装置不同，主要分为两大类，分别为吊篮式桥梁检测车和桁架式桥梁检测车。
目前国内外用于桥梁检测的飞行器系统，一般用飞行器为载物平台，在飞行器上搭载相关桥梁检测仪器检测桥梁，然而现有方法通常采用人眼识别病害，这种方法效率低下且过于依靠人员的经验，准确率低，并且无法从飞行器采集的图像中直接获取病害的尺寸。
综上所述，如何高效准确的检测桥梁表观病害并获取病害的尺寸参数成为了本领域技术人员急需解决的问题。
技术实现要素：
针对上述现有技术的不足，本发明所要解决的技术问题是：如何高效准确的检测桥梁表观病害并获取病害的尺寸参数。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于激光和机器视觉融合的无人机桥梁表观病害检测方法，包括如下步骤：
具有激光测距装置、定位装置及图像采集装置的无人机采集目标检测面图像、目标检测面的位置及无人机与目标检测面的距离；
将目标检测面图像输入病害识别神经网络识别目标检测面图像中的病害及病害在目标检测面图像中的位置；
基于目标检测面图像及无人机与目标检测面的距离计算病害的尺寸参数；
生成桥梁表观病害检测信息。
优选地，病害识别神经网络的训练方法包括：
获取桥梁表观病害图像及对应的识别结果；
将预设比例的桥梁表观病害图像及对应的识别结果作为训练集，剩余的桥梁表观病害图像及对应的识别结果作为测试集；
将训练集输入待训练的病害识别神经网络进行训练，直到使用测试集测试后识别准确率大于或等于预设准确率；
存储训练后的病害识别神经网络。
优选地，所述基于目标检测面图像及无人机与目标检测面的距离计算病害的尺寸参数包括：
用棋盘格法对目标检测面图像进行标定，获取图像采集装置的焦距及畸变参数，利用畸变参数对目标检测面图像进行校正；
对校正后的图像进行预处理；
利用病害在目标检测面图像中的位置获取病害图像并进行二值化处理；
利用边缘检测算法获取二值化处理后的病害图像的边缘信息，并对边缘进行形态学腐蚀膨胀和连接，获取完整的病害边缘；
利用病害边缘计算病害的图像尺寸；
利用病害的图像尺寸及无人机与目标检测面的距离计算病害的实际尺寸，并将病害的实际尺寸作为病害的尺寸参数。
优选地，所述对校正后的图像进行预处理中的预处理包括图像增强、去运动模糊及消除不均匀光照；
优选地，所述病害识别神经网络为使用了特征图融合的目标检测网络，通过融合不同卷积层的特征图来构建图像特征，通过反卷积的方法使更深层的特征图与上一层的特征图大小保持一致，然后进行加法运算进行特征融合得到新特征图，新特征图再与上一层特征图再进行融合，直到将所有特征图进行分类。
综上所述，本发明公开了基于激光和机器视觉融合的无人机桥梁表观病害检测方法，包括如下步骤：具有激光测距装置、定位装置及图像采集装置的无人机采集目标检测面图像、目标检测面的位置及无人机与目标检测面的距离；将目标检测面图像输入病害识别神经网络识别目标检测面图像中的病害及病害在目标检测面图像中的位置；基于目标检测面图像及无人机与目标检测面的距离计算病害的尺寸参数；生成桥梁表观病害检测信息。本发明能够实现病害的自动检测，节省了大量时间成本且提高了检测的准确率，还可以自动对病害的参数进行精确计算，提高了检测效率。
附图说明
图1为基于激光和机器视觉融合的无人机桥梁表观病害检测方法的一种具体实施方式的流程图；
图2为基于激光和机器视觉融合的无人机桥梁表观病害检测方法的结构图；
图3(a)和(b)为裂缝图像和裂缝二值化处理后的图像；
图4(a)和(b)为裂缝长度计算原理图；
图5为裂缝宽度计算原理图。
图6为特征图融合的目标检测网络示意图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1所示，本发明公开了基于激光和机器视觉融合的无人机桥梁表观病害检测方法，包括如下步骤：
具有激光测距装置(激光测距传感器)、定位装置及图像采集装置的无人机采集目标检测面图像、目标检测面的位置及无人机与目标检测面的距离；
将目标检测面图像输入病害识别神经网络识别目标检测面图像中的病害及病害在目标检测面图像中的位置；
基于目标检测面图像及无人机与目标检测面的距离计算病害的尺寸参数；
生成桥梁表观病害检测信息(检测结果)。
本发明能够实现病害的自动检测，节省了大量时间成本且提高了检测的准确率，还可以自动对病害的参数进行精确计算，提高了检测效率。桥梁表观病害检测信息可以包括病害的位置、尺寸及类别。
如图2所示，在本发明中，图像采集装置可以采用高清摄像机，定位装置可以采用gps。无人机采集各种信息后，将信息传输到处理器(机载计算机)中，处理器根据预存的程序及数据将信息进行处理生成桥梁表观病害检测信息。无人机依靠内部传感器和姿态稳定算法保证其正常飞行和路径飞行。依靠无人机内部数据和桥梁的基本信息，机载计算机计算出机载高清摄像头的拍摄角度，使拍摄方向始终与桥面垂直。本发明中会获取桥梁的基本信息，桥梁的基本信息包括桥梁在真实中的位置信息，其中有桥梁表观各个面的位置信息；无人机内部数据包括无人机在真实世界中的位置信息，包括gps坐标位置和指南针信息；利用桥梁各个面的位置信息和指南针信息，就可以计算出摄像头拍摄角度，使拍摄方向始终与桥面垂直。
具体实施时，病害识别神经网络的训练方法包括：
获取桥梁表观病害图像及对应的识别结果；
将预设比例的桥梁表观病害图像及对应的识别结果作为训练集，剩余的桥梁表观病害图像及对应的识别结果作为测试集；
将训练集输入待训练的病害识别神经网络(卷积神经网络)进行训练，直到使用测试集测试后识别准确率大于或等于预设准确率；
存储训练后的病害识别神经网络。
在本发明中，通过已经标定分类好的桥梁表观病害图像及其识别结果作为训练集和测试集完成病害识别神经网络的训练。通过神经网络完成图像中病害的识别，效率高，并且还可以在识别过程中持续更新神经网络，提高识别准确率。
如图3(a)及图3(b)所示，具体实施时，所述基于目标检测面图像及无人机与目标检测面的距离计算病害的尺寸参数包括：
用棋盘格法对目标检测面图像进行标定，获取图像采集装置的焦距及畸变参数，利用畸变参数对目标检测面图像进行校正；
对校正后的图像进行预处理；
利用病害在目标检测面图像中的位置获取病害图像并进行二值化处理；
利用边缘检测算法获取二值化处理后的病害图像的边缘信息，并对边缘进行形态学腐蚀膨胀和连接，获取完整的病害边缘；
目标检测是为了找到病害在哪，二值化处理和边缘检测是将找到的病害从图中分割出来。
利用病害边缘计算病害的图像尺寸；
利用病害的图像尺寸及无人机与目标检测面的距离计算病害的实际尺寸，并将病害的实际尺寸作为病害的尺寸参数。
由于每个镜头的在生产和组装过程中的畸变程度各不相同，通过相机标定可以校正这种镜头畸变，生成矫正后的图像。
如图4(a)和(b)及图5在本发明中，以病害为裂缝为例，计算的尺寸参数包括裂缝的长度和宽度，其中：
裂缝的长度计算是利用曲线拟合法，将裂缝端点的第一个点和裂缝最后一个点相连接，得到线段ab，对裂缝上每个点求到线段的垂直距离，选取代表最大垂直距离的线段记为px，因为到线段的两个端点连线的斜率差异是最大的，因此认为apx和pxb是属于不同的直线。将apx和pxb视为新的裂缝，循环执行上述步骤，直至最大垂直距离小于设定的距离阈值t。最后得到一系列线段apx1,px1px2,……，pxnb。将这些线段的距离加起来就得到了裂缝的长度。
裂缝的宽度计算方法如下：
扫描病害图像，对病害图像从第一列到第n列进行从上到下扫描，直至扫描到像素值为1的点，记为上边缘坐标点(x1,y1)。
继续对第n列从yn开始继续扫描，直至再次扫描到像素值为1的点，作为下边缘坐标点(x2,y2)，由于坐标点为边缘中心坐标，而实际裂缝宽度应为上边缘底部至下边缘上部之间的距离，记录该点的纵坐标差值|y1-y2-1|，作为裂缝宽度b的初始值；
再对第n列的左右各五列进行扫描，分别记录其下边缘点为(x2-i,y2-i)和(x2 i,y2 i)，i从1至5，通过两点之间距离公式，分别计算左右相邻各五个下边缘点至第n列上边缘点距离，与纵坐标差值进行比较，取其中的最小值作为该点处实际裂缝宽度值。
具体实施时，所述对校正后的图像进行预处理中的预处理包括图像增强、去运动模糊及消除不均匀光照。
这是为了去除图像中的干扰。
由于图像中的尺寸并不代表现实中的尺寸，因此还需要进行换算，当无人机与目标检测面的距离为l时，根据透镜成像原理有：
式中：l'为像距；f为图像采集装置的镜头焦距尺寸，即裂缝实际物理宽度；设a为目标实际尺寸，则有：
代入得：
成像尺寸a'为:
式中尺寸a”为成像的像素数；d为图像传感器长边物理(图像传感器是ccd，ccd是一块感光芯片，d就是芯片的长度，d为图像传感器长边像素数，像素解析度为:
j表示单位像素所代表的实际物理尺寸，为实际物理尺寸与像素数的转换系数。对数字图像进行处理，即可得出被测目标在整幅图像中所占像素数(图像尺寸)，再计算病害(裂缝)的实际物理尺寸。
如图6所示，具体实施时，所述病害识别神经网络为使用了特征图融合的目标检测网络，通过融合不同卷积层的特征图来构建图像特征，通过反卷积的方法使更深层的特征图与上一层的特征图大小保持一致，然后进行加法运算进行特征融合得到新特征图，新特征图再与上一层特征图再进行融合，直到将所有特征图进行分类。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
1.基于激光和机器视觉融合的无人机桥梁表观病害检测方法，其特征在于，包括如下步骤：
具有激光测距装置、定位装置及图像采集装置的无人机采集目标检测面图像、目标检测面的位置及无人机与目标检测面的距离；
将目标检测面图像输入病害识别神经网络识别目标检测面图像中的病害及病害在目标检测面图像中的位置；
基于目标检测面图像及无人机与目标检测面的距离计算病害的尺寸参数；
生成桥梁表观病害检测信息。
2.如权利要求1所述的基于激光和机器视觉融合的无人机桥梁表观病害检测方法，其特征在于，病害识别神经网络的训练方法包括：
获取桥梁表观病害图像及对应的识别结果；
将预设比例的桥梁表观病害图像及对应的识别结果作为训练集，剩余的桥梁表观病害图像及对应的识别结果作为测试集；
将训练集输入待训练的病害识别神经网络进行训练，直到使用测试集测试后识别准确率大于或等于预设准确率；
存储训练后的病害识别神经网络。
3.如权利要求1所述的基于激光和机器视觉融合的无人机桥梁表观病害检测方法，其特征在于，所述基于目标检测面图像及无人机与目标检测面的距离计算病害的尺寸参数包括：
用棋盘格法对目标检测面图像进行标定，获取图像采集装置的畸变参数，利用畸变参数对目标检测面图像进行校正；
对校正后的图像进行预处理；
利用病害在目标检测面图像中的位置获取病害图像并进行二值化处理；
利用边缘检测算法获取二值化处理后的病害图像的边缘信息，并对边缘进行形态学腐蚀膨胀和连接，获取完整的病害边缘；
利用病害边缘计算病害的图像尺寸；
利用病害的图像尺寸及无人机与目标检测面的距离计算病害的实际尺寸，并将病害的实际尺寸作为病害的尺寸参数。
4.如权利要求3所述的基于激光和机器视觉融合的无人机桥梁表观病害检测方法，其特征在于，所述对校正后的图像进行预处理中的预处理包括图像增强、去运动模糊及消除不均匀光照。
5.如权利要求1所述的基于激光和机器视觉融合的无人机桥梁表观病害检测方法，其特征在于，所述病害识别神经网络为使用了特征图融合的目标检测网络，通过融合不同卷积层的特征图来构建图像特征，通过反卷积的方法使更深层的特征图与上一层的特征图大小保持一致，然后进行加法运算进行特征融合得到新特征图，新特征图再与上一层特征图再进行融合，直到将所有特征图进行分类。
技术总结