本发明属于机器视觉领域，涉及一种基于双目相机与深度相机的输电线识别与定位方法。
背景技术：
目前，在我国的高压输电线路的维修工作中，主要采用人工维修方法，由操作人员佩戴特殊工具进行作业，作业过程中，操作人员时刻处于高压、强电磁场等危险环境中，劳动强大，具有很强的危险性，容易发生事故。随着自动化水平不断提高，使用配网带电作业机器人具有明显优势。但在目前配电线路中应用的作业机器人大多是半自动化的，需要工作人员遥控机器人来执行相关操作，这样遥操作难以完成复杂精细的作业任务，例如拆接引流线、更换电气设备等。全自动化水平的配网带电作业机器人的主要难点在于输电线的识别与定位，想要在复杂的背景中识别并精确定位出线缆是比较困难的。
技术实现要素：
针对现有技术的不足，本发明的目的是提供一种基于双目相机与深度相机的输电线识别与定位方法，以解决现有技术中线缆定位精度不高和目标在复杂背景中难以识别的问题。
为达到上述目的，本发明通过如下的技术方法实现：
一种基于双目相机与深度相机的输电线识别与定位方法，所述方法包括如下步骤：
获取线缆在深度相机中的彩色图像和深度图像；
获取线缆在双目相机中的双目图像；
对所述深度图像进行深度过滤，获取过滤深度图像；
将所述过滤深度图像映射到彩色图像上，获取映射彩色图像；
将所述映射彩色图像映射到双目图像上，获取过滤双目图像；
对所述过滤双目图像进行处理，获取线缆边缘的像素坐标；
根据所述像素坐标和极线约束获取线缆在双目左右图中对应的同名点；
根据所述同名点计算得到线缆的三维坐标。
进一步的，所述映射彩色图像通过配准模型映射到双目图像上。
进一步的，所述配准模型的建立方法包括：
获取不同深度下空间中一点在深度相机彩色图像与双目相机左右图像的坐标；
将所述坐标放到bp神经网络进行训练，获取配准模型。
进一步的，所述三维坐标的计算过程如下：
获取线缆两边缘上的对应点；
将所有所述对应点的中点作为输入点集；
根据所述输入点集计算得到线缆的三维坐标。
进一步的，所述过滤双目图像的处理包括图像预处理、颜色分割、形态学滤波、边缘提取和断线区域连接。
进一步的，所述断线区域连接的过程如下：
判断过滤双目图像中的两条线缆是否为同一根线缆；
若是则通过直线线段将两条线缆相连为同一根。
进一步的，所述判断过程如下：
获取两条线缆边缘各自首尾点的像素坐标；
根据所述像素坐标计算两线缆首尾点之间的距离；
将所述距离最小的两个边缘端点作为第一目标点和第二目标点；
计算所述第一目标点和第二目标点在线缆上的斜率绝对值；
计算所述两个第一目标点和第二目标点连线的斜率绝对值；
计算所述第一目标点、第二目标点和连线的斜率绝对值两两之间是的差值；
若所述差值均在阈值内，则两条线缆属于同一条线缆。
与现有技术相比，本发明所达到的有益效果是：
首先，本方法可在复杂背景中实现对目标的识别，针对复杂背景，例如当线缆在树荫背景下，树荫的颜色与线缆颜色非常接近，此时线缆难以识别，利用深度相机过滤掉目标区域之外的背景像素，然后将深度图经过两次映射关系，映射到双目左右图上，得到滤除背景后的双目左右图，极大简化了识别过程，提高了识别成功率和准确率；其次，单利用深度相机得到的深度距离精度有限，而采用双目原理对目标进行定位具有很高的精度，且成本较低。
附图标记
图1为本发明实施例中的系统示意图；
图2为本发明实施例中的断线连接示意图。
附图标记：1-双目右相机；2-双目左相机；3-kinect深度相机；4-彩色相机；5-红外相机；6-红外投影机。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，不能以此来限制本发明的保护范围。
一种基于双目相机与深度相机的输电线识别与定位方法，所述方法包括如下步骤：
获取线缆在深度相机中的彩色图像和深度图像；
获取线缆在双目相机中的双目图像；
对所述深度图像进行深度过滤，获取过滤深度图像；
将所述过滤深度图像映射到彩色图像上，获取映射彩色图像；
将所述映射彩色图像映射到双目图像上，获取过滤双目图像；
对所述过滤双目图像进行处理，获取线缆边缘的像素坐标；
根据所述像素坐标和极线约束获取线缆在双目左右图中对应的同名点；
根据所述同名点计算得到线缆的三维坐标。
所述过滤双目图像的处理包括图像预处理、颜色分割、形态学滤波、边缘提取和断线区域连接。
所述断线区域连接的过程如下：
判断过滤双目图像中的两条线缆是否为同一根线缆；
若是则通过直线线段将两条线缆相连为同一根。
所述判断过程如下：
获取两条线缆边缘各自首尾点的像素坐标；
根据所述像素坐标计算两线缆首尾点之间的距离，共四个距离，即线缆一起点与线缆二起点之间的距离，线缆一起点与线缆二末尾点之间的距离，线缆一末尾点与线缆二起点之间的距离，线缆一末尾点与线缆二末尾点之间的距离；
将所述距离最小的两个边缘端点作为第一目标点和第二目标点；
计算所述第一目标点和第二目标点在线缆上的斜率绝对值；
计算所述两个第一目标点和第二目标点连线的斜率绝对值；
计算所述第一目标点、第二目标点和连线的斜率绝对值两两之间是的差值；
若所述差值均在阈值内，则两条线缆属于同一条线缆。
具体包括以下步骤：
（1）kinect深度相机与双目相机的分辨率和视场均不同，将双目相机与kinect深度相机固定，保证相对位置不会发生移动，图1为该系统示意图；
（2）分别获取双目相机的左右图像和深度相机的彩色图像和深度图像，在不同深度下获取多组图像，将深度相机的彩色图像与双目相机左右图进行配准，得到配准模型，再对双目相机进行标定，得到相机内外参数；
（3）上述准备工作完成后，即可开始对输电线进行识别定位，以处理一帧图像为例，首先获取kinect相机的深度图像和彩色图像以及双目图像，对深度图像进行深度过滤，只保留我们要提取目标的深度范围（例如0.5m~1.5m），得到过滤后的深度图；
（4）将kinect深度图像映射到kinect彩色图像上，然后用步骤（2）所得的配准模型，将该kinect彩色图像映射到双目左右图，这样就得到了深度过滤以后的双目左右图；
（5）对深度过滤后的双目左右图做图像预处理、颜色分割、边缘提取等，得到左右图中线轮廓的像素坐标；
（6）利用极线约束得到左右图中各自对应的同名点；
（7）找到同名点后，进行三维计算，得到线缆三维坐标。
深度相机与双目相机的配准，因为kinect深度相机与双目相机的分辨率和视场均不同，因此必须对二者进行配准，取空间中一点p，该点在kinect深度相机中的像素坐标为（xk，yk）,在双目左相机的像素坐标为（xl，yl），在双目右相机的像素坐标为(xr，yr），配准的实质是要找到深度相机中一点像素坐标和双目相机中对应点的映射关系，这里包含两个映射关系，分别是kinect深度相机到双目左相机的映射关系和kinect深度相机到双目右相机的映射关系，在不同深度、不同角度下，这种映射关系不一致，所以要想得到唯一的映射关系，还需要加上深度信息，即（xk，yk，zk）到（xl，yl）以及（xk，yk，zk）到（xr，yr）的映射关系唯一确定。配准过程如下，利用12×9标定板，用双目相机和kinect相机拍摄该标定板，可以很容易地定位到标定板中的108个格点，再加上深度相机的深度信息，每幅图像都可以得到108组数据，先保持深度基本不变，移动标定板采集多幅图像，保证标定板在双目视场中均匀分布，然后在不同深度下重复上述操作，得到大量数据，把这些数据放到bp神经网络进行训练，将（xk，yr，zk）数据当作输入，分别以（xl，yl）和（xr，yr）为输出，便可以得到这两个映射关系，实验时，在不同深度以及不同角度下采集了约20000个样本，把其中18000个样本当作训练集，余下的作为测试集，网络包含一个输入层、一个隐含层和一个输出层，隐含层包含7个神经元，最大训练次数为3000次，学习率为0.01，训练要求精度为0.0004。
滤除双目图像中的所要提取目标深度以外的背景，以左图为例，首先生成一张与双目彩色图像相同分辨率、相同类型的掩膜图，像素值均置为0，然后将满足深度范围要求的点用得到的配准模型映射到该掩膜图，被映射到的点的像素值置为255，对该掩膜图进行形态学膨胀运算，记为图像a，将双目相机左图记为图像b，将处理后的掩膜图与双目相机左图进行与运算，记为图像c，即c=a&&b，对图a进行取反运算与图像c相加得到最终效果图d，即d=c （~a）。图d即为滤除背景以后的双目彩色图像。
线缆目标断线区域的连接，因为光照等影响，图像中的线缆可能会出现断线现象，当出现这种情况时，将断线区域用线段进行连接。若在当前视场中检测出两条线缆时，判断他们是否为同一根线缆，若是同一根，进行连接，判断条件如下，以图2所示为例，取其中一条线缆边缘两端点记为点p和点q，取另一条线缆边缘两端点记为点m和点n，得到它们的像素坐标，分别计算出pm、pn、qm、qn之间的距离，取其中距离最小的两点为目标点，分别计算出两点在线上的斜率kq和kn的绝对值，并计算这两点之间的斜率kqm的绝对值，设定一个较小的阈值，若这三个斜率两两之间的差值在阈值内，即三个斜率大致相等，可以说明这两条线缆属于同一条线缆，用直线线段将qm进行相连。
计算三维坐标时，选用的输入点不是线缆的边缘点，而是线缆两边缘的中点，做法如下，从线缆一边的起始点开始，找到对边上的对应点，取两点的中点作为输入点，遍历整条线就得到了一系列中心点集，用这些点集计算线缆空间坐标。
一种基于双目相机与深度相机的输电线识别与定位方法，本系统由双目相机和kinect深度相机3组成，双目相机包括双目右相机1和双目左相机2，kinect深度相机3包括彩色相机4、红外相机5、红外投影机6，其中双目相机采集彩色图像，kinect深度相机采集彩色图像和深度图像，将双目相机图像分别与kinect图像进行匹配，通过深度相机的深度信息，滤除掉指定深度区域之外的双目图像中的图像信息，以此实现对双目图像中复杂背景的过滤，再对处理后的双目图像进行处理、分割和匹配，得到输电线的三维坐标和姿态信息。
以上对本申请进行了详细介绍，本发明中应用了具体个例对本申请的原理及实施方式进行了阐释，以上实施例的说明只是用于帮助理解本申请的方法及核心思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明不应理解为对本申请的限制。
1.一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述方法包括如下步骤：
获取线缆在深度相机中的彩色图像和深度图像；
获取线缆在双目相机中的双目图像；
对所述深度图像进行深度过滤，获取过滤深度图像；
将所述过滤深度图像映射到彩色图像上，获取映射彩色图像；
将所述映射彩色图像映射到双目图像上，获取过滤双目图像；
对所述过滤双目图像进行处理，获取线缆边缘的像素坐标；
根据所述像素坐标和极线约束获取线缆在双目左右图中对应的同名点；
根据所述同名点计算得到线缆的三维坐标。
2.根据权利要求1所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述映射彩色图像通过配准模型映射到双目图像上。
3.根据权利要求2所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述配准模型的建立方法包括：
获取不同深度下空间中一点在深度相机彩色图像与双目相机左右图像的坐标；
将所述坐标放到bp神经网络进行训练，获取配准模型。
4.根据权利要求1所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述三维坐标的计算过程如下：
获取线缆两边缘上的对应点；
将所有所述对应点的中点作为输入点集；
根据所述输入点集计算得到线缆的三维坐标。
5.根据权利要求1所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述过滤双目图像的处理包括图像预处理、颜色分割、形态学滤波、边缘提取和断线区域连接。
6.根据权利要求5所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述断线区域连接的过程如下：
判断过滤双目图像中的两条线缆是否为同一根线缆；
若是则通过直线线段将两条线缆相连为同一根。
7.根据权利要求6所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述判断过程如下：
获取两条线缆边缘各自首尾点的像素坐标；
根据所述像素坐标计算两线缆首尾点之间的距离；
将所述距离最小的两个边缘端点作为第一目标点和第二目标点；
计算所述第一目标点和第二目标点在线缆上的斜率绝对值；
计算所述两个第一目标点和第二目标点连线的斜率绝对值；
计算所述第一目标点、第二目标点和连线的斜率绝对值两两之间是的差值；
若所述差值均在阈值内，则两条线缆属于同一条线缆。
技术总结