本发明属于多相机系统技术领域，尤其涉及一种车载环视多相机系统的外参数估计方法及其系统。
背景技术：
作为当今世界最具潜力之一的技术，无人驾驶是指汽车在不需要认为操作的情况下，通过自身配备的传感器感知周围环境并完成导航任务。普华永道预测无人驾驶技术的普及将使整体交通事故减少百分之九十；毕马威汽车研究中心预测，无人驾驶技术将驱使生产力与能源效率将能获得改善，并会出现新的商业模式。
无人驾驶汽车通常配备有相机、惯性测量单元(imu)、激光雷达和全球定位系统(gps)等传感器。其中，相机能够感知的外界信息最为丰富，包括景物的色彩、结构、纹理以及一些语义信息(如：道路、行人、交通标识等)。相比于人类驾驶员在同一时刻仅能够观测某一方向的交通状况，无人驾驶技术旨在实现360度全方位无死角地对车身四周的环境进行感知。由于单个相机的视场角有限，通常使用多个相机组成车载环视多相机系统。导航任务通常要求将多相机的信息转换到同一个坐标系下进行描述，因此需要对多相机之间的外参数进行标定。对于小型车辆，厂商或开发者可以通过搭建静态的标识物(标定板)，通过全局定位获得多目相机之间的外参数。然而，对于大型车辆(如带有拖车的重型卡车)，在兼顾环视无死角和出于成本考量的前提下，车身上的相机数量有限。此时出现两个问题：(1)相机与相机之间会有很大的间隔；(2)某些相机之间没有(或只有很小的)视野重叠区。这些实际情况使得对于车载环视多相机系统的外参数标定变得非常困难。简单地照搬上述对于小型车辆环视多目相机的标定策略会对场地有很大要求。
技术实现要素：
基于此，针对上述技术问题，提供一种车载环视多相机系统的外参数估计方法及其系统。
为解决上述技术问题，本发明采用如下技术方案：
一种车载环视多相机系统的外参数估计方法，包括：
s101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；
s102、检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，通过如下的对极约束关系计算出每个相机的平移向量
其中，c表示相机，
s103、提取每一帧图片中垂直于真实地面的竖向特征线，通过如下公式得到从对应当前图片的相机射出的垂直于所述竖向特征线的法向量
其中，cl表示第l个相机，
s104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
其中，i表示单位矩阵，τ为预设阈值，||·||f表示取弗罗贝尼乌斯范数；
s105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,所述初值由
s106、通过如下总能量函
数对所述初值进行优化：
其中，
所述车辆平面移动5米的直线以及5米的曲线。
所述步骤s106采用levenberg-marquardt优化算法。
本发明还涉及一种车载环视多相机系统的外参数估计系统，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：
s101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；
s102、检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，通过如下的对极约束关系计算出每个相机的平移向量
其中，c表示相机，
s103、提取每一帧图片中垂直于真实地面的竖向特征线，通过如下公式得到从对应当前图片的相机射出的垂直于所述竖向特征线的法向量
其中，cl表示第l个相机，
s104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
其中，i表示单位矩阵，τ为预设阈值，||·||f表示取弗罗贝尼乌斯范数；
s105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,所述初值由
s106、通过如下总能量函数对所述初值进行优化：
其中，
所述车辆平面移动5米的直线以及5米的曲线。
所述步骤s106采用levenberg-marquardt优化算法。
本发明只需相机系统采集一些在平面运动的图像，易于实现和操作，解决了在相机之间无(很少)视场重叠区的极端情况下相机系统外参数标定困难的问题，并且本发明只使用相机得到最简单的点和线的观测数据,并基于此建立能量函数的优化策略，得到精确的相机与车体的旋转估计，不需要引入任何辅助工具，节省场地、节约标识物的设计与制造费用,适用于大型车辆平台上的环视相机系统的外参数标定。
附图说明
下面结合附图和具体实施方式本发明进行详细说明：
图1为本发明实施例的流程图；
图2为本发明的特征点示意图；
图3为本发明的特征线示意图；
图4为本发明的特征点匹配示意图；
图5为本发明的竖向特征线示意图；
图6为本发明的法向量计算示意图。
具体实施方式
如图1所示，一种车载环视多相机系统的外参数估计方法，包括：
s101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片。
启动相机后，让车辆尽量在平面上行驶，环境要求有适当的线特征和特征点。车辆需要走大约5米的直线以及5米的曲线,从而可以采集到足够的帧。
s102、检测每一个相机所采集图片中的特征点以及特征线(参见图2以及图3)，对相邻帧的特征点进行匹配(参见图4)，通过如下的对极约束关系计算出每个相机的平移向量
其中，c表示相机，
若相邻帧上的两个特征点对应同一个3d点，则该两个特征点为特征点对。
在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用，图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。同理，特征线是指图像灰度值发生剧烈变化线。
s103、提取每一帧图片中垂直于真实地面的竖向特征线(参见图5)，通过如下公式得到从对应当前图片的相机射出的垂直于上述竖向特征线的法向量
其中，cl表示第l个相机，
与相机坐标系y轴方向(在此默认使用右手坐标系)平行的特征线为竖向特征线，在本实施例中，若相机水平于地面放置，那么相机的铅垂线方向即可认为是相机坐标系的y轴方向,若相机非水平于放置地面，可配合惯性测量单元imu得到相机坐标系的y轴方向。
在图6中，l1以及l2为两条竖向特征线。
s104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
其中，i表示单位矩阵，τ为预设阈值，||·||f表示取弗罗贝尼乌斯范数。
在本实施例中，τ为0.2-0.4。
s105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,该初值由
s106、采用levenberg-marquardt优化算法，通过如下总能量函数对上述初值进行优化：
其中，
在本实施例中，τ1为0.2-0.5。
本发明还涉及一种车载环视多相机系统的外参数估计系统，包括存储模块，存储模块包括由处理器加载并执行的多条指令：
s101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片。
启动相机后，让车辆尽量在平面上行驶，环境要求有适当的线特征和特征点。车辆需要走大约5米的直线以及5米的曲线,从而可以采集到足够的帧。
s102、检测每一个相机所采集图片中的特征点以及特征线(参见图2以及图3)，对相邻帧的特征点进行匹配(参见图4)，通过如下的对极约束关系计算出每个相机的平移向量
其中，c表示相机，
若相邻帧上的两个特征点对应同一个3d点，则该两个特征点为特征点对。
在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用，图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。同理，特征线是指图像灰度值发生剧烈变化线。
s103、提取每一帧图片中垂直于真实地面的竖向特征线(参见图5)，通过如下公式得到从对应当前图片的相机射出的垂直于上述竖向特征线的法向量
其中，cl表示第l个相机，
与相机坐标系y轴方向(在此默认使用右手坐标系)平行的特征线为竖向特征线，在本实施例中，若相机水平于地面放置，那么相机的铅垂线方向即可认为是相机坐标系的y轴方向,若相机非水平于放置地面，可配合惯性测量单元imu得到相机坐标系的y轴方向。
在图6中，l1以及l2为两条竖向特征线。
s104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
其中，i表示单位矩阵，τ为预设阈值，||·||f表示取弗罗贝尼乌斯范数。
在本实施例中，τ为0.2-0.4。
s105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,该初值由
s106、采用levenberg-marquardt优化算法，通过如下总能量函数对上述初值进行优化：
其中，
在本实施例中，τ1为0.2-0.5。
本发明只需相机系统采集一些在平面运动的图像，易于实现和操作，解决了在相机之间无(很少)视场重叠区的极端情况下相机系统外参数标定困难的问题，并且本发明只使用相机得到最简单的点和线的观测数据,并基于此建立能量函数的优化策略，得到精确的相机与车体的旋转估计，不需要引入任何辅助工具，节省场地、节约标识物的设计与制造费用,适用于大型车辆平台上的环视相机系统的外参数标定。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
1.一种车载环视多相机系统的外参数估计方法，其特征在于，包括：
s101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；
s102、检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，通过如下的对极约束关系计算出每个相机的平移向量
其中，c表示相机，
s103、提取每一帧图片中垂直于真实地面的竖向特征线，通过如下公式得到从对应当前图片的相机射出的垂直于所述竖向特征线的法向量
其中，cl表示第l个相机，
s104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
其中，i表示单位矩阵，τ为预设阈值，||·||f表示取弗罗贝尼乌斯范数；
s105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,所述初值由
s106、通过如下总能量函数对所述初值进行优化：
其中，
h0()、h1()以及h2()为用鲁棒性更好的hubernorm代替l2-norm，λ1以及λ2分别为e1以及e2的系数，
2.根据权利要求1所述的一种车载环视多相机系统的外参数估计方法，其特征在于，所述车辆平面移动5米的直线以及5米的曲线。
3.根据权利要求1或2所述的一种车载环视多相机系统的外参数估计方法，其特征在于，所述步骤s106采用levenberg-marquardt优化算法。
4.一种车载环视多相机系统的外参数估计系统，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：
s101、通过随车辆平面移动且标定好内参数的车载环视多相机系统采集环境图片；
s102、检测每一个相机所采集图片中的特征点以及特征线，对相邻帧的特征点进行匹配，通过如下的对极约束关系计算出每个相机的平移向量
其中，c表示相机，
s103、提取每一帧图片中垂直于真实地面的竖向特征线，通过如下公式得到从对应当前图片的相机射出的垂直于所述竖向特征线的法向量
其中，cl表示第l个相机，
s104、对相机所采集图片进行分类，若前后相邻两帧图片满足如下公式，则前一帧图片为直线行驶图片，否则为其他帧：
其中，i表示单位矩阵，τ为预设阈值，||·||f表示取弗罗贝尼乌斯范数；
s105、随机选取一帧直线行驶图片，使用该直线行驶图片对应的法向量以及平移向量计算出相应相机与车体坐标系的旋转矩阵的初值,所述初值由
s106、通过如下总能量函数对所述初值进行优化：
其中，
5.根据权利要求4所述的一种车载环视多相机系统的外参数估计系统，其特征在于，所述车辆平面移动5米的直线以及5米的曲线。
6.根据权利要求4或5所述的一种车载环视多相机系统的外参数估计系统，其特征在于，所述步骤s106采用levenberg-marquardt优化算法。
技术总结