本发明涉及基于视觉的车辆识别,具体涉及一种基于2d视觉的车辆信息检测方法和装置。
背景技术:
1、在汽车自动驾驶领域,基于视觉实现自动驾驶或者高级辅助驾驶是一种较低成本的技术路线;而在摄像头拍摄的图片中检测到自车附近的车辆,是该路线的基础技术之一。而目标车辆的朝向和宽度信息,又是需要输入给自动驾驶算法的最重要的车辆信息之一。
2、现有的车辆朝向和宽度检测有两种方式:其一是通过点云检测,这种方式需要昂贵的激光雷达传感器;其二是通过基于3d视觉目标检测的卷积神经网络模型,而这种模型的参数量巨大,需要长期和昂贵的训练,同时要求自动驾驶的处理器具有强大的算力,因而导致硬件成本的增加。
3、还有一些技术试图通过简单的使用卷积神经网络对车辆朝向进行识别,如在专利cn202110973740.3(审中)中,作者基于yolov5与bcnn等目标检测模型构建了一套车辆朝向识别方法及系统,但是这种方法需要专门针对车辆朝向进行标注,且需要额外构建网络来满足这一需求。另如,在专利cn202210068244.8(审中)中,作者通过车辆的尺寸比例信息、车身和车头/尾包围框信息确定待检测车辆的朝向信息,但是这种方法模型参数仍然较多,对芯片算力要求较高,同时没有对车辆朝向判断最有帮助的车轮信息进行充分利用。
4、利用2d检测结果(车辆整体和部分边界框)来推算车辆朝向等信息,目前应用较少,且与我们的机制不同,另外一方面,因为不同车辆的边界框可能出现重叠,这会导致计算结果出现较大误差。
5、总体来说,目前的车辆朝向和宽度检测任务的实现方法,普遍存在数据集构建困难、模型网络结构复杂、训练开销大、对算力要求偏高等问题;或者存在需要攻克的技术难题。
技术实现思路
1、本发明提出了一种简单有效的通过2d视觉方法获取车辆朝向、距离和宽度信息的方法。利用2d视觉检测模型对多个车辆的整体、头/尾部、车轮进行检测,得到其边界框信息,然后利用车轮边界框相对车辆整体边界框和车辆头/尾部边界框的相对关系,经过多轮匹配算法,得到各个车辆及其所包含的车轮、头/尾部边界框之间的准确从属关系,进而根据两个车轮边界框之间的对应关系和车辆后部边界框,得到车辆的朝向、距离和宽度等信息。
2、为了实现上述发明目的,本发明提供了以下技术方案:
3、一种基于2d视觉的车辆信息检测方法,包括以下步骤:
4、获取主车前方的待检测图像;
5、将所述待检测图像输入到预设的2d目标检测模型中,识别出所述待检测图像中车辆的目标集合,所述车辆的目标集合包括目标边界框的坐标、目标边界框的宽度、目标边界框的长度以及目标类型,所述目标类型包括:整车、车头、车尾和车轮;
6、计算车辆的目标集合中车头与整车之间的交并比或者车尾与整车之间的交并比,将得到的交并比与预设的车头交并比阈值或者车尾交并比阈值进行比较,根据比较的结果得出车头与整车之间的对应关系或者车尾与整车之间的对应关系;
7、计算车辆的目标集合中车轮与整车之间的交并比,将得到的车轮交并比与预设的车轮交并比阈值进行比较,根据比较的结果得出车轮与整车之间的位置关系;所述交并比是指同一平面中两个目标边界框交叠区域的面积与非交叠区域面积之和的比值;
8、通过车头与整车之间的对应关系或者车尾与整车之间的对应关系得出整车的朝向;
9、将属于同一整车的两个车轮的边界框中心点之间的位置关系和车尾边界框的顶点之间的位置关系,进行图像坐标系到物理世界坐标系的变换,获取待检测图像中整车相对于主车的距离以及该整车的宽度。
10、作为优选方案,将交并比与预设的车头交并比阈值或者车尾交并比阈值进行比较时,若车头边界框或车尾边界框只与其中一个整车的边界框交并比大于阈值,而与其他整车目标的边界框交并比都小于阈值,那么确定该车头或车尾属于该整车。
11、作为优选方案,还包括确定整车与主车之间的位置关系,包括以下步骤:
12、如果车头或车尾的边框中心在整车边框中心的右侧,则该整车在主车的右侧;如果车头或车尾的边框中心在整车边框中心的左侧,则该整车在主车的左侧。
13、作为优选方案,确定整车与主车之间的位置关系还包括确定整车与主车是否同向,包括以下步骤:
14、如果判定车头属于整车,则该整车与主车为相向行驶;如果判定车尾目标属于整车,则该整车与主车为同向行驶。
15、作为优选方案,将得到的车轮交并比与预设的车轮交并比阈值进行比较,根据比较的结果得出车轮与整车之间的位置关系,包括以下步骤:
16、计算车轮边界框与整车边界框的交并比,将得到的车轮交并比与预设的车轮交并比阈值比较,如果车轮交并比大于预设的车轮交并比阈值,则车轮属于该整车;
17、如果整车在主车左侧,
18、若车轮边界框的右侧边与整车边界框右侧边的距离小于车轮边界框的左侧边与该整车的车头/车尾边界框右侧边的距离,则在整车与主车同向行驶的情况下,该车轮是该整车的前轮;在整车与主车相向行驶的情况下,该车轮是该整车的后轮;
19、如果整车在主车右侧,如果车轮更靠近车辆右侧,即车轮边界框的右侧边与该整车的车头/车尾边界框右侧边的距离,小于车轮边界框的左侧边与整车边界框的左侧边的距离,则在整车与主车同向行驶的情况下,该车轮是该整车的后轮;在车辆与主车相向行驶的情况下,该车轮是该整车的前轮。
20、作为优选方案,还包括第二轮匹配判断,包括以下步骤:
21、遍历车辆的目标集合中所有类型为 “整车”的目标边界框,
22、如果该整车的前轮个数大于1,则计算各前轮的边界框与该整车的边界框交并比,将交并比最大的前轮确定为整车的前轮;
23、如果该整车的后轮个数大于1,则计算各后轮的边界框与该整车的边界框交并比,将交并比最大的后轮确定为整车的后轮。
24、作为优选方案,对于没有确定与整车隶属关系的车轮,还包括第三轮匹配判断,包括以下步骤:
25、遍历车轮边界框,计算车轮边界框和整车边界框的交并比,如果交并比大于预设的车轮交并比阈值,则车轮属于当前整车,并确定当前整车的前车轮;若该当前整车已经有前车轮,则继续遍历,直到为该车轮匹配到整车;
26、作为优选方案,所述车头交并比阈值或者车尾交并比阈值的取值范围是0.6-0.9。
27、作为优选方案,车轮交并比阈值的取值范围是0.5-0.8。
28、基于相同的构思还提出了一种基于2d视觉的车辆信息检测装置,包括图像采集设备、分析模块和数据输出模块,
29、所述图像采集设备用于获取主车前方的待检测图像;
30、所述分析模块用于采用任一上述的一种基于2d视觉的车辆信息检测方法得到待检测图像中整车的朝向、整车相对于主车的距离以及该整车的宽度。
31、相比现有技术,本发明的有益效果在于:本发明的方法能够简单而有效地通过2d视觉方法获取车辆的朝向、距离和宽度信息,得以支持自动驾驶系统实现测速测距算法以及控制规划算法,减少算力和存储等资源需求。
1.一种基于2d视觉的车辆信息检测方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种基于2d视觉的车辆信息检测方法,其特征在于,将交并比与预设的车头交并比阈值或者车尾交并比阈值进行比较时,若车头边界框或车尾边界框只与其中一个整车的边界框交并比大于阈值,而与其他整车目标的边界框交并比都小于阈值,那么确定该车头或车尾属于该整车。
3.如权利要求1所述的一种基于2d视觉的车辆信息检测方法,其特征在于,还包括确定整车与主车之间的位置关系,包括以下步骤:
4.如权利要求3所述的一种基于2d视觉的车辆信息检测方法,其特征在于,确定整车与主车之间的位置关系还包括确定整车与主车是否同向,包括以下步骤:
5.如权利要求1所述的一种基于2d视觉的车辆信息检测方法,其特征在于,所述车头交并比阈值或者车尾交并比阈值的取值范围是0.6-0.9。
6.如权利要求1所述的一种基于2d视觉的车辆信息检测方法,其特征在于,车轮交并比阈值的取值范围是0.5-0.8。
7.一种基于2d视觉的车辆信息检测装置,其特征在于,包括图像采集设备、分析模块和数据输出模块,
