本申请涉及智能交通领域，特别涉及一种车载摄像头和车载雷达联动的目标检测方法、装置及系统。
背景技术：
自动驾驶是智能交通系统中的一项重要应用，自动驾驶需要车辆检测到其周围的车辆，根据其周围的车辆进行避让，以免交通事故发生。目前车辆中包括摄像头和雷达，车辆可以基于摄像头和雷达检测其周围的车辆。
目前存在一种检测汽车周围车辆的方法，可以为：基于摄像头检测车辆周围可能是车辆的每个图像目标的第一位置信息，基于雷达检测车辆周围可能是车辆的每个雷达目标的第二位置信息。通过预设第一透视矩阵将每个图像目标的第一位置信息映射至道路坐标系中得到每个图像目标的第三位置信息，通过预设第二透视矩阵将每个雷达目标的第二位置信息映射至道路坐标系中得到每个雷达目标的第四位置信息。根据每个图像目标的第三位置信息和每个雷达目标的第四位置信息确定至少一个目标对，每个目标对包括属于同一物体的图像目标和雷达目标。由于目标对中的图像目标和雷达目标分别为摄像机和雷达同时检测出的可能是车辆的目标，因此目标对中的目标为车辆的可能较大，将目标对中的目标作为检测出的车辆。
发明人在实现本申请的过程中，发现上述方式至少存在如下缺陷：
预设第一透视矩阵用于反应摄像头的图像坐标系和道路坐标系之间的转换关系，由于车辆在不同路况下行驶，该转换关系可能会发生变化，预设第一透视矩阵不能准确反应当前摄像头的图像坐标系和道路坐标系之间的转换关系，所以通过预设第一透视矩阵将图像目标的第一位置信息映射道路坐标系得到的第三位置信息的精度会降低，进而降低检测目标的精度。
技术实现要素：
为了提高检测目标的精度，本申请实施例提供了一种基于摄像头和雷达的车辆检测方法及装置。所述技术方案如下：
根据本申请实施例的第一方面，提供了一种车载摄像头和车载雷达联动的目标检测方法，所述方法包括：
从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；
从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；
根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；
通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
可选的，所述方法还包括：
根据检测出的各个所述图像目标的置信度，对置信度超过所述第一预设阈值的图像目标进行分类，得到该图像目标对应的真实目标的目标类别，并将该目标类别输出，以及
根据检测出的各个所述雷达目标的置信度，对置信度超过所述第二预设阈值的雷达目标进行分类，得到该雷达目标对应的真实目标的目标类别，并将该目标类别输出。
可选的，在所述根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵之前，所述方法还包括：
从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，任意一个所述关联目标对包括满足预设关联条件的雷达目标和图像目标，所述n为大于或等于1的正整数；
所述根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，包括：
根据所述n个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵。
可选的，所述从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，包括：
根据第一图像目标的第一位置信息和存储的第二透视矩阵，将所述第一图像目标从所述图像坐标系映射至所述道路坐标系，得到所述第一图像目标在所述道路坐标系中对应的第三位置信息；其中所述第一图像目标为置信度超过第一预设阈值的图像目标，所述第一位置信息为所述第一图像目标在所述图像坐标系中的位置信息；
根据第一雷达目标的第二位置信息和存储的第三透视矩阵，将所述第一雷达目标从所述雷达坐标系映射至所述道路坐标系，得到所述第一雷达目标在所述道路坐标系中对应的第四位置信息；其中所述第一雷达目标为置信度超过第二预设阈值的雷达目标，所述第二位置信息为所述第一雷达目标在所述雷达坐标系中的位置信息；
根据各个所述第一图像目标的所述第三位置信息和各个所述第一雷达目标的所述第四位置信息，对各个所述第一图像目标与各个所述第一雷达目标进行位置关联，得到所述n个关联目标对。
可选的，所述对各个所述第一图像目标与各个所述第二雷达目标进行位置关联，得到所述n个关联目标对，包括：
根据所述第一图像目标的所述第三位置信息和所述第一雷达目标的所述第四位置信息，确定所述第一图像目标在所述道路坐标系中的投影面积，所述第一雷达目标在所述道路坐标系中的投影面积，以及所述第一图像目标和所述第一雷达目标在所述道路坐标系中的重叠投影面积；
根据所述第一图像目标在所述道路坐标系中的投影面积，所述第一雷达目标在所述道路坐标系中的投影面积，以及所述重叠投影面积，确定各个所述第一图像目标与各个所述第二雷达目标之间的关联代价；
从所述第一图像目标和所述第二图像目标中确定关联代价最小的一个所述第一雷达目标和一个所述第一图像目标为关联目标对，进而得到所述n个关联目标对。
可选的，所述根据所述n个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵，包括：
针对所述n个关联目标对中的任一个关联目标对，根据所述关联目标对中的所述第一雷达目标的位置信息，修正所述关联目标对中的所述第一图像目标的位置信息；
根据所述n个关联目标对中的各个所述第一图像目标修正后的位置信息，修正所述第二透视矩阵，得到所述第一透视矩阵。
可选的，所述通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别，包括：
从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中确定m个特征融合目标对，任意一个所述特征融合目标对包括满足预设关联条件的一个雷达目标和一个图像目标，所述m为大于或等于1的正整数；
针对任一所述特征融合目标对，将所述特征融合目标对中的所述雷达目标的回波能量特征和所述图像目标的图像特征分别进行卷积计算后进行拼接，得到所述特征融合目标对所对应的融合特征图；
将所述融合特征图进行卷积和全连接计算后输入到分类网络进行目标分类，得到所述融合特征图对应的目标类别。
可选的，所述从第二图像目标和第二雷达目标中确定m个特征融合目标对，包括：
通过所述第一透视矩阵，将第二图像目标从所述图像坐标系映射至所述道路坐标系中，得到所述第二图像目标在所述道路坐标系中对应的位置信息，以及，通过预先存储的第三透视矩阵，将第二雷达目标从所述雷达坐标系映射至所述道路坐标系中，得到所述第二雷达目标在所述道路坐标系中对应的位置信息，所述第二图像目标为置信度未超过第一预设阈值的图像目标，所述第二雷达目标为置信度未超过第二预设阈值的雷达目标；
根据各个所述第二图像目标在所述道路坐标系中对应的位置信息和各个所述第二雷达目标在所述道路坐标系中对应的位置信息，对各个所述第二图像目标和各个所述第二雷达目标进行位置关联，得到所述m个特征融合目标对。
可选的，所述从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标的置信度，包括：
根据所述车载摄像头提供的当前帧视频图像，以及与所述当前帧视频图像接近的多帧历史帧视频图像，获取所述任意一个所述图像目标的分类置信度、跟踪帧数置信度和位置置信度；
根据所述分类置信度、位置置信度和跟踪帧数置信度中的一个或多个，确定所述图像目标的置信度；
所述从所述雷达采集的速度距离图像中检测出所述车辆周围的各个雷达目标的置信度，包括：
根据所述当前帧速度距离图像中任一个所述雷达目标的回波能量强度、距离所述车辆的距离，以及所述雷达目标在多帧历史帧速度距离图像中的持续时间，确定所述雷达目标的置信度。
根据本申请实施例的第二方面，提供了一种车载摄像头和车载雷达联动的目标检测装置，所述装置包括：
第一检测模块，用于从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；
第二检测模块，用于从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；
获取模块，用于根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；
第三检测模块，用于通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
可选的，所述装置还包括：
分类模块，用于根据检测出的各个所述图像目标的置信度，对置信度超过所述第一预设阈值的图像目标进行分类，得到该图像目标对应的真实目标的目标类别，并将该目标类别输出，以及，根据检测出的各个所述雷达目标的置信度，对置信度超过所述第二预设阈值的雷达目标进行分类，得到该雷达目标对应的真实目标的目标类别，并将该目标类别输出。
可选的，所述装置还包括：
确定模块，用于从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，任意一个所述关联目标对包括满足预设关联条件的雷达目标和图像目标，所述n为大于或等于1的正整数；
所述获取模块，用于根据所述n个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵。
可选的，所述确定模块，用于：
根据第一图像目标的第一位置信息和存储的第二透视矩阵，将所述第一图像目标从所述图像坐标系映射至所述道路坐标系，得到所述第一图像目标在所述道路坐标系中对应的第三位置信息；其中所述第一图像目标为置信度超过第一预设阈值的图像目标，所述第一位置信息为所述第一图像目标在所述图像坐标系中的位置信息；
根据第一雷达目标的第二位置信息和存储的第三透视矩阵，将所述第一雷达目标从所述雷达坐标系映射至所述道路坐标系，得到所述第一雷达目标在所述道路坐标系中对应的第四位置信息；其中所述第一雷达目标为置信度超过第二预设阈值的雷达目标，所述第二位置信息为所述第一雷达目标在所述雷达坐标系中的位置信息；
根据各个所述第一图像目标的所述第三位置信息和各个所述第一雷达目标的所述第四位置信息，对各个所述第一图像目标与各个所述第一雷达目标进行位置关联，得到所述n个关联目标对。
可选的，所述获取模块，用于：
针对所述n个关联目标对中的任一个关联目标对，根据所述关联目标对中的所述第一雷达目标的位置信息，修正所述关联目标对中的所述第一图像目标的位置信息；
根据所述n个关联目标对中的各个所述第一图像目标修正后的位置信息，修正所述第二透视矩阵，得到所述第一透视矩阵。
可选的，所述第三检测模块，用于：
从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中确定m个特征融合目标对，任意一个所述特征融合目标对包括满足预设关联条件的一个雷达目标和一个图像目标，所述m为大于或等于1的正整数；
针对任一所述特征融合目标对，将所述特征融合目标对中的所述雷达目标的回波能量特征和所述图像目标的图像特征分别进行卷积计算后进行拼接，得到所述特征融合目标对所对应的融合特征图；
将所述融合特征图进行卷积和全连接计算后输入到分类网络进行目标分类，得到所述融合特征图对应的目标类别。
可选的，所述第三检测模块，用于：
通过所述第一透视矩阵，将第二图像目标从所述图像坐标系映射至所述道路坐标系中，得到所述第二图像目标在所述道路坐标系中对应的位置信息，以及，通过预先存储的第三透视矩阵，将第二雷达目标从所述雷达坐标系映射至所述道路坐标系中，得到所述第二雷达目标在所述道路坐标系中对应的位置信息，所述第二图像目标为置信度未超过第一预设阈值的图像目标，所述第二雷达目标为置信度未超过第二预设阈值的雷达目标；
根据各个所述第二图像目标在所述道路坐标系中对应的位置信息和各个所述第二雷达目标在所述道路坐标系中对应的位置信息，对各个所述第二图像目标和各个所述第二雷达目标进行位置关联，得到所述m个特征融合目标对。
可选的，所述第一检测模块，用于：
根据所述车载摄像头提供的当前帧视频图像，以及与所述当前帧视频图像接近的多帧历史帧视频图像，获取所述任意一个所述图像目标的分类置信度、跟踪帧数置信度和位置置信度；
根据所述分类置信度、位置置信度和跟踪帧数置信度中的一个或多个，确定所述图像目标的置信度；
所述第二检测模块，用于：
根据所述当前帧速度距离图像中任一个所述雷达目标的回波能量强度、距离所述车辆的距离，以及所述雷达目标在多帧历史帧速度距离图像中的持续时间，确定所述雷达目标的置信度。
根据本申请实施例的第三方面，提供了一种目标检测系统，包括设置在车辆上的雷达、设置在所述车辆上的车载摄像头，以及与所述雷达和所述车载摄像头通信的检测装置，
所述车载摄像头，用于对所述车辆周围进行拍摄，得到当前帧视频图像，并向所述检测装置提供拍摄的当前帧视频图像；
所述雷达，用于根据发射的雷达信号和接收的回波信号生成当前帧速度距离图像，并向所述检测装置提供所述当前帧速度距离图像；
所述检测装置，用于从所述车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
可选的，所述车载摄像头设置在所述车辆的前后方和/或左右两侧，所述雷达设置在所述车辆的前后方。
可选的，所述雷达为毫米波雷达。
根据本申请实施例的第四方面，提供一种非易失性计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器加载并执行，以实现第一方面或第一方面的任一种可选的方法的指令。
本申请实施例提供的技术方案可以包括以下有益效果：
通过车载摄像头检测出车辆周围的图像目标在图像坐标系的位置信息和图像目标的置信度，通过雷达检测出车辆周围在雷达坐标系的雷达目标的位置信息和每个雷达目标的置信度；由于置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标为指定类别的真实目标，所以根据置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标获取的第一透视矩阵能够精准反映当前路况下车辆的车载摄像头的图像坐标系与道路坐标关系之间的转换关系，这样根据第一透视矩阵从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中检测出的目标类别为指定类别的真实目标的精度较高，从而提高目标检测的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种车载摄像头和车载雷达联动的目标检测系统结构示意图；
图2是本申请实施例提供的一种车载摄像头和车载雷达联动的目标检测方法流程图；
图3是本申请实施例提供的一种车载摄像头和车载雷达联动的目标检测方法流程图；
图4是本申请实施例提供的一种车载摄像头和车载雷达联动的目标融合框图；
图5是本申请实施例提供的一种获取图像目标置信度的方法流程图；
图6是本申请实施例提供的一种第一卷积神经网络结构示意图；
图7是本申请实施例提供的一种获取雷达目标置信度的方法流程图；
图8是本申请实施例提供的一种获取第一透视矩阵的方法流程图；
图9是本申请实施例提供的一种检测类别为指定类别的目标的方法流程图；
图10是本申请实施例提供的通过卷积神经网络检测类别为指定类别的目标的流程图；
图11是本申请实施例提供的一种车载摄像头和车载雷达联动的目标检测装置结构示意图；
图12是本申请实施例提供的一种装置结构示意图；
图13是本申请实施例提供的一种目标检测系统的结构示意图；
图14是本申请实施例提供的一种从视频图像中检测出的车辆周围的各个图像目标的示意图；
图15是本申请实施例提供的一种从雷达提供的速度距离图像中检测出车辆周围的各个雷达目标的示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在智能交通系统中，车辆行驶在道路上可以检测其周围的其他车辆，这样司机在驾驶车辆时可以向司机提示周围的其他车辆，辅助司机驾驶车辆，或者，在自动驾驶时，车辆可以根据其周围的车辆规划行驶的车道或对其他车辆进行避让。
参见图1，本申请实施例提供了一种车载摄像头和车载雷达联动的目标检测系统，包括设置在车辆上的车载摄像头1、设置在车辆上的车载雷达2和与雷达2和车载摄像头1通信的检测设备3；车载摄像头1设置在车辆的前后方和/或左右两侧，雷达2设置在车辆的前后方；
车载摄像头1，用于对车辆周围环境进行拍摄得到视频图像；
雷达2，用于向车辆周围发送雷达波，接收该雷达波对应的反射波并获取该反射波的回波能量强度，得到速度距离图像；
检测设备3，用于基于该视频图像检测车辆周围的各个图像目标在图像坐标系中的位置信息和置信度，该置信度用于表示图像目标对应的真实目标的目标类别为指定类别的概率，以及基于该速度距离图像检测车辆周围的雷达目标在雷达坐标系中的位置信息和置信度，该置信度用于表示雷达目标对应的真实目标的目标类别为指定类别的概率；
检测设备3，还用于根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的图像目标的位置信息，获取第一透视矩阵，第一透视矩阵用于表示图像像坐标系与预设道路坐标系之间的转换关系；通过第一透视矩阵，从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中检测目标类别。
可选的，车辆中包括检测设备，车辆通过车载设备、车载摄像头和雷达检测周围的车辆。车载设备可以通过车载摄像头检测到车辆周围的每个图像目标，以及通过雷达检测到车辆周围的每个雷达目标。每个图像目标和每个雷达目标可能为指定类别的真实目标，指定类别的真实目标可以为车辆等。
可选的，该雷达可以为毫米波雷达或激光雷达等。
需要说明的是：如果一个目标同时被车载摄像头检测出为指定类别的真实目标，以及被雷达检测出为指定类别的真实目标时，该目标为指定类别的一个真实目标的可能性较大。因此为了提高检测汽车周围目标的精度，可以将通过车载摄像头检测出的每个图像目标和通过雷达检测出的每个雷达目标融合，以提高检测精度。其中，上述检测图像目标、雷达目标以及融合的过程可以参见如下任一实施例的描述，在此先不说明。
参见图2，本申请实施例提供了一种车载摄像头和车载雷达联动的目标检测方法，该方法包括：
步骤201：从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个图像目标的置信度，以及各个图像目标在图像坐标系中的位置信息。
步骤202：从雷达提供的速度距离图像中检测出车辆周围的各个雷达目标，以及各个雷达目标在雷达坐标系中的位置信息，雷达目标的置信度，置信度用于表示图像目标或雷达目标所对应的真实目标的目标类别为指定类别的概率。
步骤203：根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，第一透视矩阵用于表示图像像坐标系与预设道路坐标系之间的转换关系。
步骤204：通过第一透视矩阵，从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中检测出目标类别。
可选的，步骤204之后，还包括步骤205，根据检测出的各个图像目标的置信度，对置信度超过第一预设阈值的图像目标进行分类，得到该图像目标对应的真实目标的目标类别，并将该目标类别输出，以及根据检测出的各个雷达目标的置信度，对置信度超过所述第二预设阈值的雷达目标进行分类，得到该雷达目标对应的真实目标的目标类别，并将该目标类别输出。通过对高置信度的图像目标和雷达目标进行分类可以分类出所需要的目标类别的目标并输出。通过此步骤，可以实现图4中计算图像目标的置信度和目标分类，以及计算雷达坐标的置信度和目标分类，以及进行高置信度目标的决策级融合。
其中，参见图14，示意出了从车载摄像头提供的视频图像中检测出的车辆周围的各个图像目标，以及各个图像目标的置信度，以及各个图像目标在图像坐标系中的位置信息。叠加框内的目标是置信度超过第一预设阈值的图像目标，参见图15，示意出了从雷达提供的速度距离图像中检测出车辆周围的各个雷达目标，以及各个雷达目标在雷达坐标系中的位置信息，雷达目标的置信度，其中，叠加框内的目标是置信度超过所述第二预设阈值的雷达目标。
可选的，在步骤203之后，还包括步骤206，从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，任意一个该关联目标对包括满足预设关联条件的雷达目标和图像目标，n为大于或等于1的正整数；如此可以根据n个关联目标对中的雷达目标和图像目标的位置信息，确定第一透视矩阵。
可选的，步骤206可以包括：
2061：根据第一图像目标的第一位置信息和存储的第二透视矩阵，将第一图像目标从所述图像坐标系映射至道路坐标系，得到第一图像目标在道路坐标系中对应的第三位置信息；其中第一图像目标为置信度超过第一预设阈值的图像目标，第一位置信息为第一图像目标在所述图像坐标系中的位置信息；
2062：根据第一雷达目标的第二位置信息和存储的第三透视矩阵，将第一雷达目标从雷达坐标系映射至道路坐标系，得到第一雷达目标在道路坐标系中对应的第四位置信息；其中第一雷达目标为置信度超过第二预设阈值的雷达目标，第二位置信息为第一雷达目标在雷达坐标系中的位置信息；
2063：根据各个第一图像目标的第三位置信息和各个第一雷达目标的第四位置信息，对各个第一图像目标与各个第一雷达目标进行位置关联，得到n个关联目标对。
通过上述步骤2061至步骤2063，可以得到n个关联目标对，基于该n个关联目标对可以将车载摄像头检测的高置信度图像目标和雷达检测的高置信度雷达目标进行动态对齐，可以实现图4中的图像坐标系、道路坐标系和雷达坐标系间的动态对齐。
可选的，上述步骤2063可以为：
根据第一图像目标的第三位置信息和第一雷达目标的所述第四位置信息，确定第一图像目标在道路坐标系中的投影面积，第一雷达目标在道路坐标系中的投影面积，以及第一图像目标和第一雷达目标在道路坐标系中的重叠投影面积；
根据第一图像目标在道路坐标系中的投影面积，第一雷达目标在道路坐标系中的投影面积，以及该重叠投影面积，确定各个第一图像目标与各个第二雷达目标之间的关联代价；
从第一图像目标和第二图像目标中确定关联代价最小的一个第一雷达目标和一个第一图像目标为关联目标对，进而得到n个关联目标对。
由于确定各个第一图像目标与各个第二雷达目标之间的关联代价，从第一图像目标和第二图像目标中确定关联代价最小的一个第一雷达目标和一个第一图像目标为关联目标对，从而可以提高关联目标对的准确性。
可选的，上述步骤203，可以包括：
2031：针对n个关联目标对中的任一个关联目标对，根据该关联目标对中的第一雷达目标的位置信息，修正该关联目标对中的第一图像目标的位置信息；
2032：根据n个关联目标对中的各个第一图像目标修正后的位置信息，修正第二透视矩阵，得到第一透视矩阵。由于雷达坐标系的位置信息相对图像坐标系的位置信息更为准确，因此，对于一个关联目标对，使用雷达目标的位置信息，修正图像目标的位置信息，可以使得图像目标的位置信息与真实目标的位置信息更接近，按照修正后的各个图像目标的位置信息将第二透视矩阵修正为第一透视矩阵，从而得到的第一透视矩阵能够精准地反映当前图像坐标系与道路坐标系之间的转换关系，这有利于将低置信度图像目标映射到道路坐标系时的位置信息也进行相应的校正。
可选的，上述步骤204可以包括：
2041：从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中确定m个特征融合目标对，任意一个特征融合目标对包括满足预设关联条件的一个雷达目标和一个图像目标，m为大于或等于1的正整数。
2042：针对任一特征融合目标对，将特征融合目标对中的雷达目标的回波能量特征和图像目标的图像特征分别进行卷积计算后进行拼接，得到该特征融合目标对所对应的融合特征图；
2043：将该融合特征图进行卷积和全连接计算后输入到分类网络进行目标分类，得到融合特征图对应的目标类别。
通过上述步骤2041至步骤2043可以实现图4中的低置信度目标的特征级融合，具体的步骤2042和步骤2043可以参见图10所示的流程。
可选的，上述步骤2041可以为：
通过第一透视矩阵，将第二图像目标从图像坐标系映射至道路坐标系中，得到第二图像目标在道路坐标系中对应的位置信息，以及，通过预先存储的第三透视矩阵，将第二雷达目标从雷达坐标系映射至道路坐标系中，得到第二雷达目标在道路坐标系中对应的位置信息，第二图像目标为置信度未超过第一预设阈值的图像目标，第二雷达目标为置信度未超过第二预设阈值的雷达目标；
根据各个第二图像目标在道路坐标系中对应的位置信息和各个第二雷达目标在道路坐标系中对应的位置信息，对各个第二图像目标和各个第二雷达目标进行位置关联，得到m个特征融合目标对。
可选的，上述步骤201，可以包括：
2011：根据车载摄像头提供的当前帧视频图像，以及与当前帧视频图像接近的多帧历史帧视频图像，获取任意一个图像目标的分类置信度、跟踪帧数置信度和位置置信度；
2012：根据该分类置信度、位置置信度和跟踪帧数置信度中的一个或多个，确定图像目标的置信度。
可选的，上述步骤202，可以为：
根据当前帧速度距离图像中任一个雷达目标的回波能量强度、距离车辆的距离，以及雷达目标在多帧历史帧速度距离图像中的持续时间，确定雷达目标的置信度。
参见图3和图4，本申请实施例提供了一种车载摄像头和车载雷达联动的目标检测方法，该方法可以应用于图1所示的架构中，且该方法的执行主体可以为车载设备，该车载设备可以为图1所示系统中的检测设备3，包括：
步骤301：从车辆的车载摄像头提供的视频图像中检测车辆周围的每个图像目标在图像坐标系中的位置信息、目标面积和置信度，该置信度用于表示图像目标对应的真实目标的目标类别为指定类别的概率。
车载摄像头可以对车辆周围的环境进行拍摄得到一帧帧的视频图像，每当拍摄得到的一帧视频图像时，为了便于说明将当前拍摄的一帧视频图像称为第一视频图像，将第一视频图像输入到车载设备；车载设备中包括第一卷积神经网络，可以根据第一视频图像通过第一卷积神经网络检测出第一视频图像中类别为指定类别的每个图像目标的位置信息、目标面积和置信度。
可选的，可以根据检测出的各个图像目标的置信度，对置信度超过第一预设阈值的图像目标进行分类，得到该图像目标对应的真实目标的目标类别，并将该目标类别输出。
其中，车载摄像头包括一个图像坐标系，每个图像目标的位置信息和目标面积均是每个图像目标在图像坐标系中的位置信息和面积。
可选的，参见图5，车辆设备可以通过3011至3015的操作检测每个图像目标的位置信息、目标面积和置信度，分别为：
3011：通过第一卷积神经网络检测车辆的车载摄像头当前拍摄的第一视频图像，得到类别为指定类别的每个图像目标的位置信息和目标面积。
参见图6，第一卷积神经网络包括卷积神经网络(convolutionalneuralnetwork,cnn)、区域侯选网络(regionproposalnetwork，rpn)和基于区域的卷积神经网络(fastregion-basedconvolutionneuralnetwork，rcnn)等组成部分，事先在rcnn中设置有第一类别集合，该第一类别集合的类别可以包括指定类别，例如指定类别可以为车辆、第一类别集合还可以包括房子、树木、花台、路灯等其他类别。
本步骤可以为：首先车载设备在接收到车载摄像头输入的第一视频图像时，将第一图像输入到第一卷积神经网络，获取第一卷积神经网络输出的第一视频图像中的每个目标在图像坐标系的位置信息、面积和每个目标属于第一类别集合中的每个类别的概率。
在实现时，参照图6，车载设备可以将第一视频图像输入到cnn，由cnn对第一视频图像进行卷积求取特征映射图得到第一视频图像对应的第一特征图，将第一特征图分别输入到rpn和rcnn。rpn在第一特征图中确定出至少一个第一侯选框区域，得到第二特征图，将第二特征图也输入到rcnn。rcnn根据第一特征图对任意一个第二特征图，即对任一第一侯选框中的目标特征进行目标位置和目标类别的回归，最终得到第一候选框区域内的目标对象的位置信息和目标面积，以及每个目标对象属于第一类别集合中的每个类别的概率。车载设备获取rcnn输出的每个目标的位置信息和目标面积以及每个目标属于第一类别集合中的每个类别的概率。
然后对于每个目标，车载设备从该目标对应的每个类别的概率中选择最大概率，将最大概率对应的类别作为该目标的类别，再从每个目标中选择类别为指定类别的目标作为图像目标。
其中，图像目标的目标面积可能与图像目标的实际面积不同。
可选的，rcnn还可以输出每个目标对应的图像目标框，即每个图像目标还可以有对应的图像目标框，图像目标对应的图像目标框包括图像目标的图像。
3012：根据车载摄像头在当前之前拍摄的视频图像获取每个图像目标的分类置信度。
在本步骤中，可以获取在当前之前最近拍摄的k帧视频图像并组成视频图像集合，对于任一个图像目标，为了便于说明称为待处理图像目标，确定该视频图像集合中的每个视频图像中的待处理图像目标的置信度，根据该视频图像集合中的每个视频图像中的待处理图像目标的置信度，获取待处理图像目标的分类置信度，k为预设数值。其中，待处理图像目标的分类置信度用于表示待处理图像目标在图像纹理上为真实车辆的概率。
视频图像集合包括第一个视频图像、第二个视频图像、……、第k个视频图像，第一个视频图像是该视频图像集合中最先拍摄的视频图像，第k个视频图像是最晚拍摄的视频图像。
可选的，对于确定该视频图像集合中的每个视频图像中的待处理图像目标的置信度的操作，实现方式可以为：
根据第一视频图像中的每个图像目标的第一位置信息和第k个视频图像中的每个图像目标的第一位置信息，计算第一视频图像中的每个图像目标和第k个视频图像中的每个图像目标之间的距离，将距离小于预设距离阈值的两个图像目标确定为该两个视频图像中的同一目标。在当前之前已确定第k个视频图像和第k-1个视频图像中哪些目标是同一目标，k＝2、3、……、k，因此对于第一视频图像中的待处理图像目标，可以确定视频图像集合中的哪些视频图像中包括待处理图像目标，哪些视频图像不包括待处理图像目标。对于包括待处理图像目标的视频图像，在当前已获取该视频图像中的待处理图像目标的置信度，对于不包括待处理图像目标的视频图像，可以将该视频图像中的待处理图像目标的置信度设置为预设置信度，例如预设置信度可以为0、1等数值。
可选的，车载终端中还保存有目标与图像数目的对应关系。对于该对应关系中的每条记录，该记录中保存了一个目标和包括该目标的图像数目。
相应的，在确定第一视频图像中的图像目标和第k个视频图像中的图像目标是同一目标时，将该对应关系中的包括该图像目标的记录中保存的图像数目加1。在确定第一视频图像中的图像目标和第k个视频图像中的任何一个图像目标不同时，该图像目标可能是新出现的目标，设置包括该图像目标的图像数目为1，将该图像目标和1对应保存在该对应关系中。
可选的，对于获取待处理图像目标的分类置信度的操作，可以按如下第一公式计算待处理图像目标的分类置信度。
第一公式为：
其中，在上述第一公式中，cc为待处理图像目标的分类置信度，cc[k]为第k个视频图像中的待处理图像目标的置信度，γ为阻尼系数，为预设数值，例如γ＝0.9等数值。
3013：根据车载摄像头在当前之前拍摄的视频图像获取每个图像目标的跟踪帧数置信度。
从目标与图像数目的对应关系中获取待处理图像目标对应的图像数目，将该图像数目减1，得到车载摄像头在当前之前拍摄的包括待处理图像目标的第二视频图像的数目，根据车载摄像头在当前之前拍摄的包括待处理图像目标的第二视频图像的数目，获取待处理图像目标的跟踪帧数置信度。
其中，待处理图像目标的跟踪帧数置信度用于表示待处理图像目标为预设类别的真实目标的稳定性。
可选的，可以按如下第二公式获取待处理图像目标的跟踪帧数置信度。
第二公式为：
其中，在上述第二公式中，ct为待处理图像目标的跟踪帧数置信度，t为第二视频图像的数目。在第二公式中，当第二视频图像的数目t小于或等于8时，待处理图像目标的跟踪帧数置信度ct＝0.2 t/10，当第二视频图像的数目t大于8时，待处理图像目标的跟踪帧数置信度ct＝1.0。
3014：根据第一视频图像获取每个图像目标的位置置信度。
在本步骤中，对于第一视频图像中的任一图像目标，为了便于说明称为待处理图像目标，根据待处理图像目标的第一位置信息获取待处理图像目标与车辆之间的距离，从第一视频图像中获取待处理图像目标对应的图像高度和待处理图像目标对应的目标框的被遮挡比例，目标框包括待处理图像目标对应的图像，根据该距离、该图像高度和该被遮挡比例获取待处理图像目标的位置置信度。
可选的，可以按如下第三公式计算待处理图像目标的位置置信度。
第三公式为：cp＝σ×y/h；
其中，在上述第三公式中，cp为待处理图像目标的位置置信度，h为待处理图像目标对应的图像高度，y为待处理图像目标与车辆之间的距离，σ为待处理图像目标对应的目标框的被遮挡比例。
图像目标的位置置信度取决于图像目标的在第一视频图像中的位置信息与图像目标被遮挡的比例：当图像目标的位置信息越靠近第一视频图像的底端时，图像目标的位置置信度更高；当图像目标被其他目标遮挡的比例越小，图像目标的位置置信度更高。
3015：根据每个图像目标的分类置信度、位置置信度和跟踪帧数置信度中的至少一个，分别获取每个图像目标的置信度。
对于每个图像目标，根据该图像目标的分类置信度、位置置信度和跟踪帧数置信度，按如下第四公式计算在第一视频图像中该图像目标的置信度。
第四公式为：cs＝f(cc,cp,ct)＝wc×cc wp×cp wt×ct；
其中，在上述第四公式中，cs为图像目标的置信度，wc为图像目标的分类置信度的权值系数，wp为图像目标的位置置信度的权值系数，wt为图像目标的跟踪帧数置信度的权值系数，该三个权值系数均为预设数值。
其中，通过车载摄像头检测出的置信度超过第一预设阈值的图像目标为指定类别的真实目标的准确性较高，置信度未超过第一预设阈值的图像目标为指定类别的真实目标的准确性较低。因此在本实施例中，可以将置信度超过第一预设阈值的图像目标确定为检测出的指定类别的真实目标。
步骤302：从车辆的雷达提供的速度距离图像中检测车辆周围的每个雷达目标在雷达坐标系中的位置信息和每个雷达目标的置信度。
雷达具有雷达坐标系，检测出的每个雷达目标的位置信息为雷达坐标系中的位置信息。
可选的，根据检测出的各个雷达目标的置信度，对置信度超过第二预设阈值的雷达目标进行分类，得到该雷达目标对应的真实目标的目标类别，并将该目标类别输出。
可选的，参见图7，本步骤可以通过如下3021至3022的操作来实现，分别为：
3021：通过车辆的雷达检测车辆周围的目标类别为指定类别的每个雷达目标的位置信息、面积和回波能量强度。
雷达可以向车辆周围发送雷达波，该雷达波可以被汽车周围的物体反射形成反射波，雷达可以接收各反射波并获取各反射波的回波能量强度。可以根据各反射波的回波能量强度计算出各反射点的位置，根据各反射点的位置和回波能量强度绘制出一个能量图，该能量图可以为速度距离图像，该能量图中的包括至少一个能量块，每个能量块包括多个位置连续的反射点对应的回波能量强度和位置，每个能量块为一个目标。
基于每个能量块可以确定每个能量块对应的目标的目标类别和面积。将目标类别为指定类别的目标确定为雷达目标，从雷达目标的能量块中找出回波能量强度极值点，将该极值点的位置确定为雷达目标在雷达坐标系中的位置信息。可以将雷达目标的能量块中的各回波能量强度的平均值作为雷达目标的回波能量强度，或者，对雷达目标的能量块中的各回波能量强度进行排序，选择排在中间位置的回波能量强度作为雷达目标的回波能量强度。
通过雷达检测出的雷达目标的面积为雷达目标的实际面积。
3022：根据每个雷达目标的位置信息和回波能量强度，分别获取每个雷达目标的置信度。
在本步骤中，获取雷达能够探测的最远距离和雷达的最大回波能量强度，对于每个雷达目标，根据该雷达目标的位置信息计算该雷达目标与车辆之间的距离，根据该最远距离、该最大回波能量强度、计算的距离和该雷达目标的回波能量强度，按如下第五公式计算该雷达目标的置信度。
第五公式为：c＝a×d/dmax b×p/pmax；
其中，在第五公式中，c为雷达目标的置信度，a为雷达目标位置的权值系数，a可以大于0且小于1，d为计算的距离，dmax为该最远距离，b为雷达目标回波能量强度的权值系数，b可以大于0且小于1，p为雷达目标的回波能量强度，pmax为该最大回波能量强度。
其中，通过雷达检测出的置信度超过第二预设阈值的雷达目标为指定类别的真实目标的准确性较高，置信度未超过第二预设阈值的雷达目标为指定类别的真实目标的准确性较低。因此在本实施例中，可以将置信度超过第二预设阈值的雷达目标确定为检测出的指定类别的真实目标。
其中，上述步骤301和步骤302的之间执行顺序没有先后，可以先执行步骤301再执行步骤302，也可以先执行步骤301再执行步骤301，也可以同时执行步骤301和步骤302。
步骤303：根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，第一透视矩阵用于表示图像坐标系与预设道路坐标系之间的转换关系。第一预设阈值和第二预设阈值可以相同也可以不同。
可选的，在执行本步骤之前，从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，任意一个关联目标对包括满足预设关联条件的雷达目标和图像目标，n为大于或等于1的正整数。
参见图8，确定n个关联目标对的过程可以包括如下3031至3033的操作，该3031至3033的操作分别为：
3031：根据第一图像目标的第一位置信息和存储的第二透视矩阵，将第一图像目标从图像坐标系映射至道路坐标系，得到第一图像目标在道路坐标系中对应的第三位置信息。
其中，第一图像目标为置信度超过第一预设阈值的图像目标，第一图像目标的第一位置信息为第一图像目标在图像坐标系中的位置信息。
车载终端本地存储有在最近上一次获取的第二透视矩阵，第二透视矩阵用于反映车载摄像头的图像坐标系和预设道路坐标系之间的转换关系。
道路坐标系是不同于车载摄像头的图像坐标系和雷达的雷达坐标系以外的另一坐标系，道路坐标系可以车型中的某一点的位置为坐标原点，以车辆前进方向为横轴的方向，纵轴垂直车辆前进方向。
可选的，可以将车辆的前保险杠的中心点位置为道路坐标系的坐标原点。
在本步骤中，将置信度超过第一预设阈值的每个第一图像目标的第一位置信息构成第一矩阵，按如下第六公式得到第二矩阵，第二矩阵中包括置信度超过第一预设阈值的每个第一图像目标在道路坐标系中的第三位置信息。
第六公式为：a1*b1＝c1；其中，a1为第一矩阵，b1为第二透视矩阵，c1为第二矩阵。
可选的，还可以通过第二透视矩阵，转换置信度超过预设阈值的每个第一图像目标的目标面积，得到每个第一图像目标在道路坐标系中的投影面积，每个第一图像目标在道路坐标系中的投影面积为实际面积。
3032：根据第一雷达目标的第二位置信息和存储的第三透视矩阵，将第一雷达目标从雷达坐标系映射至道路坐标系，得到第一雷达目标在道路坐标系中对应的第四位置信息。
其中，第一雷达目标为置信度超过第二预设阈值的雷达目标，第二位置信息为第一雷达目标在雷达坐标系中的位置信息。
在本步骤中，将置信度超过第二预设阈值的每个第一雷达目标的第二位置信息构成第三矩阵，按如下第七公式得到第四矩阵，第四矩阵中包括置信度超过第二预设阈值的每个第二雷达目标在道路坐标系中的第四位置信息。
第七公式为：a2*b2＝c2；其中，a2为第三矩阵，b2为第三透视矩阵，c2为第四矩阵。
其中，置信度超过第二预设阈值的每个雷达目标的面积为雷达目标的实际面积，等于每个第一雷达目标在道路坐标系中的投影面积，所以不需要通过第三透视矩阵转换每个第一雷达目标的面积。
3033：根据各个第一图像目标的第三位置信息和投影面积以及各个第一雷达目标的第四位置信息和投影面积，对各个第一图像目标与各个第一雷达目标进行位置关联，得到n个关联目标对。
可选的，可以通过如下第一和第二两步骤确定n个关联目标对，分别为：
第一步：根据第一图像目标的第三位置信息和投影面积以及每个雷达目标的第四位置信息和投影面积建立代价矩阵，每个第一图像目标对应代价矩阵中的一行，每个第一雷达目标对应代价矩阵的一列，该第一图像目标对应的一行包括该第一图像目标分别与每个第一雷达目标之间的代价系数，第一图像目标与第一雷达目标的代价系数表示第一图像目标和第一雷达目标为同一目标的概率。
例如，假设置信度超过第一预设阈值的第一图像目标为n个，置信度超过第二预设阈值的第一雷达目标为x个，这样建立的代价矩阵包括n行x列。对于第i个第一图像目标和第j个第一雷达目标，i＝1、2、……、n，j＝1、2、……、x，根据第i个第一图像目标在道路坐标系中的第三位置信息和投影面积
然后根据第i个第一图像目标在道路坐标系中的投影面积
第八公式为：
第二步：从第一图像目标对应的一行代价系数中选择最大代价系数，将第一图像目标和最大代价系数对应的第一雷达目标组成一对关联目标对。
可选的，在得到关联目标对后，根据该n个关联目标对中的雷达目标和图像目标的位置信息，确定第一透视矩阵。
可选的，针对该n个关联目标对中的任一个关联目标对，根据该关联目标对中的第一雷达目标的位置信息，修正该关联目标对中的第一图像目标的位置信息；根据该n个关联目标对中的各个所述第一图像目标修正后的位置信息，修正第二透视矩阵，得到第一透视矩阵。
雷达检测到的第一雷达目标为指定类别的真实目标的可能性高于车载摄像头检测到的第一图像目标为指定类别的真实目标的可能性。因此在本步骤中，对于每个关联目标对，该关联目标对中包括的第一图像目标和第一雷达目标为同一目标，可以将该第一图像目标的第三位置信息修正为该第一雷达目标的第四位置信息，这样得到每个第一图像目标的第四位置信息。将每个第一图像目标的第四位置信息构建第五矩阵，根据第五矩阵和由每个第一图像目标的第一位置信息构成的第一矩阵按如下第九公式获取第一透视矩阵。
第九公式为：a1*b3＝c3；其中，c3为第五矩阵，b3为第一透视矩阵。
由于置信度超过第一预设阈值的第一图像目标和置信度超过第二预设阈值的第一雷达目标都为检测出来的指定类别的真实目标。因此在本步骤中根据置信度超过第一预设阈值的第一图像目标的位置信息和置信度超过第二预设阈值的第二雷达目标的位置信息，获取第一透视矩阵，可以使第一透视矩阵反映车辆在当前路况下行驶车载摄像头的图像坐标系和道路坐标系之间的转换关系。
可选的，还可以将车载设备保存的第二透视矩阵更新为第一透视矩阵。
步骤304：通过第一透视矩阵，从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中检测类别为指定类别的真实目标。
可选的，参见图9和图10，本步骤可以3041至3043的操作来实现，分别为：
3041：通过第一透视矩阵，将置信度未超过第一预设阈值的每个第二图像目标的位置信息映射至道路坐标系中，得到每个第二图像目标在道路坐标系中对应的位置信息。
在本步骤中，将置信度未超过第一预设阈值的每个第二图像目标的位置信息构成第六矩阵，按如下第十公式得到第七矩阵，第七矩阵中包括置信度未超过第一预设阈值的每个第二图像目标在道路坐标系中的位置信息。
第十公式为：a5*b3＝c4；其中，a5为第六矩阵，b3为第一透视矩阵，c4为第七矩阵。
可选的，还可以通过第一透视矩阵，转换置信度未超过第一预设阈值的每第二个图像目标的目标面积，得到每个第二图像目标在道路坐标系中的投影面积，每个第二图像目标在道路坐标系中的投影面积为实际面积。
3042：通过第三透视矩阵将置信度未超过第二预设阈值的每个第二雷达目标映射至道路坐标系中，得到每个第二雷达目标在道路坐标系中对应的位置信息。
在本步骤中，将置信度未超过第二预设阈值的每个第二雷达目标的位置信息构成第八矩阵，按如下第十一公式得到第九矩阵，第九矩阵中包括置信度未超过第二预设阈值的每个第二雷达目标在道路坐标系中的位置信息。
第十一公式为：a6*b2＝c5；其中，a6为第八矩阵，b2为第三透视矩阵，c2为第九矩阵。
其中，置信度未超过第二预设阈值的每个第二雷达目标的面积为雷达目标的实际面积，等于每个第二雷达目标在道路坐标系中的投影面积，所以不需要通过第一透视矩阵转换每个第二雷达目标的面积。
3043：根据置信度未超过第一预设阈值的每个第二图像目标在道路坐标系的位置信息和投影面积以及置信度未超过第二预设阈值的每个第二雷达目标在道路坐标系的位置信息和投影面积，确定m个特征融合目标对，雷达目标对包括为同一目标的图像目标和雷达目标。
可选的，可以通过如下第一和第二两步骤确定m个特征融合目标对，分别为：
第一步：根据置信度未超过第一预设阈值的每个第二图像目标在道路坐标系的位置信息和投影面积以及置信度未超过第二预设阈值的每个第二雷达目标在道路坐标系的位置信息和投影面积建立第二代价矩阵，置信度未超过第一预设阈值的每个第二图像目标对应第二代价矩阵中的一行，置信度未超过第二预设阈值的每个第二雷达目标对应第二代价矩阵的一列，该第二图像目标对应的一行包括该图像目标分别与置信度未超过预设阈值的每个雷达目标之间的第二代价系数，该第二图像目标与该第二雷达目标的第二代价系数表示置信度未超过第一预设阈值的第二图像目标和置信度未超过第二预设阈值的第二雷达目标为同一目标的概率。
例如，假设置信度未超过第一预设阈值的第二图像目标为m个，置信度超过第二预设阈值的第二雷达目标为y个，这样建立的代价矩阵包括m行y列。对于第p个第二图像目标和第q个第二雷达目标，p＝1、2、……、m，q＝1、2、……、y，根据第p个第二图像目标在道路坐标系中的位置信息和投影面积spc以及第q个第二雷达目标在道路坐标系中的位置信息和投影面积sqr，计算第p个第二图像目标和第q个第二雷达目标之间的投影重叠面积spq。
然后根据第p个第二图像目标在道路坐标系中的投影面积spc、第q个第二雷达目标在道路坐标系中的投影面积sqr以及第p个第二图像目标和第q个第二雷达目标之间的投影重叠面积spq，按如下第十二公式计算第p个第二图像目标与第q个第二雷达目标之间的代价系数dpq。将第p个第二图像目标与第q个第二雷达目标之间的代价系数dpq作为代价矩阵的第p行第q列的元素。
第十二公式为：dpq＝spq/(spc sqr－spq)。
第二步：从第二图像目标对应的一行第二代价系数中选择最大第二代价系数，将该第二图像目标和最大第二代价系数对应的第二雷达目标组成特征融合目标对。
3044：通过第二卷积神经网络从m个特征融合目标对中检测出目标类别为指定类别的真实目标。
车载设备包括第二卷积神经网络，事先在第二卷积神经网络中设置有第二类别集合，第二类别集合的类别可以包括指定类别、非指定类别和其他类别。例如假设指定类别为车辆或机动车、非预设类别可以为非机动车。
对于每个特征融合目标对，该特征融合目标对包括第二图像目标和第二雷达目标，车载设备可以将该第二图像目标在第一视频图像中对应的图像和该第二雷达目标对应的能量块输入到第二卷积神经网络，如图10所示，通过第二卷积神经网络从第二图像目标的图像提取的图像特征和第二雷达目标的能量块中提取能量特征，将图像特征和能量特征进行拼接，按照拼接后得到特征序列，通过第二卷积神经网络还可根据该特征序列，进行多层卷积计算和全连接层计算后输出该特征融合目标对属于第二类别集合中的每个类别的概率；选择概率最大的类别作为该特征融合目标对的目标类别，在该特征融合目标对的目标类别为指定类别时，将该特征融合目标对中的该第二雷达目标作为检测出类别为指定类别的真实目标。当然，第二卷积网络也可以由多个子网络构成，多个子网络分别完成：从第二图像目标的图像提取的图像特征；从第二雷达目标的能量块中提取回波能量特征；将图像特征和能量特征进行拼接，拼接后得到特征序列；根据该特征序列，进行多层卷积计算和全连接层计算后输出该特征融合目标对属于第二类别集合中的每个类别的概率。
在该特征融合目标对的类别为指定类别时，表明该特征融合目标对中的第二图像目标和第二雷达目标的目标类别均为指定类别，也就是说车载摄像头和雷达同时检测出同一个目标为指定类别的真实目标，又由于雷达检测的精度高于车载摄像头检测的精度，所以将该特征融合目标对中的该第二雷达目标作为检测出目标类别为指定类别的真实目标。
可选的，第二卷积神经网络是事先通过样本集合训练得到的，样本集合包括预设的多个特征融合目标对和每个特征融合目标对应的目标类别。在训练时，将该样本集合输入到第二卷积神经网络进行训练。
本申请实施例的有益效果为：通过车载摄像头检测出车辆周围的图像目标和图像目标的置信度，通过雷达检测出车辆周围的雷达目标和雷达目标的置信度；由于置信度超过第一预设阈值的第一图像目标和置信度超过第二预设阈值的第一雷达目标为指定类别的真实目标，所以根据置信度超过第一预设阈值的第一图像目标和置信度超过第二预设阈值的第一雷达目标获取的第一透视矩阵能够反映当前路况下车辆的车载摄像头的图像坐标系和道路坐标系之间的转换关系，这样根据第一透视矩阵从置信度未超过第一预设阈值的第二图像目标和置信度未超过第二预设阈值的第二雷达目标中检测出的目标类别为指定类别的真实目标的精度较高，从而提高目标检测的精度。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
参见图11，本申请实施例提供了一种车载摄像头和车载雷达联动的目标检测装置400，装置400包括：
第一检测模块401，用于从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；
第二检测模块402，用于从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；
获取模块403，用于根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；
第三检测模块404，用于通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
可选的，所述装置400还包括：
分类模块，用于根据检测出的各个所述图像目标的置信度，对置信度超过所述第一预设阈值的图像目标进行分类，得到该图像目标对应的真实目标的目标类别，并将该目标类别输出，以及，根据检测出的各个所述雷达目标的置信度，对置信度超过所述第二预设阈值的雷达目标进行分类，得到该雷达目标对应的真实目标的目标类别，并将该目标类别输出。
可选的，所述装置400还包括：
确定模块，用于从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，任意一个所述关联目标对包括满足预设关联条件的雷达目标和图像目标，所述n为大于或等于1的正整数；
所述获取模块，用于根据所述n个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵。
可选的，所述确定模块，用于：
根据第一图像目标的第一位置信息和存储的第二透视矩阵，将所述第一图像目标从所述图像坐标系映射至所述道路坐标系，得到所述第一图像目标在所述道路坐标系中对应的第三位置信息；其中所述第一图像目标为置信度超过第一预设阈值的图像目标，所述第一位置信息为所述第一图像目标在所述图像坐标系中的位置信息；
根据第一雷达目标的第二位置信息和存储的第三透视矩阵，将所述第一雷达目标从所述雷达坐标系映射至所述道路坐标系，得到所述第一雷达目标在所述道路坐标系中对应的第四位置信息；其中所述第一雷达目标为置信度超过第二预设阈值的雷达目标，所述第二位置信息为所述第一雷达目标在所述雷达坐标系中的位置信息；
根据各个所述第一图像目标的所述第三位置信息和各个所述第一雷达目标的所述第四位置信息，对各个所述第一图像目标与各个所述第一雷达目标进行位置关联，得到所述n个关联目标对。
可选的，所述确定模块，用于：
根据所述第一图像目标的所述第三位置信息和所述第一雷达目标的所述第四位置信息，确定所述第一图像目标在所述道路坐标系中的投影面积，所述第一雷达目标在所述道路坐标系中的投影面积，以及所述第一图像目标和所述第一雷达目标在所述道路坐标系中的重叠投影面积；
根据所述第一图像目标在所述道路坐标系中的投影面积，所述第一雷达目标在所述道路坐标系中的投影面积，以及所述重叠投影面积，确定各个所述第一图像目标与各个所述第二雷达目标之间的关联代价；
从所述第一图像目标和所述第二图像目标中确定关联代价最小的一个所述第一雷达目标和一个所述第一图像目标为关联目标对，进而得到所述n个关联目标对。
可选的，所述获取模块403，用于：
针对所述n个关联目标对中的任一个关联目标对，根据所述关联目标对中的所述第一雷达目标的位置信息，修正所述关联目标对中的所述第一图像目标的位置信息；
根据所述n个关联目标对中的各个所述第一图像目标修正后的位置信息，修正所述第二透视矩阵，得到所述第一透视矩阵。
可选的，所述第三检测模块404，用于：
从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中确定m个特征融合目标对，任意一个所述特征融合目标对包括满足预设关联条件的一个雷达目标和一个图像目标，所述m为大于或等于1的正整数；
针对任一所述特征融合目标对，将所述特征融合目标对中的所述雷达目标的回波能量特征和所述图像目标的图像特征分别进行卷积计算后进行拼接，得到所述特征融合目标对所对应的融合特征图；
将所述融合特征图进行卷积和全连接计算后输入到分类网络进行目标分类，得到所述融合特征图对应的目标类别。
可选的，所述第三检测模块404，用于：
通过所述第一透视矩阵，将第二图像目标从所述图像坐标系映射至所述道路坐标系中，得到所述第二图像目标在所述道路坐标系中对应的位置信息，以及，通过预先存储的第三透视矩阵，将第二雷达目标从所述雷达坐标系映射至所述道路坐标系中，得到所述第二雷达目标在所述道路坐标系中对应的位置信息，所述第二图像目标为置信度未超过第一预设阈值的图像目标，所述第二雷达目标为置信度未超过第二预设阈值的雷达目标；
根据各个所述第二图像目标在所述道路坐标系中对应的位置信息和各个所述第二雷达目标在所述道路坐标系中对应的位置信息，对各个所述第二图像目标和各个所述第二雷达目标进行位置关联，得到所述m个特征融合目标对。
可选的，所述第一检测模块401，用于：
根据所述车载摄像头提供的当前帧视频图像，以及与所述当前帧视频图像接近的多帧历史帧视频图像，获取所述任意一个所述图像目标的分类置信度、跟踪帧数置信度和位置置信度；
根据所述分类置信度、位置置信度和跟踪帧数置信度中的一个或多个，确定所述图像目标的置信度；
所述第二检测模块402，用于：
根据所述当前帧速度距离图像中任一个所述雷达目标的回波能量强度、距离所述车辆的距离，以及所述雷达目标在多帧历史帧速度距离图像中的持续时间，确定所述雷达目标的置信度。
本申请实施例的有益效果为：第一检测模块通过车载摄像头检测出车辆周围的图像目标和图像目标的置信度，第二检测模块通过雷达检测出车辆周围的雷达目标和每个雷达目标的置信度；由于置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标为指定类别的真实目标，所以获取模块根据置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标为指定类别的真实目标获取的第一透视矩阵能够反映当前路况下车辆的车载摄像头的图像坐标系和道路坐标系的转换关系，这样第三检测模块根据第一透视矩阵从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中检测出的目标类别为指定类别的真实目标的精度较高，从而提高目标检测的精度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图12示出了本申请一个示例性实施例提供的终端500的结构框图。该终端500可以是车载终端，终端500还可能被称为用户设备、便携式终端等其他名称。
通常，终端500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用dsp(digitalsignalprocessing，数字信号处理)、fpga(field－programmablegatearray，现场可编程门阵列)、pla(programmablelogicarray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的基于摄像头和雷达的车辆检测方法。
在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射rf(radiofrequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括nfc(nearfieldcommunication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示ui(userinterface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用lcd(liquidcrystaldisplay，液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置，以实现导航或lbs(locationbasedservice，基于位置的服务)。定位组件508可以是基于美国的gps(globalpositioningsystem，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3d动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商logo时，指纹传感器514可以与物理按键或厂商logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
参见图13，本申请实施例提供了一种目标检测系统600，包括设置在车辆上的雷达601、设置在所述车辆上的车载摄像头602，以及与所述雷达601和所述车载摄像头602通信的检测装置603，其特征在于，
所述车载摄像头602，用于对所述车辆周围进行拍摄，得到当前帧视频图像，并向所述检测装置提供拍摄的当前帧视频图像；
所述雷达601，用于根据发射的雷达信号和接收的回波信号生成当前帧速度距离图像，并向所述检测装置提供所述当前帧速度距离图像；
所述检测装置603，用于从所述车载摄像头602提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；从所述雷达601提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
可选的，所述车载摄像头602设置在所述车辆的前后方和/或左右两侧，所述雷达601设置在所述车辆的前后方。
可选的，所述雷达601为毫米波雷达。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
1.一种车载摄像头和车载雷达联动的目标检测方法，其特征在于，所述方法包括：
从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；
从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；
根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；
通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据检测出的各个所述图像目标的置信度，对置信度超过所述第一预设阈值的图像目标进行分类，得到该图像目标对应的真实目标的目标类别，并将该目标类别输出，以及
根据检测出的各个所述雷达目标的置信度，对置信度超过所述第二预设阈值的雷达目标进行分类，得到该雷达目标对应的真实目标的目标类别，并将该目标类别输出。
3.如权利要求1所述的方法，其特征在于，在所述根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵之前，所述方法还包括：
从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，任意一个所述关联目标对包括满足预设关联条件的雷达目标和图像目标，所述n为大于或等于1的正整数；
所述根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，包括：
根据所述n个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵。
4.如权利要求3所述的方法，其特征在于，所述从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，包括：
根据第一图像目标的第一位置信息和存储的第二透视矩阵，将所述第一图像目标从所述图像坐标系映射至所述道路坐标系，得到所述第一图像目标在所述道路坐标系中对应的第三位置信息；其中所述第一图像目标为置信度超过第一预设阈值的图像目标，所述第一位置信息为所述第一图像目标在所述图像坐标系中的位置信息；
根据第一雷达目标的第二位置信息和存储的第三透视矩阵，将所述第一雷达目标从所述雷达坐标系映射至所述道路坐标系，得到所述第一雷达目标在所述道路坐标系中对应的第四位置信息；其中所述第一雷达目标为置信度超过第二预设阈值的雷达目标，所述第二位置信息为所述第一雷达目标在所述雷达坐标系中的位置信息；
根据各个所述第一图像目标的所述第三位置信息和各个所述第一雷达目标的所述第四位置信息，对各个所述第一图像目标与各个所述第一雷达目标进行位置关联，得到所述n个关联目标对。
5.如权利要求4所述的方法，其特征在于，所述对各个所述第一图像目标与各个所述第二雷达目标进行位置关联，得到所述n个关联目标对，包括：
根据所述第一图像目标的所述第三位置信息和所述第一雷达目标的所述第四位置信息，确定所述第一图像目标在所述道路坐标系中的投影面积，所述第一雷达目标在所述道路坐标系中的投影面积，以及所述第一图像目标和所述第一雷达目标在所述道路坐标系中的重叠投影面积；
根据所述第一图像目标在所述道路坐标系中的投影面积，所述第一雷达目标在所述道路坐标系中的投影面积，以及所述重叠投影面积，确定各个所述第一图像目标与各个所述第二雷达目标之间的关联代价；
从所述第一图像目标和所述第二图像目标中确定关联代价最小的一个所述第一雷达目标和一个所述第一图像目标为关联目标对，进而得到所述n个关联目标对。
6.如权利要求4所述的方法，其特征在于，所述根据所述n个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵，包括：
针对所述n个关联目标对中的任一个关联目标对，根据所述关联目标对中的所述第一雷达目标的位置信息，修正所述关联目标对中的所述第一图像目标的位置信息；
根据所述n个关联目标对中的各个所述第一图像目标修正后的位置信息，修正所述第二透视矩阵，得到所述第一透视矩阵。
7.如权利要求1至6中任一项所述的方法，其特征在于，所述通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别，包括：
从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中确定m个特征融合目标对，任意一个所述特征融合目标对包括满足预设关联条件的一个雷达目标和一个图像目标，所述m为大于或等于1的正整数；
针对任一所述特征融合目标对，将所述特征融合目标对中的所述雷达目标的回波能量特征和所述图像目标的图像特征分别进行卷积计算后进行拼接，得到所述特征融合目标对所对应的融合特征图；
将所述融合特征图进行卷积和全连接计算后输入到分类网络进行目标分类，得到所述融合特征图对应的目标类别。
8.如权利要求7所述的方法，其特征在于，所述从第二图像目标和第二雷达目标中确定m个特征融合目标对，包括：
通过所述第一透视矩阵，将第二图像目标从所述图像坐标系映射至所述道路坐标系中，得到所述第二图像目标在所述道路坐标系中对应的位置信息，以及，通过预先存储的第三透视矩阵，将第二雷达目标从所述雷达坐标系映射至所述道路坐标系中，得到所述第二雷达目标在所述道路坐标系中对应的位置信息，所述第二图像目标为置信度未超过第一预设阈值的图像目标，所述第二雷达目标为置信度未超过第二预设阈值的雷达目标；
根据各个所述第二图像目标在所述道路坐标系中对应的位置信息和各个所述第二雷达目标在所述道路坐标系中对应的位置信息，对各个所述第二图像目标和各个所述第二雷达目标进行位置关联，得到所述m个特征融合目标对。
9.如权利要求1所述的方法，其特征在于，所述从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标的置信度，包括：
根据所述车载摄像头提供的当前帧视频图像，以及与所述当前帧视频图像接近的多帧历史帧视频图像，获取所述任意一个所述图像目标的分类置信度、跟踪帧数置信度和位置置信度；
根据所述分类置信度、位置置信度和跟踪帧数置信度中的一个或多个，确定所述图像目标的置信度；
所述从所述雷达采集的速度距离图像中检测出所述车辆周围的各个雷达目标的置信度，包括：
根据所述当前帧速度距离图像中任一个所述雷达目标的回波能量强度、距离所述车辆的距离，以及所述雷达目标在多帧历史帧速度距离图像中的持续时间，确定所述雷达目标的置信度。
10.一种车载摄像头和车载雷达联动的目标检测装置，其特征在于，所述装置包括：
第一检测模块，用于从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；
第二检测模块，用于从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；
获取模块，用于根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；
第三检测模块，用于通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
11.如权利要求10所述的装置，其特征在于，所述装置还包括：
分类模块，用于根据检测出的各个所述图像目标的置信度，对置信度超过所述第一预设阈值的图像目标进行分类，得到该图像目标对应的真实目标的目标类别，并将该目标类别输出，以及，根据检测出的各个所述雷达目标的置信度，对置信度超过所述第二预设阈值的雷达目标进行分类，得到该雷达目标对应的真实目标的目标类别，并将该目标类别输出。
12.如权利要求10所述的装置，其特征在于，所述装置还包括：
确定模块，用于从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定n个关联目标对，任意一个所述关联目标对包括满足预设关联条件的雷达目标和图像目标，所述n为大于或等于1的正整数；
所述获取模块，用于根据所述n个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵。
13.如权利要求12所述的装置，其特征在于，所述确定模块，用于：
根据第一图像目标的第一位置信息和存储的第二透视矩阵，将所述第一图像目标从所述图像坐标系映射至所述道路坐标系，得到所述第一图像目标在所述道路坐标系中对应的第三位置信息；其中所述第一图像目标为置信度超过第一预设阈值的图像目标，所述第一位置信息为所述第一图像目标在所述图像坐标系中的位置信息；
根据第一雷达目标的第二位置信息和存储的第三透视矩阵，将所述第一雷达目标从所述雷达坐标系映射至所述道路坐标系，得到所述第一雷达目标在所述道路坐标系中对应的第四位置信息；其中所述第一雷达目标为置信度超过第二预设阈值的雷达目标，所述第二位置信息为所述第一雷达目标在所述雷达坐标系中的位置信息；
根据各个所述第一图像目标的所述第三位置信息和各个所述第一雷达目标的所述第四位置信息，对各个所述第一图像目标与各个所述第一雷达目标进行位置关联，得到所述n个关联目标对。
14.如权利要求13所述的装置，其特征在于，所述获取模块，用于：
针对所述n个关联目标对中的任一个关联目标对，根据所述关联目标对中的所述第一雷达目标的位置信息，修正所述关联目标对中的所述第一图像目标的位置信息；
根据所述n个关联目标对中的各个所述第一图像目标修正后的位置信息，修正所述第二透视矩阵，得到所述第一透视矩阵。
15.如权利要求10至14中任一项所述的装置，其特征在于，所述第三检测模块，用于：
从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中确定m个特征融合目标对，任意一个所述特征融合目标对包括满足预设关联条件的一个雷达目标和一个图像目标，所述m为大于或等于1的正整数；
针对任一所述特征融合目标对，将所述特征融合目标对中的所述雷达目标的回波能量特征和所述图像目标的图像特征分别进行卷积计算后进行拼接，得到所述特征融合目标对所对应的融合特征图；
将所述融合特征图进行卷积和全连接计算后输入到分类网络进行目标分类，得到所述融合特征图对应的目标类别。
16.如权利要求15所述的装置，其特征在于，所述第三检测模块，用于：
通过所述第一透视矩阵，将第二图像目标从所述图像坐标系映射至所述道路坐标系中，得到所述第二图像目标在所述道路坐标系中对应的位置信息，以及，通过预先存储的第三透视矩阵，将第二雷达目标从所述雷达坐标系映射至所述道路坐标系中，得到所述第二雷达目标在所述道路坐标系中对应的位置信息，所述第二图像目标为置信度未超过第一预设阈值的图像目标，所述第二雷达目标为置信度未超过第二预设阈值的雷达目标；
根据各个所述第二图像目标在所述道路坐标系中对应的位置信息和各个所述第二雷达目标在所述道路坐标系中对应的位置信息，对各个所述第二图像目标和各个所述第二雷达目标进行位置关联，得到所述m个特征融合目标对。
17.如权利要求10所述的装置，其特征在于，所述第一检测模块，用于：
根据所述车载摄像头提供的当前帧视频图像，以及与所述当前帧视频图像接近的多帧历史帧视频图像，获取所述任意一个所述图像目标的分类置信度、跟踪帧数置信度和位置置信度；
根据所述分类置信度、位置置信度和跟踪帧数置信度中的一个或多个，确定所述图像目标的置信度；
所述第二检测模块，用于：
根据所述当前帧速度距离图像中任一个所述雷达目标的回波能量强度、距离所述车辆的距离，以及所述雷达目标在多帧历史帧速度距离图像中的持续时间，确定所述雷达目标的置信度。
18.一种目标检测系统，包括设置在车辆上的雷达、设置在所述车辆上的车载摄像头，以及与所述雷达和所述车载摄像头通信的检测装置，其特征在于，
所述车载摄像头，用于对所述车辆周围进行拍摄，得到当前帧视频图像，并向所述检测装置提供拍摄的当前帧视频图像；
所述雷达，用于根据发射的雷达信号和接收的回波信号生成当前帧速度距离图像，并向所述检测装置提供所述当前帧速度距离图像；
所述检测装置，用于从所述车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
19.如权利要求18所述的系统，其特征在于，所述车载摄像头设置在所述车辆的前后方和/或左右两侧，所述雷达设置在所述车辆的前后方。
20.如权利要求18或19所述的系统，其特征在于，所述雷达为毫米波雷达。
技术总结