本申请实施例涉及智能交通技术领域，尤其涉及自动驾驶技术领域，具体涉及一种跨相机的障碍物跟踪方法、装置、设备、系统及介质。
背景技术：
随着通信技术的发展，使得交通运输中的自动驾驶技术、无人驾驶技术有了新的可能。
目前的无人驾驶360度视觉感知系统，一般是在各个相机里各自做跟踪，在相机重叠区域障碍物的跟踪处理准确性不高。
因此，如何设计一个高性能的环视多目标跟踪系统，以提高目标对象跟踪的准确性成为了亟待解决的问题。
技术实现要素：
本申请实施例公开了一种跨相机的障碍物跟踪方法、装置、设备、系统及介质，能够提高目标对象跟踪的准确性。
第一方面，本申请实施例公开了一种跨相机的障碍物跟踪方法，包括：
获取至少两个相机各自所拍摄图像的障碍物跟踪结果，其中，所述障碍物跟踪结果包括对相机所拍摄图像中的至少一个障碍物进行识别和跟踪后的结果，且至少一个跟踪的障碍物设置有局部标识；
在满足各所述相机中的主相机对跨相机障碍物融合的触发条件时，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系；
根据各相机的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合；
获取以所述全局标识进行标记的障碍物跟踪结果。
上述申请中的一个实施例具有如下优点或有益效果：通过工控机获取障碍物跟踪结果，进一步根据障碍物的局部标识与全局标识之间的映射关系，确定障碍物的相似度，并根据相似度最终确定障碍物的跟踪结果，通过多个相机对障碍物的融合处理，能够提高障碍物跟踪的准确性。
另外，根据本申请上述实施例的跨相机的障碍物跟踪方法，还可以具有如下附加的技术特征：
可选的，满足各所述相机中的主相机对跨相机障碍物融合的触发条件包括：
监测到处理完所述主相机当前图像的障碍物识别和跟踪后，获得主相机障碍物跟踪结果时，则确定满足所述触发条件；
其中，所述主相机为设定相机或根据车辆行驶过程中的关注区域确定。
上述申请中的一个实施例具有如下优点或有益效果：设置主相机融合，能够确保主相机中的图像不会丢帧，进一步能够提高障碍物跟踪的准确性。
可选的，根据各相机的障碍物跟踪结果，确定障碍物的相似度之前，还包括：
按照相机的安装位置和/或相机的拍摄区域，确定处于重叠区域的障碍物跟踪结果，将对应的全局标识划分至一个关联集合中；
其中，所述关联集合用于作为确定障碍物相似度的范围。
上述申请中的一个实施例具有如下优点或有益效果：通过将对应的全局标识划分至同一个关联集合中，由于在同一个关联集合中的障碍物为同一个障碍物的可能性增大，能够减少确定是否为同一个障碍物的过程，提升系统的处理效率。
可选的，获取以所述全局标识进行标记的障碍物跟踪结果包括：
获取所述全局标识所映射的一个或多个局部标识所对应的障碍物跟踪结果；
将各所述障碍物跟踪结果进行环视状态处理，以确定所述全局标识所对应障碍物的最终跟踪结果；
其中，所述最终跟踪结果用于传输给车载自动控制系统的驾驶决策模块。
上述申请中的一个实施例具有如下优点或有益效果：通过将对应同一个全局标识的一个或多个局部标识的障碍物跟踪结果进行环视处理，能够确定该全局标识对应的障碍物的最终跟踪结果，以使车载自动控制系统中的驾驶决策模块的决策更为准确。
可选的，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系包括：
如果识别到每个相机当前图像的障碍物跟踪结果在历史图像中已有局部标识，则将当前图像的障碍物跟踪结果关联至已有局部标识对应的全局标识；
如果识别到每个相机当前图像的障碍物跟踪结果在历史图像中没有局部标识，则将新设置的局部标识与新创建的全局标识进行映射。
上述申请中的一个实施例具有如下优点或有益效果：建立局部标识与全局标识的映射关系后，能够使得同一个障碍物对应同一个全局标识，进一步能够提升障碍物的跟踪准确性。
可选的，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系之后，还包括：
对每个全局标识所对应的两个所述障碍物进行关联一致性检测；
若确定为不同的障碍物，则将不同的障碍物的跟踪结果拆分至对应于不同的全局标识。
上述申请中的一个实施例具有如下优点或有益效果：通过对每个全局标识对应的障碍物进行关联一致性检测，能够确保同一个全局标识对应同一个障碍物。
可选的，对每个全局标识所对应的两个所述障碍物进行关联一致性检测包括：
针对每个全局标识所对应的两个所述障碍物，根据障碍物在各相机中的跟踪结果，识别位置一致性、轮廓一致性和体积一致性中的至少一项，以确定关联一致性检测结果。
上述申请中的一个实施例具有如下优点或有益效果：通过多种方式对全局标识所对应的障碍物进行关联一致性检测，以提升关联一致性检测的准确度。
可选的，根据各相机的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合，包括：
根据各相机的障碍物跟踪结果，将不同全局标识所对应的障碍物跟踪结果，两两一组进行位置信息和/或轮廓体积信息的相似度计算，以计算得到相似度矩阵；
根据所述相似度矩阵进行相同障碍物匹配，并根据匹配结果确定归属于相同障碍物的全局标识；
将相同障碍物的全局标识进行合并融合。
上述申请中的一个实施例具有如下优点或有益效果：通过相似度判断是否是同一个障碍物，并将同一个障碍物进行合并融合，能够更加准确地形成一个障碍物的三维图像。
可选的，计算得到相似度矩阵之前，还包括：
将不同全局标识所对应的障碍物跟踪结果进行条件约束过滤，其中，用于约束过滤的条件包括下述至少一项：距离约束、与车辆中心所连射线的朝向角差异约束、以及对极几何约束。
上述申请中的一个实施例具有如下优点或有益效果：通过条件约束过滤后的障碍物跟踪结果，能够提高障碍物识别的效率。
可选的，所述方法的执行主体为工控机，获取至少两个相机各自所拍摄图像的障碍物跟踪结果包括：
获取由车载的至少两个相机分别对车辆周边环境进行拍摄后所采集的图像；
对各所述图像进行障碍物的识别和跟踪，以获取所述障碍物跟踪结果。
上述申请中的一个实施例具有如下优点或有益效果：至少两个相机用于获取图像，工控机获取图像后，对图像进行处理。这种情况下适用于车辆搭载的相机只具备拍摄功能，能够使得相机的成本较低。
可选的，所述方法的执行主体为工控机，获取至少两个相机各自所拍摄图像的障碍物跟踪结果包括：
获取由车载的至少两个相机所传输的障碍物跟踪结果，其中，所述障碍物跟踪结果由相机基于所拍摄图像进行障碍物的识别和跟踪，以及设置局部标识而获得。
上述申请中的一个实施例具有如下优点或有益效果：相机获取图像后，再对图像中的障碍物进行识别和跟踪，此时，相机中配置有芯片，相机能够独立完成障碍物跟踪结果，并将结果传输至工控机。这样设置的好处是：当相机自身的功能能够执行障碍物跟踪结果时，能够降低工控机工作的压力。
第二方面，本申请实施例公开了一种跨相机的障碍物跟踪装置，包括：
跟踪结果获取模块，用于获取至少两个相机各自所拍摄图像的障碍物跟踪结果，其中，所述障碍物跟踪结果包括对相机所拍摄图像中的至少一个障碍物进行识别和跟踪后的结果，且至少一个跟踪的障碍物设置有局部标识；
映射关系建立模块，用于在满足各所述相机中的主相机对跨相机障碍物融合的触发条件时，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系；
全局标识融合模块，用于根据各相机的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合；
跟踪结果获取模块，用于获取以所述全局标识进行标记的障碍物跟踪结果。
第三方面，本申请实施例公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的跨相机的障碍物跟踪方法。
第四方面，本申请实施例公开了一种跨相机的障碍物跟踪系统，包括至少两个车载相机，还包括本申请实施例中所述的电子设备，所述电子设备为工控机。
可选的，所述相机具体用于拍摄车辆周围的图像；
所述工控机具体用于获取由车载的至少两个相机分别对车辆周边环境进行拍摄后所采集的图像，并对各所述图像进行障碍物的识别和跟踪，以获取所述障碍物跟踪结果。
可选的，所述相机具体用于拍摄车辆周围的图像，基于所拍摄图像进行障碍物的识别和跟踪，且所述障碍物设置有所述局部标识；
所述工控机具体用于获取由车载的至少两个相机所传输的障碍物跟踪结果。
第五方面，本申请实施例公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任一实施例所述的跨相机的障碍物跟踪方法。
上述申请中的一个实施例具有如下优点或有益效果：通过工控机获取障碍物跟踪结果，进一步根据障碍物的局部标识与全局标识之间的映射关系，确定障碍物的相似度，并根据相似度最终确定障碍物的跟踪结果，通过多个相机对障碍物的融合处理，能够提高障碍物跟踪的准确性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例提供的一种跨相机的障碍物跟踪方法的流程示意图；
图2是根据本申请第二实施例提供的一种跨相机的障碍物跟踪方法的流程示意图；
图3是根据本申请第二实施例提供的一种障碍物融合过程的框架示意图；
图4是根据本申请第三实施例提供的一种跨相机的障碍物跟踪装置的结构示意图；
图5是用来实现本申请实施例的跨相机的障碍物跟踪方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例适用于无人驾驶系统处理器能力有限，导致大量图像信息来不及处理而被丢失，从而影响整体的跟踪效果的情况下。
第一实施例
图1是根据本申请第一实施例提供的一种跨相机的障碍物跟踪方法的流程示意图，本实施例用于自动驾驶的车辆对相机所拍摄的障碍物进行识别跟踪的情况，该方法可以由跨相机的障碍物跟踪装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于电子设备中，该电子设备可以是车辆中集成的自动驾驶控制设备。如图1所示，本实施例提供的一种跨相机的障碍物跟踪方法可以包括：
s110、获取至少两个相机各自所拍摄图像的障碍物跟踪结果，其中，所述障碍物跟踪结果包括对相机所拍摄图像中的至少一个障碍物进行识别和跟踪后的结果，且至少一个跟踪的障碍物设置有局部标识。
本实施例中的相机是搭载在车辆上的，其中，车辆可以是无人驾驶的车辆，也可以是自动驾驶的车辆。为了使车辆识别各个方向的障碍物，会在车辆的不同位置安装相机，示例性的，可以在车辆的前方、车辆的左侧、车辆的右侧以及车辆的后方安装相机。这些安装在车辆不同位置的相机能够以自身设定的频率进行图像采集。
具体的，障碍物跟踪结果可以是由车辆中搭载的相机得到的，也可以是由车辆中的工控机得到的。
本实施例中，局部标识是指单个相机或者工控机对获取的图像中的障碍物进行区分的标记。如果局部标识是单个相机设置的，则具体过程如下：单个相机在所拍摄的图像中，识别出至少一个障碍物，会给障碍物分配一个对于该相机来说唯一的标识，即局部标识。该相机继续拍摄后续帧图像时，如果该障碍物仍然出现在图像中，则相机的控制程序可以将前后帧图像中出现的障碍物进行匹配，以发现属于同一障碍物的图像，从而可获得属于同一个局部标识的障碍物的不同图像，这可称为障碍物跟踪。示例性的，以local_track_id作为局部标识进行区分命名，具体的能够以不同的id对不同的障碍物进行区分。
可选的，所述方法的执行主体为工控机，获取至少两个相机各自所拍摄图像的障碍物跟踪结果包括：
获取由车载的至少两个相机分别对车辆周边环境进行拍摄后所采集的图像；
对各所述图像进行障碍物的识别和跟踪，以获取所述障碍物跟踪结果。
本实施例中，如果局部标识是工控机设置的，则具体过程如下：单个相机拍摄图像后，将图像发送至工控机，工控机会将该图像中的障碍物分配局部标识，以便障碍物跟踪。
可选的，所述方法的执行主体为工控机，获取至少两个相机各自所拍摄图像的障碍物跟踪结果包括：
获取由车载的至少两个相机所传输的障碍物跟踪结果，其中，所述障碍物跟踪结果由相机基于所拍摄图像进行障碍物的识别和跟踪，以及设置局部标识而获得。
本实施例中，如果是相机对障碍物进行识别和跟踪，则单个相机获取图像后，将当前帧图像中的障碍物识别结果与该相机识别过的历史帧图像中的障碍物进行比对，从而对识别出的障碍物进行跟踪，为其分配一个局部标识。其中，不同位置的相机所做的障碍物识别和跟踪可以是不同步的，具体识别的速度与图像中障碍物的数量、障碍物外形的复杂程度以及处理该障碍物的相机的计算能力有关。
具体的，单个相机在障碍物识别过程中会获得置信度，置信度一般是障碍物识别算法能够自动确定的，主要体现该障碍物识别结果正确的概率。当置信度大于阈值时，则视为有效障碍物。其中，有效障碍物会被单个相机进行跟踪，进一步地，每个相机的有效障碍物的置信度可以是不同的。
s120、在满足各所述相机中的主相机对跨相机障碍物融合的触发条件时，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系。
本实施例中，主相机是车辆中比较重要的、优先级高的相机。例如，该主相机的拍摄范围是对驾驶控制最关键的、或主相机的硬件性能是最高的等。
由主相机来触发障碍物融合，则能够保证该主相机所需融合的障碍物跟踪结果都能够被及时融合处理。而对于非主相机以外的相机，由于不同相机获取图像的频率不同，会出现部分相机中的其中一帧或者几帧图像没有及时被融合处理，所以可能造成丢帧的情况。
障碍物融合是指将不同相机所跟踪的障碍物进行关联，由于不同相机中跟踪的障碍物以局部标识进行标记，而不同相机有可能拍摄到的同一障碍物是标记以不同局部标识的。如果以局部标识的标记将障碍物识别结果推送给后续的自动驾驶控制策略模块，那么就会误将同一个障碍物当做两个障碍物对待，造成驾驶控制的失误。因此，需要将不同相机所跟踪的障碍物关联在一起，再将跟踪结果推送给后续决策模块，才能得到更准确的驾驶控制策略。
在对障碍物进行融合时，主要是对有效障碍物进行融合，其中有效障碍物的识别过程可见前述叙述过程。本实施例中，由主相机触发障碍物融合后，各个相机可以在融合的同时判断是否为有效障碍物，若是有效障碍物则进行跨相机融合，若不是有效障碍物，则对该障碍物进行丢弃处理。
可选的，满足各所述相机中的主相机对跨相机障碍物融合的触发条件包括：
监测到处理完所述主相机当前图像的障碍物识别和跟踪后，获得主相机障碍物跟踪结果时，则确定满足所述触发条件；
其中，所述主相机为设定相机或根据车辆行驶过程中的关注区域确定。
本实施例中，主相机可以是设定的一个相机，示例性的，将车辆前方的相机设定为主相机，默认该车辆前方的路况对于车辆的行驶最为重要。主相机还可以是根据车辆行驶过程中的关注区域进行确定的，具体的，关注区域是指车辆在行驶过程中重点关注的区域，示例性的，车辆在直行道行驶时，该车辆的关注区域是前方行驶的路段，则该车辆的主相机为安装于车辆前方的相机。当该车辆左转弯时，该车辆的关注区域是左侧的路段，则主相机变更为车辆左侧的相机。
本实施例中，障碍物跟踪结果是指对障碍物进行跟踪后得到的数据结果，可包括障碍物图像，以及障碍物轮廓、在图像中位置等各种特征数据。全局标识是在该车辆的控制系统中所使用的唯一标识，能够唯一区分车辆所有相机跟踪到的所有障碍物。示例性的，以global_track_id命名进行区分。在得到障碍物跟踪结果后，将障碍物跟踪结果中的局部标识与全局标识之间建立映射关系。
可选的，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系包括：
如果识别到每个相机当前图像的障碍物跟踪结果在历史图像中已有局部标识，则将当前图像的障碍物跟踪结果关联至已有局部标识对应的全局标识；
如果识别到每个相机当前图像的障碍物跟踪结果在历史图像中没有局部标识，则将新设置的局部标识与新创建的全局标识进行映射。
本实施例中，如果每个相机识别出当前图像中的障碍物在历史图像中有对应的局部标识，则说明该障碍物已经被该相机识别过，因此，将该障碍物的跟踪结果对应至该障碍物对应的全局标识中。
如果每个相机识别出的当前图像中的障碍物在历史图像中没有对应的局部标识，则说明该障碍物是新出现的障碍物，则为该障碍物设置局部标识，并创建新的全局标识进行映射。
s130、根据各相机的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合。
本实施例中，将障碍物跟踪结果中的障碍物两两之间进行相似度的比对，将相似度达到要求的不同局部标识的障碍物视为同一个障碍物，可关联至同一个全局标识。
s140、获取以所述全局标识进行标记的障碍物跟踪结果。
本实施例中，将对应同一个全局标识的障碍物的跟踪结果进行汇总，则处理同一个全局标识标记的障碍物就能够实现跟踪同一个障碍物的目的。其中，障碍物跟踪结果包括障碍物的位置、障碍物的运动轨迹、障碍物运动轨迹的预测值，障碍物的外形等。
上述申请中的一个实施例具有如下优点或有益效果：通过工控机获取障碍物跟踪结果，进一步根据障碍物的局部标识与全局标识之间的映射关系，确定障碍物的相似度，并根据相似度最终确定障碍物的跟踪结果，通过多个相机对障碍物的融合处理，能够提高障碍物跟踪的准确性。本实施例中，主相机对跨相机障碍物融合，能够保证关键障碍物跟踪结果不丢失。
第二实施例
图2是根据本申请第二实施例提供的一种跨相机的障碍物跟踪方法的流程示意图，本实施例用于自动驾驶的车辆对所拍摄图像中障碍物进行识别和跟踪的情况，该方法可以由跨相机的障碍物跟踪装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于电子设备中。
图3是一种障碍物融合过程的框架示意图，图中包括：至少两个相机识别模块301、至少两个相机跟踪模块302、跨相机障碍物融合模块303、关联一致性检测子模块3031、相似度计算子模块3032、条件约束过滤子模块3033、障碍物融合模块304。其中，当相机配置有芯片时，能够独立处理障碍物识别与跟踪时，至少两个相机识别模块301、至少两个相机跟踪模块302配置于相机中，跨相机障碍物融合模块303、关联一致性检测子模块3031、相似度计算子模块3032、条件约束过滤子模块3033和障碍物融合模块304配置于工控机中；当相机没有配置芯片时，相机中没有上述各个模块，只具备拍摄功能。本申请中相机配置的芯片可以集成到相机中，也可以配置在相机的外部与相机连接，用于处理障碍物识别与跟踪的相关功能。其中，障碍物融合模块304输出结果至车载自动控制系统的驾驶决策模块。其中，至少两个相机识别模块301，用于单个相机识别障碍物，至少两个相机跟踪模块302，用于单个相机对识别出的障碍物进行跟踪，将跟踪结果输出至跨相机障碍物融合模块303。跨相机障碍物融合模块303对跟踪结果进行关联一致性检测、相似度计算等处理，并通过障碍物融合模块304对障碍物进行最终的融合处理。
进一步地，图示中的相机0-相机9能够进行热拔插，这样容易更换单个相机模块，对于与之相连的车载自动控制系统的驾驶决策模块而言，则无需关注障碍物跟踪过程的架构模块的变化，能够独立执行行驶策略。
具体的，如图2所示，本实施例提供的一种跨相机的障碍物跟踪方法可以包括：
s210、获取至少两个相机各自所拍摄图像的障碍物跟踪结果，其中，所述障碍物跟踪结果包括对相机所拍摄图像中的至少一个障碍物进行识别和跟踪后的结果，且至少一个跟踪的障碍物设置有局部标识。
s220、在满足各所述相机中的主相机对跨相机障碍物融合的触发条件时，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系。
s230、对每个全局标识所对应的两个所述障碍物进行关联一致性检测；若确定为不同的障碍物，则将不同的障碍物的跟踪结果拆分至对应于不同的全局标识。
本实施例中，关联一致性检测是指检测对应同一个全局标识的两个或者多个障碍物是否为同一个障碍物，通过对对应同一个全局标识的两个障碍物之间进行比对，若是相同，则说明比对的两个障碍物是同一个障碍物，若是不同，则说明比对的两个障碍物是不同的障碍物，则把该全局标识中被认定是不同障碍物的障碍物的跟踪结果拆分至不同的全局标识中。
可选的，对每个全局标识所对应的两个所述障碍物进行关联一致性检测包括：针对每个全局标识所对应的两个所述障碍物，根据障碍物在各相机中的跟踪结果，识别位置一致性、轮廓一致性和体积一致性中的至少一项，以确定关联一致性检测结果。
本实施例中，位置一致性是指每个相机对于障碍物均有障碍物跟踪结果，即每个相机能够获知障碍物的位置，如果已经连续多帧图像出现障碍物，还能够通过多帧图像判断该障碍物的运动方向以及运动速度，如果运动方向和运动速度偏差很大，则说明是不同的障碍物。
具体的，对于两个障碍物在不同的相机中的位置是否是一致来判断是否是同一个障碍物，示例性的，将a障碍物和b障碍物之间进行关联一致性检测，a障碍物在前方相机中的左侧位置，b障碍物在左侧相机中的右侧位置，则可以判断a障碍物和b障碍物可能是同一个障碍物。若a障碍物在前方相机中的左侧位置，b障碍物在右侧相机中的右侧位置，则说明a障碍物和b障碍物是不同的障碍物。进一步地，当a障碍物和b障碍物的轮廓一致时，则判断a障碍物和b障碍物是同一个障碍物，若a障碍物的轮廓是圆形，b障碍物的轮廓是矩形时，则说明a障碍物和b障碍物是不同的障碍物。
在对两个障碍物进行关联一致性检测时，还可以通过障碍物的体积进行确定。具体的，障碍物在图像中可标记出最小外接矩形框，即2d框，通过2d框高度比进行检测，同一个障碍物在两个相机内成像的高度比约等于其焦距比，但是如果对应的高度比值相差很大，则说明进行关联一致性检测的两个障碍物并不是同一个障碍物。
本实施例中通过位置一致性、轮廓一致性或者体积一致性对两个障碍物进行关联一致性检测，也可以将上述三种方式进行结合对两个障碍物进行关联一致性检测。
s240、按照相机的安装位置和/或相机的拍摄区域，确定处于重叠区域的障碍物跟踪结果，将对应的全局标识划分至一个关联集合中。
本实施例中，所述关联集合用于作为确定障碍物相似度的范围。示例性的，车辆前方的相机和车辆前方左侧的相机的拍摄区域会有重叠，将上述重叠区域的障碍物跟踪结果划分至一个关联集合中，这是因为车辆前方的相机和车辆前方左侧相机重叠区域的障碍物为同一个障碍物的可能性比较大，将它们划分至同一个关联集合中，再对关联集合中的障碍物进行相似度比对，这种方式能够减少障碍物比对的次数。
具体实现时，可以根据相机在车辆上的安装位置，预设将一些相机所拍摄的障碍物划为一个关联集合。每个相机所拍摄的障碍物可划入多个不同的关联集合中。可选，还可以结合相机的安装位置和拍摄区域，确定发生重叠的区域，将出现在重叠区域中的障碍物跟踪结果划分至一个关联集合中。
s250、根据各相机所处理的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合。
可选的，根据各相机的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合，包括：
根据各相机的障碍物跟踪结果，将不同全局标识所对应的障碍物跟踪结果，两两一组进行位置信息和/或轮廓体积信息的相似度计算，以计算得到相似度矩阵；
根据所述相似度矩阵进行相同障碍物匹配，并根据匹配结果确定归属于相同障碍物的全局标识；
将相同障碍物的全局标识进行合并融合。
本实施例中，相似度矩阵用于判断不同全局标识对应的障碍物的相似程度，相似度矩阵可以是通过几何轮廓进行计算，也可以是位置特征进行计算。当相似度矩阵高于阈值时，说明不同全局标识对应的障碍物是同一个障碍物，则将其划分至同一个全局标识对应的障碍物中，并将相同的障碍物进行融合。
可选的，计算得到相似度矩阵之前，还包括：
将不同全局标识所对应的障碍物跟踪结果进行条件约束过滤，其中，用于约束过滤的条件包括下述至少一项：距离约束、与车辆中心所连射线的朝向角差异约束、以及对极几何约束。
本实施例中距离约束是指通过障碍物在图像中距离的差异判断是否同一个障碍物，示例性的一个全局标识对应的障碍物在图像中呈现的是距离车辆100米的位置，而另一个全局标识对应的障碍物在图像中呈现的是距离车辆1000米的位置，因此，可以判断出这两个障碍物对应的不是同一个障碍物。
与车辆中心所连射线的朝向角差异约束是指障碍物与车辆中心轴线之间的夹角，如果夹角差异很大，则说明障碍物是不同的障碍物。
对极几何约束是指两个相机位置产生的两幅图像之间的一种特殊的几何关系。
s260、获取以所述全局标识进行标记的障碍物跟踪结果。
可选的，获取以所述全局标识进行标记的障碍物跟踪结果包括：获取所述全局标识所映射的一个或多个局部标识所对应的障碍物跟踪结果；将各所述障碍物跟踪结果进行环视状态处理，以确定所述全局标识所对应障碍物的最终跟踪结果；其中，所述最终跟踪结果用于传输给车载自动控制系统的驾驶决策模块。
本实施例中，将与全局标识有映射关系的局部标识对应的障碍物跟踪结果进行环视状态处理，其中环视状态可以是指通过将局部标识对应的障碍物的图像进行三维合成，并以虚拟俯视图的形式在车辆中的屏幕显示或者形成图像画面以得到对应障碍物的最终跟踪结果。其中，虚拟俯视图中的视角或者最终形成的图像画面会根据车辆行驶轨迹而动态移动，能够提供车辆四周360度的画面。最终能够将同一个障碍物在不同相机中的图像进行显示，并将最终的跟踪结果发送至车载自动控制系统，车载自动控制系统在收到如上结果后，能够指示车辆下一步如何行驶，是进行避障还是停车。
上述申请中的一个实施例具有如下优点或有益效果：通过对障碍物进行关联一致性检测以及划分至不同的关联集合中，将相同的障碍物进行融合，并将最终跟踪结果传输至车载自动控制系统的驾驶决策模块，通过关联一致性检测以及划分不同的关联集合，能够将同一个障碍物准确地进行融合，以便车载自动控制系统能够准确跟踪障碍物。
第三实施例
图4是根据本申请第三实施例提供的一种跨相机的障碍物跟踪装置的结构示意图，可执行本申请实施例所提供的跨相机的障碍物跟踪方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置400可以包括：
跟踪结果获取模块401，用于获取至少两个相机各自所拍摄图像的障碍物跟踪结果，其中，所述障碍物跟踪结果包括对相机所拍摄图像中的至少一个障碍物进行识别和跟踪后的结果，且至少一个跟踪的障碍物设置有局部标识；
映射关系建立模块402，用于在满足各所述相机中的主相机对跨相机障碍物融合的触发条件时，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系；
全局标识融合模块403，用于根据各相机所处理的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合；
跟踪结果获取模块404，用于获取以所述全局标识进行标记的障碍物跟踪结果。
所述映射关系建立模块402，具体用于：
监测到处理完所述主相机当前图像的障碍物识别和跟踪后，获得主相机障碍物跟踪结果时，则确定满足所述触发条件；
其中，所述主相机为设定相机或根据车辆行驶过程中的关注区域确定。
所述装置还包括：
全局标识划分模块405，用于按照相机的安装位置和/或相机的拍摄区域，确定处于重叠区域的障碍物跟踪结果，将对应的全局标识划分至一个关联集合中；其中，所述关联集合用于作为确定障碍物相似度的范围。
所述跟踪结果获取模块404，具体用于：
获取所述全局标识所映射的一个或多个局部标识所对应的障碍物跟踪结果；
将各所述障碍物跟踪结果进行环视状态处理，以确定所述全局标识所对应障碍物的最终跟踪结果；
其中，所述最终跟踪结果用于传输给车载自动控制系统的驾驶决策模块。
所述映射关系建立模块402，具体用于：
如果识别到每个相机当前图像的障碍物跟踪结果在历史图像中已有局部标识，则将当前图像的障碍物跟踪结果关联至已有局部标识对应的全局标识；
如果识别到每个相机当前图像的障碍物跟踪结果在历史图像中没有局部标识，则将新设置的局部标识与新创建的全局标识进行映射。
所述装置还包括：
关联一致性检测模块406，用于对每个全局标识所对应的两个所述障碍物进行关联一致性检测；
跟踪结果拆分模块407，用于若确定为不同的障碍物，则将不同的障碍物的跟踪结果拆分至对应于不同的全局标识。
所述关联一致性检测模块406，具体用于：
针对每个全局标识所对应的两个所述障碍物，根据障碍物在各相机中的跟踪结果，识别位置一致性、轮廓一致性和体积一致性中的至少一项，以确定关联一致性检测结果。
所述全局标识融合模块403，具体用于：
根据各相机所处理的障碍物跟踪结果，将不同全局标识所对应的障碍物跟踪结果，两两一组进行位置信息和/或轮廓体积信息的相似度计算，以计算得到相似度矩阵；
根据所述相似度矩阵进行相同障碍物匹配，并根据匹配结果确定归属于相同障碍物的全局标识；
将相同障碍物的全局标识进行合并融合。
所述装置还包括：
条件约束过滤模块408，用于将不同全局标识所对应的障碍物跟踪结果进行条件约束过滤，其中，用于约束过滤的条件包括下述至少一项：距离约束、与车辆中心所连射线的朝向角差异约束、以及对极几何约束。
上述申请中的一个实施例具有如下优点或有益效果：通过工控机获取障碍物跟踪结果，进一步根据障碍物的局部标识与全局标识之间的映射关系，确定障碍物的相似度，并根据相似度最终确定障碍物的跟踪结果，通过多个相机对障碍物的融合处理，能够提高障碍物跟踪的准确性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的跨相机的障碍物跟踪方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的跨相机的障碍物跟踪方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的跨相机的障碍物跟踪方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的跨相机的障碍物跟踪方法对应的程序指令/模块(例如，附图4所示的模块)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的跨相机的障碍物跟踪方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据跨相机的障碍物跟踪电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至跨相机的障碍物跟踪电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
跨相机的障碍物跟踪方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与跨相机的障碍物跟踪电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括视觉输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过工控机获取障碍物跟踪结果，进一步根据障碍物的局部标识与全局标识之间的映射关系，确定障碍物的相似度，并根据相似度最终确定障碍物的跟踪结果，通过多个相机对障碍物的融合处理，能够提高障碍物跟踪的准确性。
第四实施例
根据本申请第四实施例提供的一种跨相机的障碍物跟踪系统，本实施例括至少两个车载相机，还包括本实施例中所述的电子设备，所述电子设备为工控机。
可选的，所述相机具体用于拍摄车辆周围的图像；
所述工控机具体用于获取由车载的至少两个相机分别对车辆周边环境进行拍摄后所采集的图像，并对各所述图像进行障碍物的识别和跟踪，以获取所述障碍物跟踪结果。
可选的，所述相机具体用于拍摄车辆周围的图像，基于所拍摄图像进行障碍物的识别和跟踪，且所述障碍物设置有所述局部标识；
所述工控机具体用于获取由车载的至少两个相机所传输的障碍物跟踪结果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
1.一种跨相机的障碍物跟踪方法，其特征在于，包括：
获取至少两个相机各自所拍摄图像的障碍物跟踪结果，其中，所述障碍物跟踪结果包括对相机所拍摄图像中的至少一个障碍物进行识别和跟踪后的结果，且至少一个跟踪的障碍物设置有局部标识；
在满足各所述相机中的主相机对跨相机障碍物融合的触发条件时，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系；
根据各相机的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合；
获取以所述全局标识进行标记的障碍物跟踪结果。
2.根据权利要求1所述的方法，其特征在于，满足各所述相机中的主相机对跨相机障碍物融合的触发条件包括：
监测到处理完所述主相机当前图像的障碍物识别和跟踪后，获得主相机障碍物跟踪结果时，则确定满足所述触发条件；
其中，所述主相机为设定相机或根据车辆行驶过程中的关注区域确定。
3.根据权利要求1所述的方法，其特征在于，根据各相机的障碍物跟踪结果，确定障碍物的相似度之前，还包括：
按照相机的安装位置和/或相机的拍摄区域，确定处于重叠区域的障碍物跟踪结果，将对应的全局标识划分至一个关联集合中；
其中，所述关联集合用于作为确定障碍物相似度的范围。
4.根据权利要求1所述的方法，其特征在于，获取以所述全局标识进行标记的障碍物跟踪结果包括：
获取所述全局标识所映射的一个或多个局部标识所对应的障碍物跟踪结果；
将各所述障碍物跟踪结果进行环视状态处理，以确定所述全局标识所对应障碍物的最终跟踪结果；
其中，所述最终跟踪结果用于传输给车载自动控制系统的驾驶决策模块。
5.根据权利要求1所述的方法，其特征在于，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系包括：
如果识别到每个相机当前图像的障碍物跟踪结果在历史图像中已有局部标识，则将当前图像的障碍物跟踪结果关联至已有局部标识对应的全局标识；
如果识别到每个相机当前图像的障碍物跟踪结果在历史图像中没有局部标识，则将新设置的局部标识与新创建的全局标识进行映射。
6.根据权利要求5所述的方法，其特征在于，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系之后，还包括：
对每个全局标识所对应的两个所述障碍物进行关联一致性检测；
若确定为不同的障碍物，则将不同的障碍物的跟踪结果拆分至对应于不同的全局标识。
7.根据权利要求6所述的方法，其特征在于，对每个全局标识所对应的两个所述障碍物进行关联一致性检测包括：
针对每个全局标识所对应的两个所述障碍物，根据障碍物在各相机中的跟踪结果，识别位置一致性、轮廓一致性和体积一致性中的至少一项，以确定关联一致性检测结果。
8.根据权利要求1所述的方法，其特征在于，根据各相机的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合，包括：
根据各相机的障碍物跟踪结果，将不同全局标识所对应的障碍物跟踪结果，两两一组进行位置信息和/或轮廓体积信息的相似度计算，以计算得到相似度矩阵；
根据所述相似度矩阵进行相同障碍物匹配，并根据匹配结果确定归属于相同障碍物的全局标识；
将相同障碍物的全局标识进行合并融合。
9.根据权利要求8所述的方法，其特征在于，计算得到相似度矩阵之前，还包括：
将不同全局标识所对应的障碍物跟踪结果进行条件约束过滤，其中，用于约束过滤的条件包括下述至少一项：距离约束、与车辆中心所连射线的朝向角差异约束、以及对极几何约束。
10.根据权利要求1所述的方法，其特征在于，所述方法的执行主体为工控机，获取至少两个相机各自所拍摄图像的障碍物跟踪结果包括：
获取由车载的至少两个相机分别对车辆周边环境进行拍摄后所采集的图像；
对各所述图像进行障碍物的识别和跟踪，以获取所述障碍物跟踪结果。
11.根据权利要求1所述的方法，其特征在于，所述方法的执行主体为工控机，获取至少两个相机各自所拍摄图像的障碍物跟踪结果包括：
获取由车载的至少两个相机所传输的障碍物跟踪结果，其中，所述障碍物跟踪结果由相机基于所拍摄图像进行障碍物的识别和跟踪，以及设置局部标识而获得。
12.一种跨相机的障碍物跟踪装置，其特征在于，包括：
跟踪结果获取模块，用于获取至少两个相机各自所拍摄图像的障碍物跟踪结果，其中，所述障碍物跟踪结果包括对相机所拍摄图像中的至少一个障碍物进行识别和跟踪后的结果，且至少一个跟踪的障碍物设置有局部标识；
映射关系建立模块，用于在满足各所述相机中的主相机对跨相机障碍物融合的触发条件时，根据各相机的障碍物跟踪结果，建立各相机中的障碍物的局部标识与全局标识之间的映射关系；
全局标识融合模块，用于根据各相机的障碍物跟踪结果，确定障碍物的相似度，并根据相似度进行相同障碍物的全局标识融合；
跟踪结果获取模块，用于获取以所述全局标识进行标记的障碍物跟踪结果。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的跨相机的障碍物跟踪方法。
14.一种跨相机的障碍物跟踪系统，其特征在于，包括至少两个车载相机，还包括权利要求13所述的电子设备，所述电子设备为工控机。
15.根据权利要求14所述的系统，其特征在于：
所述相机具体用于拍摄车辆周围的图像；
所述工控机具体用于获取由车载的至少两个相机分别对车辆周边环境进行拍摄后所采集的图像，并对各所述图像进行障碍物的识别和跟踪，以获取所述障碍物跟踪结果。
16.根据权利要求14所述的系统，其特征在于：
所述相机具体用于拍摄车辆周围的图像，基于所拍摄图像进行障碍物的识别和跟踪，且所述障碍物设置有所述局部标识；
所述工控机具体用于获取由车载的至少两个相机所传输的障碍物跟踪结果。
17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的跨相机的障碍物跟踪方法。
技术总结