本发明属于智能交通管理技术领域，涉及一种基于孪生网络和反向传播的车辆实时跟踪方法。
背景技术：
车辆跟踪是智能交通系统(its)的关键技术。它为交通流预测、车辆监控、道路状况分析等应用提供了基础信息。与一般的多目标跟踪(mot)相比，车辆的运动通常比人的更为规律，这似乎有利于跟踪任务。然而，由于至少两个原因，车辆跟踪面临着更多的挑战。首先，由于车型数量有限，车辆之间的外观相似度普遍高于人。其次，特别是在城市道路上，拥挤的交通常常造成极为严重的车辆间遮挡。现今大多数跟踪器遵循基于检测的跟踪策略，该策略通过相邻帧间的检测器检测结果来进行目标关联。不难理解得是，这种策略的可靠性在很大程度上取决于检测器的精度。然而，由于环境复杂，检测输出往往是存在噪声的。为了解决这一问题，结合多种特征如外观特征和语义特征等的方法被相继提出。
随着深度学习的发展，许多基于深度神经网络的跟踪器被提出用于单目标跟踪(sot)。其中，一种叫做孪生神经网络的网络结构引起了人们的广泛关注。孪生网络由两个分支组成，一个是以历史帧中的跟踪目标作为输入的模板分支，另一个把当前帧的图像作为输入的检测分支。将这两个分支结合起来，通过提取跟踪对象的深层特征，然后进行卷积运算得到最终得分。得分最高的位置则被认定为目标的跟踪结果。
直观地说，车辆跟踪可以通过直接叠加多个sot跟踪器来完成。然而，sot跟踪器在跟踪过程中容易因车辆外观相似性高、遮挡严重而产生混淆，容易导致目标漂移甚至出现虚假目标。一种可行的方法是将sot跟踪器集成到上述基于检测的跟踪策略中，以减少检测中产生的噪声的干扰，从而增强跟踪的鲁棒性。于是本发明提出通过基于sot的前向位置预测来校正关联阶段的检测结果。但是，在严重遮挡的情况下，检测器还是会混淆正向预测结果，导致误检率增加。
技术实现要素：
有鉴于此，本发明的目的在于提供一种实时，跟踪准确度高的基于孪生网络和反向预测的车辆跟踪方法，通过孪生神经网络框架进行车辆目标前向位置预测，以及利用反向预测验证的方法和加权融合方法来提升在车辆被严重导致检测器产生的错误检测或漏检情况下的性能。
为达到上述目的，本发明提供如下技术方案：
一种基于孪生网络和反向传播的车辆实时跟踪方法，包括以下步骤：
步骤1：根据输入视频的第一帧图像，初始化激活轨迹集合，保留轨迹集合和结束轨迹集合；
步骤2：把第一帧由检测器得到的检测结果作为激活轨迹里各目标的初始位置；
步骤3：针对下一帧图像，利用激活轨迹里的目标图像和当前帧的图像作为单目标跟踪器sot的输入，得到预测的目标位置；
步骤4：求取预测目标包围框与检测结果里的候选框之间的重叠面积iou；
步骤5：选取具有最大iou的检测结果，如果其与预测结果的iou大于阈值，则把检测结果当作前向位置预测输出，否则把由sot预测得到的结果当作前向位置预测的输出；
步骤6：如果前向位置预测结果与前一帧的iou小于阈值，则将该目标轨迹放入保留轨迹集合，然后开始新一轮的目标跟踪；
步骤7：对于满足条件的前向位置预测结果，将其预测目标图像和前一帧图像当作sot输入，反向预测在目标前一帧中的位置；
步骤8：如果反向预测验证结果与前一帧中该目标位置满足阈值条件，则认为由前向位置预测得到的结果是准确的，否则把由sot前向预测的结果当作经过后向预测验证的结果；
步骤9：如果后向预测验证结果与前一帧该目标的iou满足阈值，通过前向预测的置信度和检测结果的置信度，对得到的结果进行加权融合，将融合后的轨迹加入到激活轨迹集合中；
步骤10：如果后向预测验证结果与前一帧该目标的iou不满足阈值，加入保留的轨迹集合中；
步骤11：针对保留轨迹集中的轨迹，如果超过一定帧数都还没有匹配的目标，则认为跟踪结束，即将其轨迹加入结束轨迹集合；
步骤12：对于保留轨迹集合中剩下的轨迹，重复前面步骤中的前向位置预测，后向预测验证和加权融合；满足条件则加入激活轨迹集合中，不满足则加入保留轨迹集合中；
步骤13：若还有下一帧，则返回步骤3，反之跟踪结束。
进一步，步骤3所述前向位置预测方法，包括以下内容：
先检测后跟踪的跟踪策略一个主要问题是在检测过程中存在的噪声干扰。因此，本发明提出基于sot的前向位置预测方法，将所要跟踪的车辆目标和当前帧的图像当作输入，经过孪生神经网络提取各自特征，然后再经过卷积融合，响应最大值点即为预测的车辆目标下一帧的位置，经过线性回归方法得到车辆目标的候选包围框，然后将预测结果与检测器检测结果结合，以提高跟踪性能。
进一步，在步骤7中包括以下内容：
在一定程度上，前向位置预测可以减少因检测器检测不准确或漏检造成跟踪性能下降的影响。然而，在交通拥堵或车辆遮挡严重的情况下，由于车辆之间的外观极其相似，所以需要一种比前向位置预测更加复杂的策略来处理检测产生的噪声，经过实验观察，准确的检测结果需要保证其反向预测结果尽可能与前一帧的相应目标轨迹重叠，因此，为了增强跟踪的鲁棒性，本发明提出了反向预测验证的方法，通过把前向预测得到的下一帧预测位置和前一帧图像作为输入，利用sot预测目标在前一帧的位置，如果彼此包围框间的重合度高于阈值，则认为是同一目标，反之则不是。
进一步，在步骤9中，经过前向位置预测和后向预测验证，得到了一系列候选包围框，将这些候选框与检测器检测结果融合，得到目标在下一帧的最终位置；融合过程基于预测置信度和检测置信度得分，采用加权平均的方法融合。
进一步，对于在第n帧的第i个轨迹
其中，fn 1表示第n 1帧图像，然后在第n 1帧中的目标i的候选轨迹
其中
其中τf是检测器检测结果的可靠性度量，较小的τf意味着检测器检测结果更可靠，反之亦然；
对于第n 1帧中的每个前向位置预测输出
然后，经过反向预测验证的修正结果
其中
其中τb是表示前向位置预测可靠性的参数；
步骤3：对于第n 1帧中的每个目标i，其最终轨迹
其中，γ是基于前向位置预测置信度
需要注意的是，在车辆目标被遮挡情况下，轨迹在一定的时间段内(长度为τk帧)被保留，通过插值来补全缺失的轨迹片段。
本发明的有益效果在于：
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述基于孪生网络和反向传播的车辆实时跟踪方法的模型示意图；
图2为经过前向位置预测后的结果对比；
图3为经过反向位置预测后的结果对比；
图4为本发明所述加权融合的示意图；
图5为本发明所述基于孪生网络和反向传播的车辆实时跟踪方法流程示意图；
图6为本发明中利用的sot网络结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，是本发明所述基于孪生网络和反向传播的车辆实时跟踪方法的模型示意图，如图5所示，是本发明所述基于孪生网络和反向传播的车辆实时跟踪方法流程示意图，如图6所示为本发明中利用的sot网络结构示意图。
下面结合实例来详细阐述本发明的基于孪生网络和反向预测的实时车辆跟踪方法具体实施方式，这里在ua-detrac数据集上进行了本发明的性能测试。
ua-detrac数据集包含超过10小时的人工标记车辆序列，这些序列在单独的监控摄像机下记录，例如十字路口和城市公路等。它包含了多车辆目标跟踪任务中会遇到的许多复杂情况，包括车辆目标尺度变化、遮挡、运动模糊、夜晚场景、恶劣天气等。
该数据集使用的评估指标与clearmot评价指标略有不同，后者使用pr曲线计算，并以前缀“pr”表示。为了计算pr-mota(总体跟踪精度)，通过逐步改变检测器的阈值来计算2d-pr曲线。然后估计mota值，得到2d-pr曲线上每个点的3d曲线。最后的pr-mota计算为三维曲线的积分。
其他指标的计算方法类似，如pr-motp(跟踪预测包围框与手工标记的包围框重叠百分比)、pr-mt(算法跟踪轨迹与真实轨迹重叠程度超过80％的轨迹数量)、pr-ids(目标身份切换次数)、pr-fp(误报数量)和pr-fn(丢失目标数量)。
在视频开始的第一帧进行初始化，分别设置三个候选集，分别为ta，tk和tf，分别表示激活的轨迹集，保留的轨迹集和跟踪结束的轨迹集。
对于ta中的轨迹，依此进行前向位置预测，对于在第n帧的第i个轨迹
将预测结果与检测器检测结果进行iou运算，取与前向位置预测结果具有最大iou的检测结果，如果该结果大于阈值τf，则把检测结果作为当前步骤的最后结果，否则把sot的预测结果当作当前步骤的最后结果。
如图2所示，在检测器的检测结果中，因为存在噪声的缘故，造成检测器在第30帧丢失了#2目标，而通过利用前向位置预测的方法，将检测器漏掉的结果补全了出来，从而很好的修正了目标丢失的情况。
对由前向位置预测得到的结果
因为当车辆间存在严重遮挡的时候，检测器的检测结果中可能会漏掉被遮挡车辆的结果，当利用前向位置预测去寻找最优结果时，与预测结果
如图3所示，在检测器检测结果中漏掉了前车导致前向位置预测的跟踪结果错误，当进行反向预测验证时，会得到不一样的结果，因此可以判断前向位置预测是否正确，从而纠正跟踪结果，得到反向预测验证的结果
通过加权融合的方式，把由前向位置预测得到的结果和检测器得到的检测结果依赖各自的置信度得分，通过加权平均的方式进行融合得到最后结果
如图4所示，加权融合方法能够缓解检测器可能产生的检测结果漂移，从而有效提升跟踪准确率。
将
针对tk中的轨迹，如果在τk中都没有出现，则认定跟踪结束，将其归入tf。
对tk中剩下的轨迹重复上述的前向位置预测，反向预测验证以及加权融合的步骤，当存在匹配的轨迹，则把该轨迹重新加入ta,否则加入tk。
至此完成一次跟踪，重复上述步骤直至跟踪结束。
本发明在ua-detrac上的性能表现如下表所示：
表1ua-detrac数据集测试结果
本发明和ua-detrac数据集上的其他方法对比可以看出，本发明在三个指标优于其他主流方法，即pr-mt，pr-ids和pr-mota。跟踪性能的提高证明了本发明的有效性。
从表1的最后一列可以看出本发明的运行速度达到20.1fps，可用于实时应用。
同时，即使使用性能较低的gpu，该发明的运行速度也比次优方法(dan，dan是在nvidiagtxtitangpu上运行)快三倍，证明了本发明的有效性。
除此之外，通过对比实验的方式证明本发明各部分的有效性如表2所述，其中主要包括前向位置预测(fpp)、后向预测验证(bpv)和加权合并(wm)。
表2对比实验
方案#4是最终提出的方案，其中包含轨迹缺失片段的插值，而方案#3没有插值。
与iou跟踪方法相比，本发明提出的三种优化方案在此基础上逐渐提高了跟踪性能，这意味着三种优化方案对整体性能都有各自的贡献。
首先，从表2中可以看出，前向位置预测显著减少了身份切换数量，增加了pr-mt。
同时，后向预测验证可以减轻fpp引起的误报，对比试验#2证实了这一点。
加权合并进一步降低了pr-fp，验证了基于置信度的加权合并方法的有效性。
此外，轨迹缺失片段的插值进一步将pr-ids降低到非常低的水平，并略微提高了pr-mota(约0.4％)。
需要注意的是，在该发明中只有插值操作是离线的，而其他三个部分(前向位置预测、后向预测验证和加权合并)是在线操作。
从表2可以看出，跟踪性能的提高主要是在于三个在线操作，这表明了该发明在在线跟踪场景中运行的有效性。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
1.一种基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：包括以下步骤：
步骤1：根据输入视频的第一帧图像，初始化激活轨迹集合，保留轨迹集合和结束轨迹集合；
步骤2：把第一帧由检测器得到的检测结果作为激活轨迹里各目标的初始位置；
步骤3：针对下一帧图像，利用激活轨迹里的目标图像和当前帧的图像作为单目标跟踪器sot的输入，得到预测的目标位置；
步骤4：求取预测目标包围框与检测结果里的候选框之间的重叠面积iou；
步骤5：选取具有最大iou的检测结果，如果其与预测结果的iou大于阈值，则把检测结果当作前向位置预测输出，否则把由sot预测得到的结果当作前向位置预测的输出；
步骤6：如果前向位置预测结果与前一帧的iou小于阈值，则将该目标轨迹放入保留轨迹集合，然后开始新一轮的目标跟踪；
步骤7：对于满足条件的前向位置预测结果，将其预测目标图像和前一帧图像当作sot输入，反向预测在目标前一帧中的位置；
步骤8：如果反向预测验证结果与前一帧中该目标位置满足阈值条件，则认为由前向位置预测得到的结果是准确的，否则把由sot前向预测的结果当作经过后向预测验证的结果；
步骤9：如果后向预测验证结果与前一帧该目标的iou满足阈值，通过前向预测的置信度和检测结果的置信度，对得到的结果进行加权融合，将融合后的轨迹加入到激活轨迹集合中；
步骤10：如果后向预测验证结果与前一帧该目标的iou不满足阈值，加入保留的轨迹集合中；
步骤11：针对保留轨迹集中的轨迹，如果超过一定帧数都还没有匹配的目标，则认为跟踪结束，即将其轨迹加入结束轨迹集合；
步骤12：对于保留轨迹集合中剩下的轨迹，重复前面步骤中的前向位置预测，后向预测验证和加权融合；满足条件则加入激活轨迹集合中，不满足则加入保留轨迹集合中；
步骤13：若还有下一帧，则返回步骤3，反之跟踪结束。
2.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：步骤3所述前向位置预测方法，包括以下内容：
将所要跟踪的车辆目标和当前帧的图像当作输入，经过孪生神经网络提取各自特征，然后再经过卷积融合，响应最大值点即为预测的车辆目标下一帧的位置，经过线性回归方法得到车辆目标的候选包围框，然后将预测结果与检测器检测结果结合。
3.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：在步骤7中包括以下内容：
通过把前向预测得到的下一帧预测位置和前一帧图像作为输入，利用sot预测目标在前一帧的位置，如果彼此包围框间的重合度高于阈值，则认为是同一目标，反之则不是。
4.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：在步骤9中，经过前向位置预测和后向预测验证，得到了一系列候选包围框，将这些候选框与检测器检测结果融合，得到目标在下一帧的最终位置；融合过程基于预测置信度和检测置信度得分，采用加权平均的方法融合。
5.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：对于在第n帧的第i个轨迹
其中，fn 1表示第n 1帧图像，然后在第n 1帧中的目标i的候选轨迹
其中
其中τf是检测器检测结果的可靠性度量，较小的τf意味着检测器检测结果更可靠，反之亦然；
对于第n 1帧中的每个前向位置预测输出
然后，经过反向预测验证的修正结果
其中
其中τb是表示前向位置预测可靠性的参数；
步骤3：对于第n 1帧中的每个目标i，其最终轨迹
其中，γ是基于前向位置预测置信度
在车辆目标被遮挡情况下，轨迹在长度为τk帧的时间段内被保留，通过插值来补全缺失的轨迹片段。
技术总结