本发明涉及监控视频智能分析领域，尤其是涉及一种基于代价敏感的三支决策的多目标模型视觉追踪方法。
背景技术：
视觉追踪是指在一段短视频中(一般小于1000帧，且没有镜头切换)，针对任意类别的确定目标，在第一帧给出其位置和大小后，在后续帧在线监测其位置和大小的过程。这种算法与目标检测算法相比，一般具有速度快、准确率高等特点，主要应用在以下场景：(1)需要识别目标运动轨迹的场景；(2)辅助目标检测的候选框标注；(3)配合目标识别算法，提取候选目标，节省算力，实现高效、准确的识别。因此，视觉追踪已发展成为智能视频分析领域的关键组成部分。
从视觉追踪框架的角度出发，相关算法模型可以分为以下两类：(1)判别式模型；(2)生成式模型。判别式模型，通过使用一个分类器，将样本区分为前景(目标)和背景，以此来检测追踪目标；生成式模型，通过寻找与目标特征最相似的位置来检测追踪目标。目前较常用的是生成式模型，因为在相同准确率的前提下，其计算量相对较小。
另一方面，从对算力的需求角度出发，视觉追踪的算法可以分为以下两类：(1)传统的视觉追踪算法；(2)基于深度学习的视觉追踪算法。传统的视觉追踪算法大多利用低层次特征，例如颜色(颜色空间、直方图，主颜色等)与纹理(hog等)，并且常常与相关滤波器方法结合使用；基于深度学习的视觉追踪算法主要利用卷积神经网络对目标进行特征提取，同时也可以与相关滤波器方法结合使用来进一步提高效率与准确性。总体来看，传统的视觉追踪算法效率高、运算量小，常用于对精度要求不高、硬件算力受限的工程实践中，而基于深度学习的视觉追踪算法常用于硬件算力高、精度要求高的领域，以及科研领域中。两种方法各有优劣，需要结合实际情况进行方案选择。
无论采用何种类型的追踪算法模型，对目标的特征表示是关键问题。这个问题又分为两个子问题，即目标的特征提取与目标的模型更新。目前来看，卷积神经网络是比较有效的特征提取方法，而目标的模型更新还没有十分合理的办法。目标模型更新的难点，在于其本身蕴含的矛盾：既要防止过多的非目标信息被更新到模型中，又要尽量及时更新目标模型以适应目标的外观形态变化。因此，有必要建立一种多目标模型的视觉追踪算法。
另一方面，在判别式模型中，传统的分类器只能输出0或1的二分类结果。如果能够通过引入额外信息，建立三支决策结构，就能提高分类的准确率，有选择地降低假阳性或假阴性结果。
专利cn109886996a提出了一种双模板的视觉追踪方法，并且提出了目标丢失因子，能够加权融合并逐帧更新，获得较准确的目标模板。然而由于双模板包含的信息量有限，并且使用的是传统二分类判别方式，使得追踪过程中鲁棒性不足。
专利cn109389137a提出了一种基于光谱特征的视觉追踪方法，将图像信息与光谱信息结合，使用的追踪方法是传统的csk算法。虽然光谱信息的加入有助于追踪效果的提升，但是传统的方法不具备多特征、多决策类型的优势，准确性和鲁棒性不佳。
技术实现要素：
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于代价敏感的三支决策的多目标模型视觉追踪方法。
本发明的目的可以通过以下技术方案来实现：
一种基于代价敏感的三支决策的多目标模型视觉追踪方法，包括以下步骤：
1)在第i帧建立更新策略不同的多个目标模型：逐帧更新、固定模型、逐帧更新与固定模型线性叠加、前k帧图像线性叠加，构成目标模型集合
2)利用
3)根据目标集合
4)基于代价敏感的三支决策方法，求得决策边界，根据
5)选择
6)在第(i 2)帧追踪过程中，对比s(i 1)1与
所述的步骤1)中，在第i帧建立更新策略不同的多个目标模型:逐帧更新、固定模型、逐帧更新与固定模型线性叠加、前k帧图像线性叠加，构成目标模型集合
其中，zij为第i帧的第j个模板，ai为第i帧的图像，
所述的步骤2)中，在第(i 1)帧搜索多个候选目标的方法为相似性学习：
其中，
其中，
所述的步骤3)中，根据目标集合
其中，iou(sti,stj)为第t帧中第i个与第j个候选框的交叉比，η为判断为重叠的交叉比的阈值，
其中，ij∈{pp,pn,np,nn,bp,bn}为三支决策理论中的6种情况，即正-接受、正-拒绝、负-接受、负-拒绝、中间-接受、中间-拒绝；
所述的步骤4)中，求得决策边界的方法为：
其中，α与β分别是三支决策的上边界和下边界。
所述的步骤5)中，选择
所述的步骤6)中，在第(i 2)帧追踪过程中，若
与现有技术相比，本发明具有以下优点：
一、受三支决策理论启发，提取目标的长期特征与瞬时特征，并寻求二者之间的平衡点。本发明通过对多个可行的追踪结果进行三支决策分类，获得追踪结果。使用这一追踪框架，其中提取的目标长期与瞬时特征，对于光照变化、目标旋转、目标尺度变化等瞬时变化因素有较好的适应性和鲁棒性，并通过三支决策方法，在二者之间取得了较好的平衡；
二、本发明中的多目标集合表示方法，通过结合固定模型和非固定模型来解决目标模型更新中的矛盾，并训练卷积神经网络作为判别器，寻找最合适的追踪结果；
三、采用多目标追踪结果的重叠程度计算决策代价，再通过代价敏感方法得到三支决策的上下边界，提高三支决策的准确性；
四、基于连续帧之间目标的相似性，利用当前帧的多目标集合推理情况，对上一帧的追踪结果进行评价，然后从正样本集合和中间样本集合中选出最合适的追踪结果，从而作为当前帧的目标追踪起始位置，取得了更加准确和鲁棒的追踪效果。
附图说明
图1为本发明方法的系统流程图。
图2为本发明方法的追踪框架示意图。
图3为本发明算法和其他算法在otb视觉追踪公开数据集上的一次性检验(ope)结果，根据不同的iou阈值，测定假阳性-假阴性变化，以及准确度变化。
图4为本发明算法和其他算法在otb视觉追踪公开数据集上的一次性检验(ope)、时间鲁棒性检验(tre)和空间鲁棒性检验(sre)结果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例：
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，具体如图1所示算法流程图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，但并不限定本发明。
步骤一：建立更新策略不同的多个目标模型，具体描述如下：目标模型应该具有如下特征：保持被追踪目标的特征不改变、及时适应目标的外观变化、能够预测目标未来的外观变化。因此，本发明首先保存初始帧的目标外观，作为保持不变的目标特征；其次，将逐帧更新的目标外观，作为能够及时适应变化的目标特征；再次，将上述两个目标特征的平均值，以及前k帧的目标外观的平均值，作为2个可以拟合预测未来变化的目标特征；最后，在通过上述4个目标模型进行追踪，得到当前帧的追踪结果之后，作为补充，将上一帧的目标位置，也作为当前帧的一个追踪结果，目的是在上述4个目标模型的追踪都不准确时，提供一个相对准确的结果。
步骤二：搜索追踪目标并判断其置信度，具体描述如下：首先利用基于相似度学习的追踪方法，例如siamfc，对步骤一中的多目标模型逐一追踪，得到多个候选框，即
步骤三：求各个决策结果的代价值，具体描述如下：在上一步骤中，可以获得多个追踪目标的候选框。接下来，本发明方法采用计算候选框重叠率的方法判断不同决策结果的代价值。具体实施如下：
(1)根据设定的重叠交叉比阈值η＝0.7，计算重叠的候选框数量：
其中，iou(sti,stj)为第t帧中第i个与第j个候选框的交叉比，η为判断为重叠的交叉比的阈值，
(2)求得nt后，λ的计算方法为：
其中，ij∈{pp,pn,np,nn,bp,bn}为三支决策理论中的6种情况，即正-接受、正-拒绝、负-接受、负-拒绝、中间-接受、中间-拒绝；
以正-拒绝(pn)为例，当nt＝3时，λpn＝4。
步骤四：求得决策边界的方法，具体描述如下：
其中，α与β分别是三支决策的上边界和下边界。直接将上一步骤求得的代价值带入，即可求解。
步骤五：处理追踪结果，具体描述如下：选择
步骤六：判断追踪结果的可靠性，具体描述如下：根据上一步骤得到的预测结果，开始在下一帧进行预测，并得出
本发明具体实现步骤为：
图1是本发明算法实现流程图，具体实施方式如下：
1、建立更新策略不同的多个目标模型，组成集合
2、使用相似度学习模型追踪，获取多模型候选框sij，用于后续第3条和第6条的计算；
3、计算所有候选框两两重叠的数量nt；
4、设定各个决策类型的代价字典，根据nt计算决策代价；
5、基于代价敏感的三支决策理论，根据决策代价，计算三支决策的上下边界α、β；
6、根据上下边界α、β，对第2步中获取的候选框，使用卷积神经网络判别器进行三支决策分类；
7、将被分类为正样本的置信度最高的候选框作为追踪结果，同时保持中间决策结果备用；
8、输入下一帧，采用正样本作为追踪起点，重复上述第1～7步；
9、对三支决策结果进行判断：若存在正样本，则继续输入下一帧；若没有正样本，则更改第8步的追踪起点，采用第7步保存的中间结果作为追踪起点，重复上述第1～7步；若没有正样本且没有中间样本，则更新卷积神经网络判别器，重复上述第1～7步；
显然，上述示例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
1.一种基于代价敏感的三支决策的多目标模型视觉追踪方法，其特征在于，包括以下步骤：
1)在第i帧建立更新策略不同的多个目标模型，构成目标模型集合
2)利用
3)根据目标集合
4)基于代价敏感的三支决策方法，根据样本代价值λ求得决策边界，根据
5)选择
6)在第(i 2)帧追踪过程中，对比s(i 1)1与
2.根据权利要求1所述的一种基于代价敏感的三支决策的多目标模型视觉追踪方法，其特征在于，所述的步骤1)中，在第i帧建立更新策略不同的多个目标模型，构成目标模型集合
1)以第一帧目标图像作为样本的模型；
2)以上一帧目标追踪结果的图像作为样本的模型；
3)以上述1)和2)两模型的平均值作为样本的模型；
4)以当前帧及其之前k帧图像的平均值作为样本的模型。
3.根据权利要求1所述的一种基于代价敏感的三支决策的多目标模型视觉追踪方法，其特征在于，所述的步骤2)中，在第(i 1)帧搜索多个候选目标的方法为相似性学习：
其中，
其中，
4.根据权利要求1所述的一种基于代价敏感的三支决策的多目标模型视觉追踪方法，其特征在于，所述的步骤3)中，根据目标集合
其中，iou(sti,stj)为第t帧中第i个与第j个候选框的交叉比，η为判断为重叠的交叉比的阈值，
其中，ij∈{pn,bn,np,bp}为三支决策理论中的6种情况，即正-接受、正-拒绝、负-接受、负-拒绝、中间-接受、中间-拒绝；
5.根据权利要求4所述的一种基于代价敏感的三支决策的多目标模型视觉追踪方法，其特征在于，所述的步骤4)中，求得决策边界的方法为：
其中，α与β分别是三支决策的上边界和下边界；λij代表三支决策结果的代价值，ij∈{pn,bn,np,bp}为三支决策理论中的6种情况，即正-接受、正-拒绝、负-接受、负-拒绝、中间-接受、中间-拒绝。
6.根据权利要求1所述的一种基于代价敏感的三支决策的多目标模型视觉追踪方法，其特征在于，所述的步骤5)中，选择
7.根据权利要求1所述的一种基于代价敏感的三支决策的多目标模型视觉追踪方法，其特征在于，所述的步骤6)中，在第(i 2)帧追踪过程中，若
8.根据权利要求1所述的一种基于代价敏感的三支决策的多目标模型视觉追踪方法，其特征在于，不同的多个目标模型为：逐帧更新、固定模型、逐帧更新与固定模型线性叠加、前k帧图像线性叠加任意两种以上。
技术总结