本发明属于计算机视觉技术领域，尤其涉及一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统。
背景技术：
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
目标跟踪属于计算机视觉领域一项重要的研究课题，在智能视频监控、人机交互、视觉导航、无人机驾驶、虚拟现实等领域得到了广泛的应用。目标跟踪的核心在于手动确定视频初始帧中目标的位置，在后续视频帧中估计运动目标的运动状态，包括速度、方向以及所占区域等信息，从而为更高级的任务提供技术支持。尽管国内外学者对目标跟踪技术进行了大量深入的研究，但是由于跟踪视频中存在严重遮挡、光照变化、尺度变化、背景杂乱、运动模糊等严重影响跟踪性能的因素，使得设计一种鲁棒的运动目标跟踪方法仍然是一项充满挑战的任务。
根据跟踪目标的外观模型，目标跟踪方法可以分为生成式模型和判别式模型。生成式模型通过建立跟踪目标的表观模型，寻找与先验模型最匹配、重构误差最小的样本作为下一帧中跟踪目标的位置。判别式模型将目标跟踪看成是一个分类问题，通过在线训练分类器，将跟踪目标与背景分离，从而确定目标的位置。2010年相关滤波被引入目标跟踪领域，使得判别式模型无论在跟踪速度还是跟踪鲁棒性方面都比生成式模型取得了较好的跟踪性能。csk算法引入循环矩阵对样本进行密集采样，并采用傅立叶变换方法在频域进行相关滤波器的训练、检测与更新，有效提高了跟踪速度。但是csk方法只能采用单通道灰度特征，在跟踪目标的表征上不够鲁棒。此外，为了解决跟踪目标的尺度变化，现有技术提出采用尺度空间滤波器，形成尺度金字塔来适应跟踪目标的尺度变化。为了解决跟踪目标的遮挡及形变问题，现有技术提出将跟踪响应最大值是否小于固定阈值作为判断目标是否被遮挡及发生较大形变的依据。尽管上述算法在部分视频上取得了不错的跟踪性能，但是在大部分比较复杂的跟踪场景下，比较容易跟丢目标，跟踪效果不够鲁棒。
现有技术公开了一种快速正则化的目标跟踪方法。该方法融合hog特征和颜色直方图，在相关滤波框架下引入空间正则化，对背景信息进行抑制，实现对目标的快速跟踪。但是存在的不足之处是只对背景信息进行抑制，没有增强目标区域的信息，没有对跟踪结果进行可靠性判断，当运动目标发生严重遮挡和形变时，容易跟丢目标，不能对目标进行长时间的鲁棒跟踪。
现有技术公开了一种基于cnn和cf的多模板目标跟踪方法，该方法将当前帧峰值响应值与旁瓣响应值的比值作为psr值，与固定阈值进行比较来判断跟踪结果的可靠性，是否需要重新检测。当跟踪结果存在遮挡时，重新进行跟踪目标的定位检测。该方法存在的不足之处是采用固定的阈值，难以适应多个不同场景的视频，导致部分视频能够有效判断跟踪结果的可靠性，部分视频的判断结果不可靠，容易造成跟踪失败。
技术实现要素：
本发明目的是为了解决现有技术的不足，提出了一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统，能够实现在复杂场景下对运动目标进行准确的跟踪。
在一些实施方式中，采用如下技术方案：
一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，包括：
(1)将当前帧中目标图像块的颜色直方图与传统固定余弦窗进行求和，得到自适应余弦窗；
(2)提取当前帧中目标图像块的hog特征，采用自适应余弦窗对所述目标图像块进行预处理，对预处理后的目标图像块进行相关滤波处理，得到基于hog特征的滤波响应；
(3)计算当前帧目标图像块的颜色响应和前后帧的光流特征，利用基于hog特征的滤波响应、颜色响应及前后帧光流特征的和确定当前帧跟踪目标的初始位置；
(4)对得到的当前帧跟踪目标的初始位置进行鲁棒性检查；当跟踪结果不鲁棒时，采用反向多任务稀疏表示方法选取多个候选样本，对每个候选样本，重复步骤(2)-(3)，重新确定当前帧中跟踪目标的位置。
在另一些实施方式中，采用如下技术方案：
一种自适应余弦窗抗遮挡多特征融合的目标跟踪系统，包括：
用于将当前帧中目标图像块的颜色直方图与传统固定余弦窗进行求和，得到自适应余弦窗的装置；
用于提取当前帧中目标图像块的hog特征，采用自适应余弦窗对所述目标图像块进行预处理，对预处理后的目标图像块进行滤波处理，得到基于hog特征的滤波响应的装置；
用于计算当前帧目标图像块的颜色响应和前后帧的光流特征，将得到的基于hog特征的滤波响应、颜色特征响应以及光流特征进行加权求和，确定当前帧跟踪目标的初始位置的装置；
用于对得到的当前帧跟踪目标的初始位置进行鲁棒性检查的装置；
用于当跟踪结果不鲁棒时，采用反向多任务稀疏表示方法选取多个候选样本，重新确定当前帧中跟踪目标的位置的装置。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的自适应余弦窗抗遮挡多特征融合的目标跟踪方法。
与现有技术相比，本发明的有益效果是：
(1)由于本发明采用目标图像块的颜色直方图和传统余弦窗来构建自适应余弦窗，能够突出目标区域，压制候选区域，同时扩大搜索范围，能够有效抑制传统基于相关滤波跟踪方法带来的边界效应，同时对每帧目标图像块求颜色直方图，所以每帧视频图像所采用的余弦窗是不断更新的，使得本发明能够很好的识别目标物体，实现对运动目标准确的跟踪。
(2)由于本发明将基于hog特征的滤波响应，颜色直方图的积分响应以及前后帧的光流特征进行加权求和得到最终的响应图，能够将多方面特征进行融合，特别是前后帧的光流特征能够很好的描述跟踪目标的运动趋势，使得本发明能够很好的找到跟踪目标的准确位置，实现对目标物体的鲁棒定位。
(3)由于本发明采用基于hog特征滤波响应计算psr值，同时建立psr池判断跟踪结果的可靠性，并进行跟踪模型和颜色直方图更新参数的自适应调整，使得本发明能够很好的克服跟踪过程中出现的严重遮挡及较大形变，能够实现在复杂场景对跟踪目标的准确跟踪。
(4)当跟踪结果判断为不可靠时，本发明采用反向多任务稀疏表示方法重新选取最优的5个粒子进行相关滤波计算，使得本发明能够很好的解决跟踪失败后重新对目标进行定位的问题，从而实现对运动目标的鲁棒跟踪。
附图说明
图1为本发明实施例中自适应余弦窗抗遮挡多特征融合的目标跟踪方法流程图；
图2为本发明实施例在4个视频上的跟踪结果示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
在一个或多个实施方式中，公开了一种基于自适应余弦窗抗遮挡多特征融合的运动目标跟踪方法，参照图1，包括如下步骤：
第一步，从视频中提取第一帧图像；手动初始化，确定第一帧图像中运动目标的位置；
第二步，在第一帧目标位置周围较近处随机选取8个样本作为正样本矩阵模板，较远处选取150个样本作为负样本矩阵模板。
第三步，在后续帧中，以第t-1帧中的跟踪目标位置在第t帧中提取目标方块，并通过公式(1)计算当前图形块的颜色直方图；
其中，i表示给定抽选图像块，由方块目标前景区域
第四步，将第三步得到的颜色直方图与传统固定余弦窗根据公式(2)进行求和计算，得到能够适应每帧图像的自适应余弦窗；
adap_w＝τ·w (1 τ)·p(2)
其中，p为根据公式(1)计算得到的颜色直方图，w为传统固定余弦窗。
第五步，根据t-1帧中的跟踪目标位置在第t帧中提取目标方块，提取图像块的hog特征，并采用自适应余弦窗对图像块的hog特征进行预处理。
第六步，将第五步预处理得到目标图像块与在第t-1帧获得的相关滤波模型在频域进行点乘计算，得到基于hog特征的滤波响应；
具体地，根据公式(3)在相关滤波的框架下，实现对图像块的密集采样，并在频域内进行快速计算，计算每个候选样本的响应；
其中，
第七步，对根据第三步得到的颜色直方图进行积分运算，得到目标图像块的颜色响应。
第八步，利用第t-1帧得到的跟踪目标图像块与第t帧提取的图像块通过最小化公式(4)计算当前帧的光流特征；
e(w)＝ecolor(w) γegradient(w) αesmooth(w) βematch(w,w1) edesc(w1)(4)
其中，w为需要计算的当前帧的光流能量，ecolor(w)为前后帧颜色差异能量，egradient(w)为前后帧梯度能量，esmooth(w)为平滑能量，ematch(w,w1)为匹配能量，edesc(w1)为前后帧特征下降能量，γ,α,β分别为约束系数。
第九步，将得到的基于hog特征的滤波响应、颜色特征响应以及光流特征进行加权求和，得到最终的响应，响应值最大的位置即为当前帧的初步跟踪结果。
第十步，基于得到的基于hog特征的滤波响应，利用公式(5)计算第t帧的psrt值；
其中，rt为第t帧基于hog特征相关滤波响应，ut表示rt的均值，σt表示rt的标准偏差，max表示求rt的最大值。
第十一步，建立psr池{psr2,psr3,...,psrt-1,psrt}，当
第十二步，当
其中，[t1,...,tp]为正模板，[tp 1,...,tp n]为负样本，y为候选样本组成的集合，[c1,...,cp,cp 1,...,cp n]为对应的表示系数，λ表示约束系数。
第十三步，对得到的5个候选样本重新转入第六步，计算每个候选样本基于hog特征的相关滤波响应，并对响应最大值进行排序，响应值最大对应的样本为最优样本，最优样本中响应值最大所在位置即为跟踪目标的位置。
第十四步，对相关滤波训练模型和颜色直方图采用公式(7)分别进行更新，
当判断当前帧目标没有被遮挡或没有发生较大形变时，相关滤波训练模型和颜色直方图的更新系数η1和η2分别取固定常数，当判断当前帧目标被遮挡时，相关滤波训练模型的更新系数取：
第十五步，每隔5帧，同时判断跟踪结果可靠时，对反向多任务稀疏表示方法中的正负样本模板进行更新。
第十六步，判断是否读取全部跟踪视频，若否，则转入第三步，否则转入第十七步。
第十七步，结束本视频目标跟踪。
图2展示了本发明实施例在4个视频上的跟踪结果，可以看出，本实例方法在多个具有遮挡、光照变化、运动模糊、较大形变等属性的视频上都能取得较好的跟踪结果。
因此，本实施例方法能够很好的识别目标物体，能够很好的找到跟踪目标的准确位置，实现对目标物体的鲁棒定位；克服跟踪过程中出现的严重遮挡及较大形变，实现在复杂场景下对运动目标的准确跟踪。
实施例二
在一个或多个实施方式中，公开了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行实施例一中的自适应余弦窗抗遮挡多特征融合的目标跟踪方法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
1.一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，包括：
(1)将当前帧中目标图像块的颜色直方图与传统固定余弦窗进行求和，得到自适应余弦窗；
(2)提取当前帧中目标图像块的hog特征，采用自适应余弦窗对所述目标图像块进行预处理，对预处理后的目标图像块进行滤波处理，得到基于hog特征的滤波响应；
(3)计算当前帧目标图像块的颜色响应和前后帧的光流特征，将得到的基于hog特征的滤波响应、颜色特征响应以及光流特征进行加权求和，得到最终的响应，响应值最大的位置即为当前帧跟踪目标的初始位置；
(4)对得到的当前帧跟踪目标的初始位置进行鲁棒性检查；当跟踪结果不鲁棒时，采用反向多任务稀疏表示方法选取多个候选样本，对每个候选样本，重复步骤(2)-(3)，重新确定当前帧中跟踪目标的位置。
2.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，所述步骤(1)中：
确定第一帧图像中运动目标的位置，在后续视频帧中，利用第t-1帧确定的运动目标位置在第t帧选取目标图像块，计算目标图像块的颜色直方图，并与传统的固定余弦窗求和，得到自适应余弦窗。
3.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，所述步骤(2)中：
利用第t-1帧确定的运动目标位置在第t帧提取目标图像块的hog特征；
对目标图像块的hog特征进行预处理，预处理后的目标图像块与在第t-1帧获得的相关滤波模型在频域进行点乘计算，得到基于hog特征的滤波响应。
4.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，所述步骤(3)中，计算当前帧目标图像块的颜色响应，具体为：
对步骤(1)中当前帧的目标图像块的颜色直方图进行积分计算，得到目标图像块的颜色特征响应。
5.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，所述步骤(3)中，计算当前帧目标图像块的前后帧的光流特征，具体为：
利用第t-2帧得到的跟踪目标图像块与第t-1帧提取的目标图像块通过最小化公式计算t-1帧的光流特征；
利用第t帧得到的跟踪目标图像块与第t 1帧提取的目标图像块通过最小化公式计算t 1帧的光流特征。
6.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，利用基于hog特征的滤波响应，计算第t帧的psrt值；
建立psr池，当
7.如权利要求6所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，
当
8.如权利要求6所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，
当判断当前帧目标没有被遮挡或发生较大形变时，相关滤波训练模型和颜色直方图的更新系数分别取固定常数；
当判断当前帧目标被遮挡时，相关滤波训练模型的更新系数取
9.一种自适应余弦窗抗遮挡多特征融合的目标跟踪系统，包括：
用于将当前帧中目标图像块的颜色直方图与传统固定余弦窗进行求和，得到自适应余弦窗的装置；
用于提取当前帧中目标图像块的hog特征，采用自适应余弦窗对所述目标图像块进行预处理，对预处理后的目标图像块进行滤波处理，得到基于hog特征的滤波响应的装置；
用于计算当前帧目标图像块的颜色响应和前后帧的光流特征，将得到的基于hog特征的滤波响应、颜色特征响应以及光流特征进行加权求和，确定当前帧跟踪目标的初始位置的装置；
用于对得到的当前帧跟踪目标的初始位置进行鲁棒性检查的装置；
用于当跟踪结果不鲁棒时，采用反向多任务稀疏表示方法选取多个候选样本，重新确定当前帧中跟踪目标的位置的装置。
10.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-8任一项所述的自适应余弦窗抗遮挡多特征融合的目标跟踪方法。
技术总结