本发明属于计算机视觉目标跟踪领域，特别涉及一种基于上下文感知回归时空正则相关滤波跟踪方法，较好地解决了现有的一些目标跟踪方法在跟踪精确度，成功率和鲁棒性不高的问题。
背景技术：
在线目标跟踪时计算机视觉领域中的一个热点研究课题，其对于异常事件检测，运动分析，场景理解等高层次的视觉研究具有重要意义，并且在视频监控，无人驾驶，人机交互等领域有着广泛的应用前景。
在复杂场景下，由于目标发生较大外观变化，如目标间相互遮挡或者背景静物对目标的遮挡，目标发生旋转，目标尺度变化等因素的影响，尤其是当目标被长期遮挡，或者目标模板的运动状态长时间没有更新的情况下，跟踪的轨迹会渐渐偏移目标，降低目标跟踪的精确度和成功率。
随着人工智能的兴起，目标跟踪成为本领域的重点关注方向之一。
技术实现要素：
本发明是针对目标跟踪中出现的遮挡干扰，目标旋转，尺度变化等因素所引起的跟踪精确度和成功率不高的问题，提出一种基于上下文感知回归时空正则相关滤波跟踪方法。
本发明的技术方案：种基于上下文感知回归时空正则相关滤波跟踪方法，包括以下步骤：
步骤s1中，给定初始化样本，确定初始目标模板，初始目标上下文，对初始帧采样，样本训练集为
初始化目标位置：给定初始帧的目标位置。即目标的x,y坐标和长度及宽度，算法根据初始位置提取特征信息，具体的处理方式如下：
iposition＝[x,y,w,h]
iposition表示目标位置，[x,y,w,h]表示目标的坐标位置，长度和宽度，最终就是一个框住目标的矩形框。
目标背景填充：为了保证方法的鲁棒性，防止在跟踪过程中目标外观变化大的情况，保证获取更多的判别信息，具体的处理方式如下：
isam_sz＝ibase_sz ip_con
isam_sz表示填充后的目标样本，ibase_sz表示原始目标尺寸大小，ip_con表示填充的上下文信息。
步骤s2中，目标位置初始化之后，并且目标位置部分背景填充之后，特征提取，将hog和cn特征融合。因为hog特征对图像局部出现的方向梯度进行计数，cn颜色特征对目标颜色进行统计，可以对目标的遮挡和形变有较好地处理能力。
对候选上下文目标进行特征提取，采用的是hog和cn特征，hog特征可以对图像局部出现的方向梯度进行计数，cn颜色特征对目标颜色进行统计，从梯度和颜色上融合，可以对目标的遮挡和形变有较好地处理能力，具体处理方式如下：
梯度特征提取方式(hog)：
gx(x,y)＝h(x 1,y)-h(x-1,y)
gy(x,y)＝h(x,y 1)-h(x,y-1)
式中gx(x,y)，gy(x,y)，h(x,y)分别表示输入图像中像素点处的水平方向梯度，垂直方向梯度和像素值。
颜色特征(cn)：颜色特征是一种全局特征，描述图像或图像区域所对应的景物的表面性质，颜色特征能够不受图像旋转和平移变化的影响，归一化后不受尺度变化影响。
在步骤s3中，回归拟合，上下文信息引入之后，根据目标空间结构改变，重新构造回归标签，将样本标签进行平滑操作，拟合近似高斯型(1)，其中，σ表示高斯带宽，m,n表示样本xt的空间位置，ε表示回归平滑参数。
在步骤s4中，添加约束项，引入时间和空间正则项，确立目标方程(2)，通过最小化目标求解，得到时间正则参数μ和空间正则矩阵w(滤波器)，式中，cd表示通道d的滤波器，c表示当前帧滤波器，ci-1表示前一帧滤波器。由于引入上下文信息之后，样本
在步骤s5中，求解出时间正则参数μ和空间正则矩阵w(滤波器)，与样本在傅里叶域进行相关滤波操作，即卷积操作，最后卷积操作之后，目标样本和滤波器的响应值得分，将最大得分确定为目标区域，然后更新目标模板。其中时间正则参数的作用是尽可能控制前后两帧得到的滤波之间的误差，最小化误差。空间正则矩阵w(滤波器)的作用是，通过权重分布，抑制背景区域，突出目标区域。
目的是约束目标求解，防止过度拟合，从时间上和空间上约束目标方程，时间正则参数μ和空间正则矩阵w(滤波器)，时间正则项
时间正则参数和空间正则矩阵的求解，是通过最小化目标方程，目标方程的形式比较复杂，求解过程中引入合并，拉格朗日约束，admm子问题分解，分解之后得到如下式(3)，(4)，(5)，具体处理方式如下：
h(i 1)＝h(i) c(i 1)-g(i 1)(5)
在步骤s6中：对后续帧进行步骤s2,s3,s4,s5操作，直到序列结束。
对图片帧的循环操作，重复步骤s2,s3,s4,s5，就是通过对每一帧就进行同样的操作，直到视频序列结束。图1例中的流程展示，对初始帧后续帧进行特征提取，构建目标方程，求解空间正则矩阵，进行相关滤波操作，确定目标位置，然后更新模板。这里有一点不同的是，初始帧的目标模板是给定的；而后续帧的目标模板是通过前序帧目标位置来更新的。
本发明提出一种种基于上下文感知回归时空正则相关滤波跟踪方法，与现有技术相比，本发明的有益效果是：
本文提出一种基于上下文感知时空正则相关滤波跟踪方法，主要特点是基于相关滤波机制，并且有上下文感知回归，能够较好地拟合目标结构，此外和空间正则约束项，能够较好地约束求解，构造空间矩阵w(滤波器)，在进行相关滤波是，更好的突出目标区域抑制背景区域，时间正则约束项能够较好地抑制前后滤波器之间的误差。将hog(histogramofgradient)和cn(colorname)特征融合，可以解决目标外观变变化大的情况，如旋转，尺度变化等。本发明方法在精确度，成功率和鲁棒性方面均达到良好的效果，在实际应用中有较好的价值和前景。
附图说明
图1是本发明的总体流程图；
图2是本发明的目标位置标注示意图；
图3是本发明的高斯平滑示意图；
图4是本发明的相关滤波结构图；
图5是本发明中使用的相关滤波具体操作图；
具体实施方式
为了将本发明实施例中的技术方案描述的完整、清楚，下面将结合本发明实施例中的附图展开进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不限定本发明。
请参阅图1，本发明提供了一种技术方案：一种基于上下文感知回归时空正则相关滤波跟踪方法，包括以下步骤：
步骤s1：给定初始化样本，确定初始目标模板，初始目标上下文，对初始帧采样，样本训练集为
初始化目标位置：给定初始帧的目标位置。即目标的x,y坐标和长度及宽度，算法根据初始位置提取特征信息，具体的处理方式如下：
iposition＝[x,y,w,h]
iposition表示目标位置，[x,y,w,h]表示目标的坐标位置，长度和宽度，最终就是一个框住目标的矩形框，图2所示，红色矩形框就是用矩形标注的目标位置。
目标背景填充：为了保证方法的鲁棒性，防止在跟踪过程中目标外观变化大的情况，保证获取更多的判别信息，如图2所示，红色矩形框和蓝色矩形框之间的部分就是填充的目标上下文信息。具体的处理方式如下：
isam_sz＝ibase_sz ip_con
isam_sz表示填充后的目标样本，ibase_sz表示原始目标尺寸大小，ip_con表示填充的上下文信息。
步骤s2：目标位置初始化之后，并且目标位置部分背景填充之后，特征提取，将hog和cn特征融合。因为hog特征对图像局部出现的方向梯度进行计数，cn颜色特征对目标颜色进行统计，可以对目标的遮挡和形变有较好地处理能力。
对候选上下文目标进行特征提取，采用的是hog和cn特征，hog特征可以对图像局部出现的方向梯度进行计数，cn颜色特征对目标颜色进行统计，从梯度和颜色上融合，可以对目标的遮挡和形变有较好地处理能力，具体处理方式如下：
梯度特征提取方式(hog)：
gx(x,y)＝h(x 1,y)-h(x-1,y)
gy(x,y)＝h(x,y 1)-h(x,y-1)
梯度处理将对图像的处理转换成数学公式计算，就是对不同像素点的位置进行求导，由于分x方向和y方向，转换之后就是分别对x,y求偏导，式中gx(x,y)，gy(x,y)，h(x,y)分别表示输入图像中像素点处的水平方向梯度，垂直方向梯度和像素值。
颜色特征(cn)：颜色特征是一种全局特征，描述图像或图像区域所对应的景物的表面性质，颜色特征能够不受图像旋转和平移变化的影响，归一化后不受尺度变化影响。颜色特征是图像检索应用中比较常用的视觉特征，原因在于颜色往往和图像中所包含的物体和场景十分相关，并且颜色特征是基于像素点的特征，所有属于图像或者图像区域的像素都有各自的贡献。
步骤s3：回归拟合，上下文信息引入之后，根据目标空间结构改变，重新构造回归标签，将高斯型进行平滑操作，拟合近似高斯型(1)，其中，σ表示高斯带宽，m,n表示样本xt的空间位置，ε表示回归平滑参数。如图3所示，图中分两部分，上面一部分表示的原始的回归标签，下面一部分表示的是引入上下文之后的回归标签，“→”表示样本对应回归标签的方向，“↓”表示样本在引入上下文信息之后的变化。
步骤s4：添加约束项，引入时间和空间正则项，确立目标方程(2)，通过通过最小化目标求解，得到时间正则参数μ和空间正则矩阵w(滤波器)，式中，cd表示通道d的滤波器，c表示当前帧滤波器，ci-1表示前一帧滤波器。由于引入上下文信息之后，样本
步骤s5：求解出时间正则参数μ和空间正则矩阵w(滤波器)，与样本在傅里叶域进行相关滤波操作，即卷积操作，最后卷积操作之后，目标样本和滤波器的响应值得分，将最大得分确定为目标区域，然后更新目标模板。其中时间正则参数的作用是尽可能控制前后两帧得到的滤波之间的误差，最小化误差。空间正则矩阵(滤波器)的作用是，通过权重分布，抑制背景区域，突出目标区域。如图4所示，图例主要展示了图像和滤波器之间的卷积操作，计算机计算，是将图像的每个像素都转换成数据，不同的数字大小表示不同的颜色，颜色的取值范围0-255，这里用到的滤波器就是s4步骤中求得的空间正则矩阵，相关滤波操作就是讲滤波器以滑动窗口的形式，在输入图像上，进行滑动卷积，没卷积一次，都会得到一个响应值，最后目标位置有最大响应值确定，常规理解是，两个矩阵越相似，点击之后得到的值就会越大，相关滤波操作，目标位置的确定就是跟踪这个原理。图例中点击操作，首先从输入图像中取出和滤波器尺寸大小一样的图像块，然后与滤波器对应位置相乘，得到一个新的矩阵图像块，然后将得到的矩阵图像块进行求和操作，“∑”表示求和操作，最后得到一个响应值数值，每一次卷积只能得到一个数值。
添加约束项的目的是优化目标求解，防止过度拟合，从时间上和空间上约束目标方程，时间正则参数μ和空间正则矩阵w(滤波器)，时间正则项
时间正则参数和空间正则矩阵w(滤波器)的求解，是通过最小化目标方程，目标方程的形式比较复杂，求解过程中引入合并，拉格朗日约束，admm子问题分解，分解之后得到如下式(3)，(4)，(5)，具体处理方式如下：
h(i 1)＝h(i) c(i 1)-g(i 1)(5)
如图5所示，图例中展示的是样本图像，从初始帧开始，进行相关滤波的操作，图中分两步走，将初始帧和后续帧分开操作，因为后续帧需要前一帧更新的目标模板，而第一帧的目标模板是给定的。所以在图5中，对初始帧的操作是：滤波器与样本图像进行相关操作，得到置信度得分，然后根据最大值得分确定目标位置。对后续帧的操作中，基本步骤一样，而其中有涉及到在目标定位之后，进行特征提取和模板更新操作。图中的“→”表示执行流程操作。“fft”表示的傅里叶变换，“ifft”表示的是逆傅里叶变换，因为点乘关系，在傅里叶频域变换，计算速度快。
步骤s6中：对后续帧进行步骤s2,s3,s4,s5操作，直到序列结束。如图1所示，图中展示了初始帧，和后续帧，图例中的“…”表示省略的图片帧。
对图片帧的循环操作，重复步骤s2,s3,s4,s5，就是通过对每一帧就进行同样的操作，直到视频序列结束。图1例中的流程展示，对初始帧后续帧进行特征提取，构建目标方程，求解空间正则矩阵，进行相关滤波操作，确定目标位置，然后更新模板。这里有一点不同的是，初始帧的目标模板是给定的；而后续帧的目标模板是通过前序帧目标位置来更新的。
综上所述，本发明采用一种基于上下文感知回归时空正则相关滤波跟方法，在相关滤波的基础上调整目标结构变化，引入上下文信息，进而根据结构变化，拟合回归方程。并且将hog和cn特征融合，提供更多的判别信息。紧接着，添加约束项，从空间上，调整滤波器结构，突出目标区域，抑制背景区域。从时间上，约束前后帧滤波器构造的误差。理论分析，通过特征融合，目标结构拟合，时间空间约束，可以进一步处理目标跟踪中出现的目标外观变化大的问题，实验证明，在公开数据集otb100(objecttrackingbenchmarkv1.0)上测试，得到的跟踪结果在精确度，成功率和鲁棒性上优于现有的一些先进算法。
对于本领域的技术人员，本发明不限于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其它具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的精神和范围，这些改进和变形也应视为本发明的保护范围。
1.一种基于上下文感知回归时空正则相关滤波跟踪方法，其特征在于所述方法包括以下步骤：
步骤s1：给定初始化样本，确定初始目标模板，初始目标上下文，对初始帧采样，样本训练集为
初始化目标位置：给定初始帧的目标位置，即目标的x,y坐标和长度及宽度，算法根据初始位置提取特征信息，具体的处理方式如下：
iposition＝[x,y,w,h]
iposition表示目标位置，[x,y,w,h]表示目标的坐标位置，长度和宽度，最终就是一个框住目标的矩形框，
目标背景填充：为了保证方法的鲁棒性，防止在跟踪过程中目标外观变化大的情况，保证获取更多的判别信息，具体的处理方式如下：
isam_sz＝ibase_sz ip_con
isam_sz表示填充后的目标样本，ibase_sz表示原始目标尺寸大小，ip_con表示填充的上下文信息，
步骤s2：目标位置初始化之后目标周围填充部分背景，然后特征提取，将hog(histogramoforientedgradients)和cn(colornames)特征融合，
对候选上下文目标进行特征提取，采用的是hog和cn特征，hog特征可以对图像局部出现的方向梯度进行计数，cn颜色特征对目标颜色进行统计，从梯度和颜色上融合，可以对目标的遮挡和形变有较好地处理能力，具体处理方式如下：
梯度特征提取方式(hog)：
gx(x,y)＝h(x 1,y)-h(x-1,y)
gy(x,y)＝h(x,y 1)-h(x,y-1)
式中gx(x,y)，gy(x,y)，h(x,y)分别表示输入图像中像素点处的水平方向梯度，垂直方向梯度和像素值，
颜色特征(cn)：颜色特征是一种全局特征，描述图像或图像区域所对应的景物的表面性质，颜色特征能够不受图像旋转和平移变化的影响，归一化后不受尺度变化影响，
步骤s3：回归拟合，上下文信息引入之后，根据目标空间结构改变，重新构造回归标签，将高斯型进行平滑操作，拟合近似高斯型(1)，其中，y′t表示拟合高斯型，σ表示高斯带宽，m,n表示样本xt的空间位置，ε表示回归平滑参数，
步骤s4：添加约束项，引入时间和空间正则项，确立目标方程(2)，通过最小化目标求解，得到时间正则参数μ和空间正则矩阵w(滤波器)，式中，cd表示通道d的滤波器，c表示当前帧滤波器，ci-1表示前一帧滤波器，这里引入上下文信息之后，样本
添加约束的目的是优化目标求解，防止过度拟合，从时间上和空间上约束目标方程，时间正则参数μ和空间正则矩阵w(滤波器)，时间正则项
步骤s5：求解出时间正则参数μ和空间正则矩阵w(滤波器)，与样本在傅里叶域进行相关滤波操作，即卷积操作，最后卷积操作之后，目标样本和滤波器的响应值得分，将最大得分确定为目标区域，然后更新目标模板，其中时间正则参数的作用是控制前后两帧滤波器之间的误差，使得误差尽可能小，空间正则矩阵w(滤波器)的作用是，通过权重分布，抑制背景区域，突出目标区域，
添加约束项目的是优化目标求解，防止过度拟合，从时间上和空间上约束目标方程，时间正则参数μ和空间正则矩阵w(滤波器)，时间正则项
时间正则参数和空间正则矩阵的求解，是通过最小化目标方程，目标方程的形式比较复杂，求解过程中引入合并，拉格朗日约束，admm子问题分解，分解之后得到如下式(3)，(4)，(5)，具体处理方式如下：
h(i 1)＝h(i) c(i 1)-g(i 1)(5)
步骤s6：对后续帧进行步骤s2,s3,s4,s5操作，直到序列结束，对视频序列帧的循环操作，就是通过对每一帧就进行同样的操作，直到视频序列结束，对初始帧及后续帧进行特征提取，构建目标方程，求解空间正则矩阵，进行相关滤波操作，确定目标位置，然后更新模板，这里有一点不同的是，初始帧的目标模板是给定的，而后续帧的目标模板是通过前序帧目标位置来更新的。
2.根据权利要求书1所述的一种上下文感知回归时空正则相关滤波跟踪方法，所述步骤s1中对样本目标进行初始化，扩增获选目标上下文，特征提取处理具体为：
初始化目标位置：给定初始帧的目标位置，即目标的x,y坐标和长度及宽度，算法根据初始位置提取特征信息，具体的处理方式如下：
iposition＝[x,y,w,h]
iposition表示目标位置，[x,y,w,h]表示目标的坐标位，长度和宽度，最终就是以一个框住目标的矩形框，
目标背景填充：为了保证方法的鲁棒性，防止在跟踪过程中目标外观变化大的情况，保证获取更多的判别信息，具体的处理方式如下：
isam_sz＝ibase_sz ip_con
isam_sz表示填充后的目标样本，ibase_sz表示原始目标尺寸大小，ip_con表示填充的上下文信息。
3.根据权利要求书1所述的一种基于上下文感知回归时空正则相关滤波跟踪方法，所述步骤s2中对候选上下文目标进行特征提取，采用的是hog和cn特征，hog特征可以对图像局部出现的方向梯度进行计数，cn颜色特征对目标颜色进行统计，从梯度和颜色上融合，可以对目标的遮挡和形变有较好地处理能力，具体处理方式如下：
梯度特征提取方式(hog)：
gx(x,y)＝h(x 1,y)-h(x-1,y)
gy(x,y)＝h(x,y 1)-h(x,y-1)
式中gx(x,y)，gy(x,y)，h(x,y)分别表示输入图像中像素点处的水平方向梯度，垂直方向梯度和像素值，
颜色特征(cn)：颜色特征是一种全局特征，描述图像或图像区域所对应的景物的表面性质，颜色特征能够不受图像旋转和平移变化的影响，归一化后不受尺度变化影响。
4.根据权利要求书1所述的一种基于上下文感知回归时空正则相关滤波跟踪方法，所述步骤s3中对回归目标的拟合，上下文信息引入后，目标结构发生变化，调整目标的回归结构，平滑拟合目标标签形状，具体处理方式如下(1)：
式中，y′t表示拟合高斯型，σ表示高斯带宽，m,n表示样本xt的空间位置，ε表示回归平滑参数。
5.根据权利要求书1所述的一种基于上下文感知回归时空正则相关滤波跟踪方法，所述步骤s4中引入时间和空间正则项，目的是约束目标求解，防止过度拟合，从时间上和空间上约束目标方程，时间正则参数μ和空间正则矩阵w(滤波器)，时间正则项
6.根据权利要求书1所述的一种基于上下文感知回归时空正则相关滤波跟踪方法，所述步骤s5中时间正则参数和空间正则矩阵的求解，是通过最小化目标方程(2)，具体处理方式如下：
求解出时间正则参数μ和空间正则矩阵w(滤波器)，与样本在傅里叶域进行相关滤波操作，即卷积操作，最后卷积操作之后，目标样本和滤波器的响应值得分，将最大得分确定为目标区域，然后更新目标模板，其中时间正则参数的作用是尽可能控制前后两帧得到的滤波之间的误差，最小化误差，空间正则矩阵(滤波器)的作用是，通过权重分布，抑制背景区域，突出目标区域，
时间正则参数和空间正则矩阵的求解，是通过最小化目标方程，目标方程的形式比较复杂，求解过程中引入合并，拉格朗日约束，admm子问题分解，分解之后得到如下式(3)，(4)，(5)，具体处理方式如下：
h(i 1)＝h(i) c(i 1)-g(i 1)(5)。
7.根据权利要求书1所述的一种基于上下文感知回归时空正则相关滤波跟踪方法，所述步骤中s6中其主要实现方式，是一个循环操作，重复步骤s2,s3,s4,s5，直到视频序列结束，具体处理方式如下：
对图片帧的循环操作，重复步骤s2,s3,s4,s5，就是通过对每一帧就进行同样的操作，直到视频序列结束，对初始帧后续帧进行特征提取，构建目标方程，求解空间正则矩阵，进行相关滤波操作，确定目标位置，然后更新模板，这里有一点不同的是，初始帧的目标模板是给定的；而后续帧的目标模板是通过前序帧目标位置来更新的。
技术总结