本申请属于视频处理领域，尤其涉及一种全景视频的目标跟踪方法、可读存储介质及计算机设备。
背景技术：
全景视频可使用户能够观看在全景相机拍摄角度范围内的任意视角的视频。在观看全景视频时，由于平面显示器某一时刻只能显示全景视频的其中一个视角，当用户想要持续观看特定目标对象时，可能由于目标消失在当前视角而需要控制平面显示器转动视角，因此操作比较麻烦。且当用户感兴趣的一个目标在全景视频中位置不断变化时，用户需要跟随目标的转动不断地调整观看视角，不仅操作麻烦，且会使用户有眩晕感。
技术实现要素：
本申请的目的在于提供一种全景视频的目标跟踪方法、装置、计算机可读存储介质、计算机设备及全景相机，旨在解决当用户感兴趣的一个目标在全景视频中位置不断变化时，用户需要跟随目标的转动不断地调整观看视角，不仅操作麻烦，且会使用户有眩晕感的问题。
本申请提供了一种全景视频的目标跟踪方法，所述方法包括：
s101、对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
s102、初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
s103、采用所述跟踪器对所述待跟踪目标进行跟踪检测，得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
s104、判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
进一步地，所述根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪之后，所述方法还包括：
在目标跟踪过程中，每隔一预设时间间隔，重新返回s103。
进一步地，所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪包括：
s1041、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，根据筛选条件对目标检测框进行筛选，将符合筛选条件的目标检测框作为第一候选目标框，筛选条件包括：检测出的目标的类别与跟踪器中的跟踪目标类别一致；检测出的目标检测框与跟踪器的目标跟踪框的尺寸差异在预设尺寸阈值范围内；和检测出的目标检测框与跟踪器的目标跟踪框的欧氏距离差距在预设欧氏阈值范围内；
s1042、使用跟踪器初始的相关滤波器对第一候选目标框分别计算得到响应图和置信度，并采用遮挡检测器计算第一候选目标框的遮挡分数，筛选出置信度大于预设置信度阈值，且遮挡分数小于预设遮挡分数阈值的第一候选目标框作为第二候选目标框；
s1043、在第二候选目标框中，选取响应图中响应值最大且无遮挡的第二候选目标框作为预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪。
进一步地，在s1042之后，所述方法还包括：
根据第二候选目标框与跟踪器的目标跟踪框的交并比iou值，判断是否可能发生了误检，若有误检，则视为此次遮挡恢复失败，执行所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的步骤。
进一步地，所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的包括：
s1051、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，将检测出的目标的类别与跟踪器中的跟踪目标类别一致的目标检测框作为第四候选目标框；
s1052、计算第四候选目标框与跟踪器的目标跟踪框的iou值，将iou值最大的第四候选目标框作为预测跟踪框，进入s1053；若iou值小于预设iou阈值，则视为此次跟踪恢复失败，返回s101重新检测跟踪；
s1053、将预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启，跟踪恢复成功。
进一步地，在s1052之前，所述方法还包括：
s1054、判断是否是经判断发生了误检，若是，则执行s1055，否则执行s1052；
s1055、根据第四候选目标框与跟踪器的目标跟踪框的尺寸差异，选取尺寸差异最小的第四候选目标框作为第五候选目标框；
s1056、根据第五候选目标框与跟踪器的目标跟踪框的欧式距离，选取距离最小的第五候选目标框作为预测跟踪框，进入s1053，若欧式距离大于预设欧式距离阈值，则视为此次跟踪恢复失败，返回s101重新检测跟踪。本申请提供了一种全景视频的目标跟踪装置，所述装置包括：
获取模块，用于对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
初始化模块，用于初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
计算模块，用于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
判断模块，用于判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
执行模块，用于如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的全景视频的目标跟踪方法的步骤。
本申请提供了一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的全景视频的目标跟踪方法的步骤。
本申请提供了一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的全景视频的目标跟踪方法的步骤
在本申请中，由于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，根据所述预测跟踪位置采用遮挡检测器对跟踪目标进行检测，计算得到遮挡分数；如果置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；如果置信度小于预设置信度阈值，且遮挡分数大于预设分数阈值，则根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置；如果置信度小于预设置信度阈值，且遮挡分数小于预设分数阈值，则根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将预测跟踪框作为跟踪器重启的初始化位置和大小，进行跟踪器重启。因此，本申请能够区分跟踪失败的原因是由于目标丢失还是遮挡导致，进而采取相应的跟踪恢复策略，在跟踪失效时能自动恢复跟踪，从而达到长时间持续跟踪的效果，且本发明方法具有较低的运算复杂度，实时性好。
附图说明
图1是本申请一实施例提供的全景视频的目标跟踪方法的应用场景示意图。
图2是本申请一实施例提供的全景视频的目标跟踪方法的流程图。
图3是本申请一实施例提供的全景视频的目标跟踪装置示意图。
图4是本申请一实施例提供的计算机设备的具体结构框图。
图5是本申请一实施例提供的全景相机的具体结构框图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，本申请一实施例提供的全景视频的目标跟踪方法的应用场景包括相连接的计算机设备100和全景相机200。计算机设备100和全景相机200中可运行至少一个的应用程序。计算机设备100可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。计算机设备100或者是全景相机200执行本申请一实施例提供的全景视频的目标跟踪方法对全景视频的目标进行跟踪。
请参阅图2，是本申请一实施例提供的全景视频的目标跟踪方法的流程图，本实施例主要以该全景视频的目标跟踪方法应用于计算机设备或全景相机为例来举例说明，本申请一实施例提供的全景视频的目标跟踪方法包括以下步骤：
s101、对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标。
在本申请一实施例中，s101具体可以包括：
采用目标检测算法对所述当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标，并确定所述待跟踪目标的类别。
获取待跟踪目标之后，所述方法还可以包括：
在所述全景视频帧上用边界框标识所述待跟踪目标，例如用矩形框、环形线圈等任意形状的边界框将所述待跟踪目标标识出来。
所述待跟踪目标可以是用户在所述全景视频帧中选定的，或者是通过目标检测算法自动选定的。待跟踪目标包括但不限于人、动物、车辆等物体；所述目标检测算法包括但不限于深度学习中的ssd算法(singleshotmultiboxdetector)、r-cnn系列算法(region-convolutionalneuralnetworks)和yolo系列算法(youonlylookonce)等。
s102、初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别。
在本申请一实施例中，初始化跟踪器包括：
s1021、获取当前全景视频帧中待跟踪目标的边界框所在区域；
s1022、对边界框所在区域的所有边界根据预设的扩大尺寸作扩边处理，生成图像块；
s1023、将所述图像块作为目标跟踪搜索区域，将所述待跟踪目标的边界框作为目标跟踪框，初始化目标跟踪搜索区域的前景尺寸和背景尺寸，并进行尺寸归一化；其中，前景尺寸为目标跟踪框的尺寸，背景尺寸为图像块的尺寸；
s1024、初始化相关滤波器的参数，初始化目标跟踪搜索区域的颜色特征相关前景信息和背景信息，所述相关滤波器为在线学习的相关滤波器；其中，前景信息为目标跟踪框的颜色特征相关信息，背景信息为图像块的颜色特征相关信息。
初始化遮挡检测器包括：
初始化遮挡检测器中目标跟踪搜索区域的前景尺寸和背景尺寸，并进行尺寸归一化；
分别计算初始化时刻前景的遮挡分数，作为后续遮挡检测的基准。其中，前景的遮挡分数为目标跟踪框的遮挡分数。
s103、采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数。
在本申请一实施例中，所述采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置具体可以包括以下步骤：
s1031、对图像块提取hog(histogramoforientedgradient，梯度方向直方图)特征和颜色特征生成特征图；
s1032、采用相关滤波器对特征图进行滤波生成响应图；
s1033、获取响应图中最大值对应的位置作为所述待跟踪目标在下一全景视频帧的预测跟踪位置。
在本申请一实施例中，所述计算所述预测跟踪位置的置信度具体可以包括：
计算所述预测跟踪位置的置信度的指标apce(averagepeak-tocorrelationenergy，平均峰值相关能量)采用如下公式：
当然也可以采用现有技术的其他指标作为所述预测跟踪位置的置信度的指标。例如：一、响应图中的最大值；二、mosse中的峰值旁瓣比(peaktosideloberatio,psr)，由相关滤波峰值，与11*11峰值窗口以外旁瓣的均值与标准差计算得到；三、每个通道的最大响应峰值；四、响应图中第二和第一主模式之间的比率，反映每个通道响应中主模式的表现力，但需要先做极大值检测。
所述根据所述预测跟踪位置采用遮挡检测器对跟踪目标进行检测，计算得到遮挡分数osraw(n)具体可以是通过以下公式计算：
其中，wn为图像块的宽度值，hn为图像块的高度值，xn和yn为图像块左上角x轴坐标值和y轴坐标值，hsv颜色空间下的图像坐标用(i,j)表示，l(target|h(i,j))为对数的似然函数，
s104、判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
在本申请一实施例中，所述根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪之后，所述方法还可以包括：
在目标跟踪过程中，每隔一预设时间间隔，重新返回s103。从而可以消除跟踪目标形变导致跟踪漂移进而导致的跟踪丢失问题。
如果置信度小于预设置信度阈值，且遮挡分数大于预设分数阈值，则说明跟踪目标被遮挡，所述根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置具体步骤包括：
s1041、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，根据筛选条件对目标检测框进行筛选，将符合筛选条件的目标检测框作为第一候选目标框，筛选条件包括：一、检测出的目标的类别与跟踪器中的跟踪目标类别一致；二、检测出的目标检测框与跟踪器的目标跟踪框的尺寸差异在预设尺寸阈值范围内；三、检测出的目标检测框与跟踪器的目标跟踪框的欧氏距离差距在预设欧氏阈值范围内；
s1042、使用跟踪器初始的相关滤波器对第一候选目标框分别计算得到响应图和置信度，并采用遮挡检测器计算第一候选目标框的遮挡分数，筛选出置信度大于预设置信度阈值，且遮挡分数小于预设遮挡分数阈值的第一候选目标框作为第二候选目标框；
s1043、在第二候选目标框中，选取响应图中响应值最大且无遮挡的第二候选目标框作为预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪(但是不用重新初始化跟踪器，之前训练更新维护的相关滤波器参数仍然有效，跟踪恢复成功)。
在s1042之后，所述方法还可以包括以下步骤：
根据第二候选目标框与跟踪器的目标跟踪框的iou(intersectionoverunion，交并比)值，判断是否可能发生了误检，若有误检，则视为此次遮挡恢复失败，执行所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的的步骤。
iou是一种测量在特定数据集中检测相应物体准确度的一个标准。iou是一个简单的测量标准，只要是在输出中得出一个预测范围(boundingboxes)的任务都可以用iou来进行测量。
如果置信度小于预设置信度阈值，且遮挡分数小于预设分数阈值，则说明跟踪目标丢失，所述根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将预测跟踪框作为跟踪器重启的初始化位置和大小，进行跟踪器重启具体包括：
s1051、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，将检测出的目标的类别与跟踪器中的跟踪目标类别一致的目标检测框作为第四候选目标框；
s1052、计算第四候选目标框与跟踪器的目标跟踪框的iou值，将iou值最大的第四候选目标框作为预测跟踪框，进入s1053；若iou值小于预设iou阈值，则视为此次跟踪恢复失败，返回s101重新检测跟踪；
s1053、将预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启，跟踪恢复成功。
在s1052之前，所述方法还可以包括：
s1054、判断是否是经判断发生了误检，若是，则执行s1055，否则执行s1052；
s1055、根据第四候选目标框与跟踪器的目标跟踪框的尺寸差异，选取尺寸差异最小的第四候选目标框作为第五候选目标框；
s1056、根据第五候选目标框与跟踪器的目标跟踪框的欧式距离，选取距离最小的第五候选目标框作为预测跟踪框，进入s1053，若欧式距离大于预设欧式距离阈值，则视为此次跟踪恢复失败，返回s101重新检测跟踪。
请参阅图3，本申请一实施例提供的全景视频的目标跟踪装置可以是运行于计算机设备或全景相机中的一个计算机程序或一段程序代码，例如该全景视频的目标跟踪装置为一个应用软件；该全景视频的目标跟踪装置可以用于执行本申请实施例提供的全景视频的目标跟踪方法中的相应步骤。本申请一实施例提供的全景视频的目标跟踪装置包括：
获取模块11，用于对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
初始化模块12，用于初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
计算模块13，用于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
判断模块14，用于判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
执行模块15，用于如果置信度大于预设所述预测跟踪位置的置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果置信度小于预设置所述预测跟踪位置的信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
本申请一实施例提供的全景视频的目标跟踪装置与本申请一实施例提供的全景视频的目标跟踪方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例提供的全景视频的目标跟踪方法的步骤。
图4示出了本申请一实施例提供的计算机设备的具体结构框图，该计算机设备可以是图1中所示的计算机设备，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例提供的全景视频的目标跟踪方法的步骤。
计算机设备可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。
图5示出了本申请一实施例提供的全景相机的具体结构框图，该全景相机可以是图1中所示的全景相机，一种全景相机200包括：一个或多个处理器201、存储器202、以及一个或多个计算机程序，其中所述处理器201和所述存储器202通过总线连接，所述一个或多个计算机程序被存储在所述存储器202中，并且被配置成由所述一个或多个处理器201执行，所述处理器201执行所述计算机程序时实现如本申请一实施例提供的全景视频的目标跟踪方法的步骤。
在本申请中，由于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，根据所述预测跟踪位置采用遮挡检测器对跟踪目标进行检测，计算得到遮挡分数；如果置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；如果置信度小于预设置信度阈值，且遮挡分数大于预设分数阈值，则根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置；如果置信度小于预设置信度阈值，且遮挡分数小于预设分数阈值，则根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将预测跟踪框作为跟踪器重启的初始化位置和大小，进行跟踪器重启。因此，本申请能够区分跟踪失败的原因是由于目标丢失还是遮挡导致，进而采取相应的跟踪恢复策略，达到跟踪失效自动恢复的长时间跟踪的效果，在跟踪失效时能自动恢复跟踪，从而达到长时间持续跟踪的效果，且本发明方法具有较低的运算复杂度，实时性好。
应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
1.一种全景视频的目标跟踪方法，其特征在于，所述方法包括：
s101、对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
s102、初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
s103、采用所述跟踪器对所述待跟踪目标进行跟踪检测，得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
s104、判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
2.如权利要求1所述的方法，其特征在于，s101包括：
采用目标检测算法对所述当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标，并确定所述待跟踪目标的类别。
3.如权利要求2所述的方法，其特征在于，所述获取待跟踪目标之后，所述方法还包括：
在所述全景视频帧上用边界框标识所述待跟踪目标。
4.如权利要求3所述的方法，其特征在于，所述初始化跟踪器包括：
s1021、获取当前全景视频帧中所述待跟踪目标的边界框所在区域；
s1022、对边界框所在区域的所有边界根据预设的扩大尺寸作扩边处理，生成图像块；
s1023、将所述图像块作为目标跟踪搜索区域，将所述待跟踪目标的边界框作为目标跟踪框，初始化目标跟踪搜索区域的前景尺寸和背景尺寸，并进行尺寸归一化；
s1024、初始化相关滤波器的参数，初始化目标跟踪搜索区域的颜色特征相关前景信息和背景信息；
所述初始化遮挡检测器包括：
初始化遮挡检测器中目标跟踪搜索区域的前景尺寸和背景尺寸，并进行尺寸归一化；
分别计算初始化时刻前景的遮挡分数，作为后续遮挡检测的基准。
5.如权利要求4所述的方法，其特征在于，所述采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置包括：
s1031、对图像块提取梯度方向直方图hog特征和颜色特征生成特征图；
s1032、采用相关滤波器对特征图进行滤波生成响应图；
s1033、获取响应图中最大值对应的位置作为所述待跟踪目标在下一全景视频帧的预测跟踪位置。
6.如权利要求1所述的方法，其特征在于，所述根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪之后，所述方法还包括：
在目标跟踪过程中，每隔一预设时间间隔，重新返回s103。
7.如权利要求4所述的方法，其特征在于，所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪包括：
s1041、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，根据筛选条件对目标检测框进行筛选，将符合筛选条件的目标检测框作为第一候选目标框，筛选条件包括：检测出的目标的类别与跟踪器中的跟踪目标类别一致；检测出的目标检测框与跟踪器的目标跟踪框的尺寸差异在预设尺寸阈值范围内；和检测出的目标检测框与跟踪器的目标跟踪框的欧氏距离差距在预设欧氏阈值范围内；
s1042、使用跟踪器初始的相关滤波器对第一候选目标框分别计算得到响应图和置信度，并采用遮挡检测器计算第一候选目标框的遮挡分数，筛选出置信度大于预设置信度阈值，且遮挡分数小于预设遮挡分数阈值的第一候选目标框作为第二候选目标框；
s1043、在第二候选目标框中，选取响应图中响应值最大且无遮挡的第二候选目标框作为预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪。
8.如权利要求7所述的方法，其特征在于，在s1042之后，所述方法还包括：
根据第二候选目标框与跟踪器的目标跟踪框的交并比iou值，判断是否可能发生了误检，若有误检，则视为此次遮挡恢复失败，执行所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的步骤。
9.如权利要求1或8所述的方法，其特征在于，所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的包括：
s1051、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，将检测出的目标的类别与跟踪器中的跟踪目标类别一致的目标检测框作为第四候选目标框；
s1052、计算第四候选目标框与跟踪器的目标跟踪框的iou值，将iou值最大的第四候选目标框作为预测跟踪框，进入s1053；若iou值小于预设iou阈值，则视为此次跟踪恢复失败，返回s101重新检测跟踪；
s1053、将预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启，跟踪恢复成功。
10.如权利要求9所述的方法，其特征在于，在s1052之前，所述方法还包括：
s1054、判断是否是经判断发生了误检，若是，则执行s1055，否则执行s1052；
s1055、根据第四候选目标框与跟踪器的目标跟踪框的尺寸差异，选取尺寸差异最小的第四候选目标框作为第五候选目标框；
s1056、根据第五候选目标框与跟踪器的目标跟踪框的欧式距离，选取距离最小的第五候选目标框作为预测跟踪框，进入s1053，若欧式距离大于预设欧式距离阈值，则视为此次跟踪恢复失败，返回s101重新检测跟踪。
11.一种全景视频的目标跟踪装置，其特征在于，所述装置包括：
获取模块，用于对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
初始化模块，用于初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
计算模块，用于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
判断模块，用于判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
执行模块，用于如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的全景视频的目标跟踪方法的步骤。
13.一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的全景视频的目标跟踪方法的步骤。
14.一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的全景视频的目标跟踪方法的步骤。
技术总结