本发明涉及视频中的行人追踪，具体涉及一种基于马尔科夫模型的视频多行人追踪方法。
背景技术：
现有的基于视频多行人追踪算法主要分为两大类：一类是基于运动信息结合滤波方式进行多目标行人跟踪，其中常用的滤波方式有卡尔曼滤波、扩展卡尔曼滤波以及粒子滤波等，该类算法主要通过检测获得行人的运动信息，如运动速度和方向等，然后通过滤波方式对目标的运动状态进行预测，从而得到目标的运动轨迹。该类算法的特点是计算简单，但是追踪精度不高，当行人存在相互遮挡时，容易出现行人轨迹切换而导致跟踪出错的情况。另一类是基于深度学习特征关联算法，该类算法主要是通过深度学习模型，训练并获得行人特征，通过特征关联来跟踪行人的轨迹，该类算法的特点是跟踪精度相对较高，但是计算复杂，在行人特征相似或行人受到遮挡时轨迹跟踪精度下降。
现有的基于视频多行人跟踪算法都难以解决多行人之间因相互遮挡、行人受其他物体遮挡或行人之间外观相似而造成的轨迹跟踪精度下降问题。随着计算机视觉技术的发展，在复杂的环境下对多行人进行准确的轨迹跟踪尤为重要，但是在多行人环境下，遮挡或外观相似等问题是不可避免的，尤其在人流量较大的情况下，遮挡是目标跟踪算法首要解决的问题。
技术实现要素：
针对现有技术中的上述不足，本发明提供的基于马尔科夫模型的视频多行人追踪方法解决了现有的多行人追踪算法因行人相互遮挡或外观相似造成的跟踪精度下降的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于马尔科夫模型的视频多行人追踪方法，其特征在于，包括：
s1、获取视频序列第一帧中的行人检测框，并将其作为初始运动轨迹；
s2、获取视频序列下一帧中的行人检测框，并计算每个行人检测框与所有运动轨迹上一帧中的行人检测框之间的运动相似度及外观相似度；
s3、判断同一行人检测框对应的所有运动相似度是否均大于运动阈值及所有的外观相似度是否均大于外观阈值；
若所有运动相似度均大于运动阈值或者所有的外观相似度均大于外观阈值，则新增一条运动轨迹并返回步骤s2；
若所有运动相似度均小于等于运动阈值且所有的外观相似度均小于等于外观阈值，则进入步骤s4；
s4、根据行人检测框与运动轨迹的运动相似度和外观相似度，分别计算每条运动轨迹与每个行人检测框的匹配相似度；
s5、判断当前行人检测框与运动轨迹之间的运动相似度是否大于运动阈值及外观相似度是否大于外观阈值；
若运动相似度大于运动阈值或者外观相似度大于外观阈值，则运动轨迹转移到当前行人检测框的转移概率为零；
若运动相似度小于等于运动阈值且外观相似度小于等于外观阈值，则进入步骤s6；
s6、根据同一运动轨迹与所有行人检测框之间的匹配相似度，采用马尔科夫模型分别计算每条运动轨迹转移至每个行人检测框的归一化的转移概率；
s7、根据同一运动轨迹与所有的行人检测框之间的转移概率，对多条轨迹进行跟踪，并在运动轨迹有效时更新计算匹配相似度时的权重后返回步骤s2。
本发明的有益效果为：本方案在进行多行人跟踪时，考虑了行人的运动信息和外观特征信息，再通过运动相似度和外观相似度计算的匹配相似度构建的马尔科夫模型进行转移概率的确定，最终通过转移概率对行人进行跟踪，以避免复杂环境下行人遮挡或交叉引起的跟踪不准确的问题，从而保证多行人跟踪的准确率。
附图说明
图1为基于马尔科夫模型的视频多行人追踪方法的流程图。
图2为基于转移概率对多条轨迹进行跟踪具体实现时的流程图。
图3为基于马尔科夫模型的视频多行人追踪过程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
参考图1，图1示出了基于马尔科夫模型的视频多行人追踪方法的流程图，如图1所示，该方法s包括步骤s1至步骤s7。
在步骤s1中，获取视频序列第一帧中的行人检测框，并将其作为初始运动轨迹；如果第一帧有n个行人检测框，则初始轨迹的数量有n条。
实施时，本方案优选采用yolo网络目标识别框架获取视频序列中每一帧中的行人检测框。
利用现有的yolo网络目标识别框架进行前期行人检测，获得视频序列中每一帧中行人的检测框(即行人的位置和大小(x，y，w，h))。yolo网络是在googlenet网络框架的基础上改进而来的，采用端到端的检测，检测速度远超于r-cnn，fastr-cnn以及fasterr-cnn等基于建议区域搜索的目标检测框架。
在步骤s2中，获取视频序列下一帧中的行人检测框，并计算每个行人检测框与所有运动轨迹上一帧中的行人检测框之间的运动相似度及外观相似度。
本方案的运动相似度是基于运动信息计算而得，运动信息包括两个部分：运动轨迹与当前行人检测框之间的像素距离；运动轨迹末端点的行人检测框与当前行人检测框的重合占比。外观相似度是采用神经网络训练得到的重识别特征作为的外观特征计算而得，具体的外观相似度为运动轨迹i对应的行人检测框的外观特征与当前行人检测框j的外观特征的欧式距离。
在本发明的一个实施例中，所述运动相似度的计算公式为：
其中，m(i,j)为运动轨迹i和当前行人检测框j的运动相似度；d(i,j)为运动轨迹i和当前行人检测框j的像素距离；iou(i,j)为运动轨迹i对应的行人检测框和当前行人检测框j之间的重合占比；f(i,j)为外观相似度；α、β和γ分别为像素距离、重合占比和外观相似度的权重，α β γ＝1；e为0.00001～0.001间的正数。
所述像素距离d(i,j)的计算公式为：
其中，(xi,yi)是运动轨迹i上一帧对应的行人检测框的中心位置像素坐标，(xj,yj)为行人检测框j对应的中心位置像素坐标；
重合占比iou(i,j)的计算公式为：
其中，si为运动轨迹i上一帧对应的行人检测框的面积，sj为行人检测框j的面积；sr为si和sj重合的面积。
在步骤s3中，判断同一行人检测框对应的所有运动相似度是否均大于运动阈值及所有的外观相似度是否均大于外观阈值；
若所有运动相似度均大于运动阈值或者所有的外观相似度均大于外观阈值，则新增一条运动轨迹并返回步骤s2；
若所有运动相似度均小于等于运动阈值且所有的外观相似度均小于等于外观阈值，则进入步骤s4；
在步骤s4中，根据行人检测框与运动轨迹的运动相似度和外观相似度，分别计算每条运动轨迹与每个行人检测框的匹配相似度：
其中，sim(i,j)为运动轨迹i与当前行人检测框j之间的匹配相似度。
在步骤s5中，判断当前行人检测框与运动轨迹之间的运动相似度是否大于运动阈值及外观相似度是否大于外观阈值；
若运动相似度大于运动阈值或者外观相似度大于外观阈值，则运动轨迹转移到当前行人检测框的转移概率为零；
若运动相似度小于等于运动阈值且外观相似度小于等于外观阈值，则进入步骤s6；
在步骤s6中，根据同一运动轨迹与所有行人检测框之间的匹配相似度，采用马尔科夫模型分别计算每条运动轨迹转移至每个行人检测框的归一化的转移概率：
其中，pt(i,j)为第t帧中运动轨迹i转移至行人检测框j的归一化的转移概率；n为第t帧中行人检测框的总数量。
本方案构建的马尔科夫模型有两个参数，一个是状态值和转移概率，其中的状态值指视频序列中当前帧的所有行人检测框，当前帧的行人检测框的总数量用n表示。
在步骤s7中，根据同一运动轨迹与所有的行人检测框之间的转移概率，对多条轨迹进行跟踪，并在运动轨迹有效时更新计算匹配相似度时的权重后返回步骤s2，运动轨迹无效时，则结束相应运动轨迹的跟踪。
如图2所示，在本发明的一个实施例中，所述步骤s7进一步包括：
s71、判断同一条运动轨迹的所有转移概率之间的关系；
s711、若同一条运动轨迹的所有转移概率均为零，则当前运动轨迹为漏检，并判断当前运动轨迹连续出现漏检的次数是否大于设定阈值，若是，进入步骤s7111，否则进入s7112；
s7111，运动轨迹无效，结束当前运动轨迹的跟踪；
s7112，更新计算匹配相似度时的权重后返回步骤s2；
s712、若同一条运动轨迹存在最大转移概率，将最大转移概率对应的行人检测框扩展为运动轨迹的末端数据；
s713、当所有运动轨迹的最大转移概率确定完成后，判断是否存在至少两个最大转移概率对应于同一行人检测框；若不存在，进入步骤s7131，否则进行步骤s7132；
s7131、更新计算匹配相似度时的权重后返回步骤s2；
s7132、标记相应运动轨迹为交叉，并查找运动轨迹在交叉时前一帧的行人检测框，并将其作为轨迹跟踪时下一帧的上一帧中行人检测框，同时更新计算匹配相似度时的权重后返回步骤s2。
采用本方案提供的该种行人追踪方法其能够准确地进行漏检和交叉进行准确检测，并能够对交叉后的运动轨迹进行准确识别，从而保证了多行人跟踪的准确性。
实施时，本方案优选在步骤s7112和步骤s7132中，均更新权重γ＞α＞β；在步骤s7131中，更新权重γ＝α＝β。
下面结合图3的实例对视频多行人追踪方法进行说明：
将视频序列的第1帧检测结果作为轨迹的起始位置，如图3的轨迹t1，t2和t3。从第2帧开始，将当前帧检测结果(即第2帧的检测结果)与轨迹(此时是第1帧的检测结果)进行匹配相似度计算，并通过马尔科夫模型将当前帧检测结果与轨迹进行匹配关联(如图3中第1帧和第2帧的关联)，对于第2帧出现的新行人检测框，该行人检测框与现有的轨迹都不关联，因此将其作为新的轨迹起点，即t4轨迹。
对于t1和t2轨迹出现的漏检情况，漏检帧数在阈值范围内，所以会继续与后续的检测结果关联，在漏检开始和行人重新出现的时间段内，计算匹配相似度时，权重系数满足γ＞α＞β；轨迹t3和轨迹t4在第4帧出现了轨迹交叉情况，但是在第6帧又进行了重新区分，因此对于轨迹交叉处开始直到轨迹重新分开位置，采用未交叉前的检测结果(即第3帧的数据)与当前帧的检测结果(例如第5帧检测结果)进行匹配相似度的计算。
此外，对于错误检测的结果，由于外观特征与现有的轨迹相差一般较大，且同一位置周围误检的概率较小，因此一般不会加入到现有轨迹序列中，也不会作为新的有效轨迹。
综上所述，本方案提供的方法利用马尔科夫模型结合行人的运动信息和外观特征信息，可以解决行人因相互遮挡或漏检而造成的追踪精度下降问题，针对轨迹交叉的情况，在行人重新区分后，轨迹也能随之分开。
1.基于马尔科夫模型的视频多行人追踪方法，其特征在于，包括：
s1、获取视频序列第一帧中的行人检测框，并将其作为初始运动轨迹；
s2、获取视频序列下一帧中的行人检测框，并计算每个行人检测框与所有运动轨迹上一帧中的行人检测框之间的运动相似度及外观相似度；
s3、判断同一行人检测框对应的所有运动相似度是否均大于运动阈值及所有的外观相似度是否均大于外观阈值；
若所有运动相似度均大于运动阈值或者所有的外观相似度均大于外观阈值，则新增一条运动轨迹并返回步骤s2；
若所有运动相似度均小于等于运动阈值且所有的外观相似度均小于等于外观阈值，则进入步骤s4；
s4、根据行人检测框与运动轨迹的运动相似度和外观相似度，分别计算每条运动轨迹与每个行人检测框的匹配相似度；
s5、判断当前行人检测框与运动轨迹之间的运动相似度是否大于运动阈值及外观相似度是否大于外观阈值；
若运动相似度大于运动阈值或者外观相似度大于外观阈值，则运动轨迹转移到当前行人检测框的转移概率为零；
若运动相似度小于等于运动阈值且外观相似度小于等于外观阈值，则进入步骤s6；
s6、根据同一运动轨迹与所有行人检测框之间的匹配相似度，采用马尔科夫模型分别计算每条运动轨迹转移至每个行人检测框的归一化的转移概率；
s7、根据同一运动轨迹与所有的行人检测框之间的转移概率，对多条轨迹进行跟踪，并在运动轨迹有效时更新计算匹配相似度时的权重后返回步骤s2。
2.根据权利要求1所述的基于马尔科夫模型的视频多行人追踪方法，其特征在于，所述步骤s7进一步包括：
s71、判断同一条运动轨迹的所有转移概率之间的关系；
s711、若同一条运动轨迹的所有转移概率均为零，则当前运动轨迹为漏检，并判断当前运动轨迹连续出现漏检的次数是否大于设定阈值，若是，进入步骤s7111，否则进入s7112；
s7111，运动轨迹无效，结束当前运动轨迹的跟踪；
s7112，更新计算匹配相似度时的权重后返回步骤s2；
s712、若同一条运动轨迹存在最大转移概率，将最大转移概率对应的行人检测框扩展为运动轨迹的末端数据；
s713、当所有运动轨迹的最大转移概率确定完成后，判断是否存在至少两个最大转移概率对应于同一行人检测框；若不存在，进入步骤s7131，否则进行步骤s7132；
s7131、更新计算匹配相似度时的权重后返回步骤s2；
s7132、标记相应运动轨迹为交叉，并查找运动轨迹在交叉时前一帧的行人检测框，并将其作为轨迹跟踪时下一帧的上一帧中行人检测框，同时更新计算匹配相似度时的权重后返回步骤s2。
3.根据权利要求1所述的基于马尔科夫模型的视频多行人追踪方法，其特征在于，计算运动轨迹与行人检测框的匹配相似度的公式为：
其中，sim(i,j)为运动轨迹i与当前行人检测框j之间的匹配相似度；d(i,j)为运动轨迹i和当前行人检测框j的像素距离；iou(i,j)为运动轨迹i对应的行人检测框和当前行人检测框j之间的重合占比；f(i,j)为外观相似度，即运动轨迹i对应的行人检测框的外观特征与当前行人检测框j的外观特征的欧式距离；α、β和γ分别为像素距离、重合占比和外观相似度的权重，α β γ＝1；e为0.00001～0.001间的正数。
4.根据权利要求3所述的基于马尔科夫模型的视频多行人追踪方法，其特征在于，在步骤s7112和步骤s7132中，均更新权重γ＞α＞β；在步骤s7131中，更新权重γ＝α＝β。
5.根据权利要求3所述的基于马尔科夫模型的视频多行人追踪方法，其特征在于，采用马尔科夫模型分别计算同一条运动轨迹转移至每个行人检测框的归一化的转移概率的计算公式为：
其中，pt(i,j)为第t帧中运动轨迹i转移至行人检测框j的归一化的转移概率；n为第t帧中行人检测框的总数量。
6.根据权利要求3所述的基于马尔科夫模型的视频多行人追踪方法，其特征在于，所述运动相似度的计算公式为：
所述像素距离d(i,j)的计算公式为：
其中，(xi,yi)是运动轨迹i上一帧对应的行人检测框的中心位置像素坐标，(xj,yj)为行人检测框j对应的中心位置像素坐标；
重合占比iou(i,j)的计算公式为：
其中，si为运动轨迹i上一帧对应的行人检测框的面积，sj为行人检测框j的面积；sr为si和sj重合的面积。
7.根据权利要求1-6任一所述的基于马尔科夫模型的视频多行人追踪方法，其特征在于，采用yolo网络目标识别框架获取视频序列中每一帧中的行人检测框。
技术总结