一种基于渐进卡尔曼滤波的人体目标跟踪方法与流程

专利2022-06-29  85


本发明涉及目标跟踪领域,尤其是一种基于渐进卡尔曼滤波的人体目标跟踪方法。



背景技术:

随着视觉传感器和人工智能等技术的发展,使得人体目标跟踪在生产生活中有着越来越多的应用,例如,人员安全监控、运动员比赛分析、智能人机交互等。特别的,3d视觉传感技术与人工智能技术的融合为获取人体运动细节提供了重要的解决途径。

目前,随机森林方法以及随后衍生的包括randomtreewalk系列方法已将深度图像领域的人体姿态估计任务做到了非常高的水准。值得一提的是,微软的kinect深度相机自带sdk的骨骼提取算法用的就是随机森林方法,可获取丰富的人体姿态信息。随着深度卷积神经网络方法的兴起,在人体姿态估计领域也取得了巨大的成功。然而,该类方法对存储和计算都有着较高的要求,通常需要图形处理器(gpu)的计算支持。不同于深度卷积神经网络等方法,随机森林方法对处理能力要求较低,可满足良好的实时性要求。然而,人在工作过程中可能需要手握或肩背一些物件,这将使得现有的随机森林方法提取人体局部部件姿态的失败。此外,由于受遮挡或自遮挡等因素的影响,人体局部部件(如手)姿态的可能存在较大的偏差。目前还没有技术能够鲁棒、实时地解决深度图像下的人体姿态估计问题。



技术实现要素:

为了克服已有随机森林方法对遮挡、物件干扰等鲁棒性差,局部运动姿态易丢失的缺点,本发明提供一种基于渐进卡尔曼滤波的人体目标跟踪方法,有效地解决了深度图像下人体目标的鲁棒实时跟踪。

本发明解决其技术问题所采用的技术方案是:

一种基于渐进卡尔曼滤波的人体目标跟踪方法,所述方法包括以下步骤:

步骤1)将人体目标状态分解成25个关键点的位置状态,建立各关键点运动的模型,并确定渐进卡尔曼滤波器参数;

步骤2)根据上一时刻的人体目标关键点位置估计,分别预测下一时刻人体目标关键点位置;

步骤3)读取深度图像传感器的信息,利用随机森林方法识别并计算人体目标关键点位置,读取人体目标关键点位置信息;

步骤4)根据读取到的人体目标关键点位置信息,分别对预测的人体目标关键点位置进行渐进量测更新;

步骤5)判断步骤4)渐进量测更新是否满足稳定性要求,若满足稳定性要求,则重复步骤4);否则,跳出渐进量测更新;

重复执行步骤2)-步骤5),完成人体目标的鲁棒实时跟踪。

进一步,所述步骤1)中,所述的关键点为人体头、颈、肩、肘、腕、手、臀、膝、踝和脚等关节点。

再进一步,所述的关键点位置为关键点在直角坐标系下x、y和z轴的坐标。

更进一步,所述步骤1)中,所述的滤波器参数,包括各关键点的初始状态及其协方差、过程噪声协方差和量测噪声协方差等。

所述步骤2)中,所述的预测包括关键点位置及其协方差的预测。

所述步骤4)中,所述的渐进量测更新,即将量测噪声协方差人为地放大n倍的基础上,计算卡尔曼滤波增益。

在步骤5)中,所述的稳定性条件为其中,j=1,...,25为人体关键点的序号,k=1,2,...为离散时间,zj,k为读取到的关键点j在k时刻的位置,i=1,...,n为渐进量测更新的编号,n为渐进量测更新的最大次数,为关键点j在k时刻的位置预测值。

本发明的有益效果主要表现在:由于遮挡、手持物等因素的影响,将可能导致识别和跟踪人体目标的失败,尤其是手、腕等关键部位的识别与跟踪。相比现有的人体目标跟踪方法,该方法增加了人体目标跟踪不确定性的描述,利用渐进量测跟踪的形式提高了对遮挡、识别错误等不利因素的鲁棒性。

附图说明

图1是人体目标跟踪系统示意图,其中,(a)表示深度相机,(b)表示人体目标。

图2是人体目标的关键点示意图。

图3是人体目标跟踪流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1~图3,一种基于渐进卡尔曼滤波的人体目标跟踪方法,所述方法包括以下步骤:

步骤1)将人体目标状态分解成25个关键点的位置状态,建立各关键点运动的模型,并确定渐进卡尔曼滤波器参数;

步骤2)根据上一时刻的人体目标关键点位置估计,分别预测下一时刻人体目标关键点位置;

步骤3)读取深度图像传感器的信息,利用随机森林方法识别并计算人体目标关键点位置,读取人体目标关键点位置信息;

步骤4)根据读取到的人体目标关键点位置信息,分别对预测的人体目标关键点位置进行渐进量测更新;

步骤5)判断步骤4)渐进量测更新是否满足稳定性要求,若满足稳定性要求,则重复步骤4);否则,跳出渐进量测更新;

重复执行步骤2)-步骤5),完成人体目标的鲁棒实时跟踪。

如图1所示,将通过深度相机实现人体目标的跟踪。如图2所示,将人体目标跟踪分解成25个关键点的位置跟踪,并建立各关键点运动学模型如下:

其中,为人体目标关键点j的状态,分别为关键点j在x、y和z轴上的位置,分别为关键点j在x、y和z轴上的加速度。fj,k为关键点j的状态转移矩阵,分别为零均值且协方差为的高斯白噪声。

如图2所示,首先,确定人体目标各关键点的初始状态选取渐进量测更新步数的最大值n;其次,基于当前时刻各关键点的状态估计值,利用公式(3)和(4)预测下一时刻关键点j的状态

即,利用相应的运动学模型完成所有关键点的状态预测;接着,利用随机森林法实现人体目标的识别,并计算出人体各关键点的位置,读取人体目标各关键点的量测值

下面将利用公式(5)计算关键点j在第i次渐进量测更新的滤波增益

并利用公式(6)和(7)计算关键点j在渐进量测更新后的状态估计值

其中,且i≤n,则重复执行(5)-(6)进入第i 1次渐进量测更新;否则,跳出渐进量测更新,并令关键点j在k时刻的状态估计值为重复上述渐进量测更新,完成所有关键点的状态估计,进而进入k 1时刻人体目标各关键点状态估计,从而完成人体目标鲁棒实时的跟踪。


技术特征:

1.一种基于渐进卡尔曼滤波的人体目标跟踪方法,其特征在于,所述方法包括以下步骤:

步骤1)将人体目标状态分解成25个关键点的位置状态,建立各关键点运动的模型,并确定渐进卡尔曼滤波器参数;

步骤2)根据上一时刻的人体目标关键点位置估计,分别预测下一时刻人体目标关键点位置;

步骤3)读取深度图像传感器的信息,利用随机森林方法识别并计算人体目标关键点位置,读取人体目标关键点位置信息;

步骤4)根据读取到的人体目标关键点位置信息,分别对预测的人体目标关键点位置进行渐进量测更新;

步骤5)判断步骤4)渐进量测更新是否满足稳定性要求,若满足稳定性要求,则重复步骤4);否则,跳出渐进量测更新;

重复执行步骤2)-步骤5),完成人体目标的鲁棒实时跟踪。

2.如权利要求1所述的基于渐进卡尔曼滤波的人体目标跟踪方法,其特征在于:所述步骤1)中,所述的关键点为人体头、颈、肩、肘、腕、手、臀、膝、踝和脚关节点。

3.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法,其特征在于:所述的关键点位置为关键点在直角坐标系下x、y和z轴的坐标。

4.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法,其特征在于:所述步骤1)中,所述的滤波器参数,包括各关键点的初始状态及其协方差、过程噪声协方差和量测噪声协方差。

5.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法,其特征在于:所述步骤2)中,所述的预测包括关键点位置及其协方差的预测。

6.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法,其特征在于:所述步骤4)中,所述的渐进量测更新,即将量测噪声协方差人为地放大n倍的基础上,计算卡尔曼滤波增益。

7.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法,其特征在于:所述步骤5)中,所述的稳定性条件为其中,j=1,...,25为人体关键点的序号,k=1,2,...为离散时间,zj,k为读取到的关键点j在k时刻的位置,i=1,...,n为渐进量测更新的编号,n为渐进量测更新的最大次数,为关键点j在k时刻的位置预测值。

技术总结
一种基于渐进卡尔曼滤波的人体目标跟踪方法,该方法采用深度相机传感器实现对人体目标的跟踪,首先,将人体目标跟踪分解成人体目标各关键点位置的估计;其次,建立有关各关键点的运动学模型和量测模型,最后,基于渐进卡尔曼滤波对传感器得到的相关数据进行滤波,得到人体目标状态的估计。本发明提供一种基于渐进卡尔曼滤波的人体目标跟踪方法,该方法增加了人体目标状态不确定性的描述,提高了对遮挡、识别失败等不利因素的鲁棒性。

技术研发人员:杨旭升;陈锡锻;陈海军;王佳星
受保护的技术使用者:浙江工业大学
技术研发日:2020.01.02
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-48964.html

最新回复(0)