一种行为监测方法、装置及计算机可读存储介质与流程

专利2022-06-29  72


本申请实施例涉及计算机视觉技术领域,涉及但不限于一种行为监测方法、装置及计算机可读存储介质。



背景技术:

在相关技术中对用户行为进行监测的技术包括:载具监测、轮廓检测、高斯背景建模、体感kinect传感器技术。

载具监测技术在对用户行为进行监测时,需要用户佩戴载具,使用不便,且可能对特殊人群带来危险;轮廓检测技术在对用户行为进行监测时,存在拟合坐标全部未命中,跟踪丢失的情况;高斯背景建模技术在对用户行为进行监测时,需要提前对用户进行行为图像采集;kinect传感器技术在对用户行为进行监测时,一方面需要提前录制行为视频,另一方面需要购买kinect传感器。



技术实现要素:

本申请实施例提供一种行为监测方法、装置及计算机可读存储介质。

本申请实施例的技术方案是这样实现的:

本申请提供了一种行为监测的方法,所述方法包括:确定采集的实时视频流中的目标对象的目标关键点;根据所述目标关键点确定所述目标对象的行为信息;根据所述行为信息确定所述目标对象的行为状态。

在上述方案中,所述确定采集的实时视频流中的目标对象的目标关键点包括:识别所述视频流中的目标对象及所述目标对象的关键点;通过深度网络模型,根据应用场景在所述关键点中确定所述目标关键点。

在上述方案中,所述确定采集的实时视频流中的目标对象的目标关键点包括:识别所述视频流中的目标对象及所述目标对象的关键点;对所述目标对象的关键点进行分区,得到至少一个分区,所述分区包含至少一个关键点;选取所述分区中的一个分区的关键点作为所述目标关键点。

在上述方案中,所述根据所述目标关键点确定所述目标对象的行为信息包括:确定所述目标关键点的坐标信息;根据所述坐标信息,利用深度网络模型,确定所述目标对象的行为信息。

在上述方案中,所述方法还包括:获取对象在不同应用场景下的不同行为状态的样本数据;根据所述样本数据的行为状态确定所述对象的行为信息;根据所述行为信息,确定所述对象的目标关键点;确定应用场景、行为状态、行为信息与目标关键点之间的对应关系;根据所述对应关系建立所述深度网络模型。

在上述方案中,所述方法还包括:设置应用场景;相应地,所述根据所述行为信息确定所述目标对象的行为状态包括:根据所述行为信息和所述应用场景确定所述目标对象的行为状态。

在上述方案中,所述方法还包括:获取与所述行为状态对应的用户标识;以所述用户标识为目标地址,输出所述目标对象的行为状态。

本申请还提供了一种行为监测的装置,所述装置包括:第一确定模块、第二确定模块和第三确定模块;其中,所述第一确定模块,用于确定采集的实时视频流中的目标对象的目标关键点;所述第二确定模块,用于根据所述目标关键点确定所述目标对象的行为信息;所述第三确定模块,用于根据所述行为信息确定所述目标对象的行为状态。

本申请还提供了一种行为监测的装置,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序时,执行应用于终端设备的上述方案中所述行为监测的方法的步骤。

本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现应用于终端设备的上述方案中所述行为监测的方法的步骤。

本申请实施例所提供的行为监测方法、装置及计算机可读存储介质,确定采集的实时视频流中的目标对象的目标关键点;根据所述目标关键点确定所述目标对象的行为信息;根据所述行为信息确定所述目标对象的行为状态;如此,能够利用采集的实时视频流,通过确定和监测人体关键点,识别用户的行为,提升了用户体验。

附图说明

图1为本申请实施例的行为监测方法的实现流程示意图一;

图2为本申请实施例的人体关键点示意图;

图3为本申请实施例的行为监测方法的实现流程示意图二;

图4为本申请实施例的单人关键点监测示意图;

图5为本申请实施例的多人关键点监测示意图;

图6为本申请实施例的行为监测装置的结构示意图一;

图7为本申请实施例的行为监测装置的结构示意图二。

具体实施方式

下面结合附图及具体实施例对本申请作进一步详细的说明。

图1为本申请实施例中的行为监测方法的实现流程示意图,如图1所示,该方法包括以下步骤:

步骤101:确定采集的实时视频流中的目标对象的目标关键点;

其中,目标关键点表征目标对象的不同部位,比如:脖子、左腕等。在获取的实时视频流中确定目标对象及目标对象的目标关键点。

在实际的应用中,可利用摄像头进行视频流的采集,对采集的视频流进行实时处理,确定视频流中的目标对象,并对目标对象进行定位,确定目标对象的目标关键点。

在确定目标对象时,可确定视频流中的对象的轮廓信息,并将各对象的轮廓信息与预设的轮廓信息进行比较;将轮廓信息与预设的轮廓信息相符的对象确定为目标对象。

在一实施例中,所述确定采集的实时视频流中的目标对象的目标关键点包括:识别所述视频流中的目标对象及所述目标对象的关键点;通过深度网络模型,根据应用场景在所述关键点中确定所述目标关键点。

在利用摄像头进行图像采集,对采集的实时视频流进行处理,确定目标对象后,获取目标对象的所有关键点;通过深度网络模型,在目标对像的所有关键点中选取应用场景对应的目标关键点。其中,应用场景可包括:老人监护场景、患者监护场景等应用场景,深度网络模型根据不同的应用场景从关键点中选取对应的目标关键点。

比如:视频流中的目标对象为老人时,关键点为18个部位对应的点,比如:关键点1、关键点2…关键点18,其中,不同的关键点表征不同的部位。在应用场景为老人监护时,根据深度网络模型中老人监护场景和目标关键点的对应关系,确定在老人监护场景下的目标关键点为其中的6个关键点:关键点1、关键点3、关键点7、关键点11、关键点14、关键点16。

在一实施例中,所述确定采集的实时视频流中的目标对象的目标关键点包括:识别所述视频流中的目标对象及所述目标对象的关键点;对所述目标对象的关键点进行分区,得到至少一个分区,所述分区包含至少一个关键点;选取所述分区中的一个分区的关键点作为所述目标关键点。

在利用摄像头进行图像采集,对采集的实时视频流进行处理,确定目标对象后,获取目标对象的所有关键点;对目标对象的所有关键点进行分区,得到多个分区,每个分区中包含多个关键点,选取上述分区的一个分区中的多个关键点作为目标关键点。

比如:利用摄像头确定的目标对象的关键点包括18个部位对应的点,比如:鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左眼、左眼、右眼、左耳和右耳。对所有的关键点进行分区,形成两个分区:面部关键点分区和腿部关键点分区。面部关键点分区的关键点可包括:鼻子、左眼、右眼、左耳和右耳部位对应的点;腿部关键点分区的关键点可包括:右髋、右膝、右踝、左髋、左膝和左眼部位对应的点。在需要确定目标对象的面部行为时,可以选取面部关键点分区的关键点作为目标关键点;在需要确定目标对象的腿部行为时,可以选取腿部关键点分区的关键点作为目标关键点。

步骤102:根据所述目标关键点确定所述目标对象的行为信息;

其中,行为信息可包括:斜率、角度等表征目标对象的行为状态的信息。

在从目标对象的关键点中选取目标关键点后,根据目标关键点的信息,利用深度网络模型,确定目标对象的行为信息。

在一实施例中,所述根据所述目标关键点确定所述目标对象的行为信息包括:确定所述目标关键点的坐标信息;根据所述坐标信息,利用深度网络模型,确定所述目标对象的行为信息。

根据所述目标关键点,利用获取的实时视频流确定目标关键点的坐标信息;将目标关键点的坐标信息输入深度网络模型,深度网络模型将目标关键点的坐标信息带入线性回归模型的拟合方程求解,确定目标对象的行为信息。

拟合方程如公式(1)所示:

其中,yi、xi为目标关键点的坐标信息,ei为确定的目标关键点的坐标信息与实际的坐标信息的误差,为回归系数。

这里,将目标对象的目标关键点的坐标带入上述拟合方程的xi、yi,根据最小二乘法对进行求解,将作为目标对象的行为信息。

步骤103:根据所述行为信息确定所述目标对象的行为状态。

根据获取的行为信息确定目标对象的行为状态,其中,行为状态可包括:倾斜、摔倒、站立等用户行为。

比如:获取的目标对象的行为信息为斜率,若斜率对应的角度等于45度时,可以确定目标对象的行为状态为倾斜。

在一实施例中,所述方法还包括:获取对象在不同应用场景下的不同行为状态的样本数据;根据所述样本数据的行为状态确定所述对象的行为信息;根据所述行为信息,确定所述对象的目标关键点;确定应用场景、行为状态、行为信息与目标关键点之间的对应关系;根据所述对应关系建立所述深度网络模型。

在确定获取的视频流中的目标对象的目标关键点之前,还包括:基于对象的行为进行建模。其中,行为信息可包括:斜率、角度等表征目标对象的行为状态的信息;行为状态可包括:倾斜、摔倒、站立等用户行为。

在实际应用中,获取对象在不同应用场景下的不同行为状态的样本数据,对样本数据的行为状态进行分析,确定对象的行为信息,根据行为信息利用线性回归模型,确定对象的目标关键点,从而可以得到应用场景、行为状态、行为信息与目标关键点之间的对应关系,确定深度网络模型。其中,应用场景可包括:老人监护场景、患者监护场景等监护场景。

比如:获取老人在老人监护场景下的身体倾斜状态的样本数据,对老人的身体倾斜状态进行分析,确定老人身体倾斜状态下身体的斜率即行为信息,利用线性回归模型建立拟合方程,将斜率带入拟合方程进行求解,获得目标关键点的坐标,从而建立应用场景、行为状态、行为信息与目标关键点之间的对应关系,根据上述对应关系建立深度网络模型。

在一实施例中,所述方法还包括:设置应用场景;相应地,所述根据所述行为信息确定所述目标对象的行为状态包括:根据所述行为信息和所述应用场景确定所述目标对象的行为状态。

设置应用场景,在根据行为信息确定目标对象的行为状态时,还可以根据行为信息和应用场景共同确定目标对象的行为状态。

比如:设置的应用场景为患者监护的场景,获取的患者的行为信息为斜率,且斜率对应的角度小于45度,在上述患者监护的场景下,当斜率对应的角度小于45度时,表示患者的行为状态为摔倒。

在一实施例中,所述方法还包括:获取与所述行为状态对应的用户标识;以所述用户标识为目标地址,输出所述目标对象的行为状态。

其中,用户标识可包括:手机号码、微信号码等。预设用户标识,在确定目标对象的行为状态后,获取与目标对象的行为状态的对应的用户标识,比如:目标对象的行为状态为倾斜时,对应的用户标识为家人的用户标识;目标对象的行为状态为摔倒时,对应的用户标识为救援号码。

以用户标识为目标地址,将目标对象的行为状态发送给与目标对象相关的用户标识,或者根据获取的用户标识发起用户标识与目标对象的通话。

比如:在确定目标对象的行为状态为摔倒时,根据用户标识,发起用户标识与目标对象的通话,或者以用户标识为目标地址,将目标对象的行为状态发送给与目标对象相关的用户标识。

在将目标对象的行为状态发送给用户标识的同时,还可以给出处理该行为状态的建议。

在本申请实施例中,确定采集的实时视频流中的目标对象的目标关键点;根据所述目标关键点确定所述目标对象的行为信息;根据所述行为信息确定所述目标对象的行为状态;如此,能够利用采集的实时视频流,通过确定和监测人体关键点,识别用户的行为,并且可以对目标对象某部分的行为进行细致监控;在监控到用户出现异常行为时,可针对该异常行为进行预警,并给出建议,进一步提升了用户体验。

本实施例中以用户为患者为例,通过场景对本申请实施例提供的行为监测方法进行说明。本实施例中的主要关键点对应上述实施例的目标关键点。

在患者异常行为监测方面,相关技术主要包括载具监测、轮廓检测、高斯背景建模、kinect传感器技术等。

载具监测技术在肢体识别中需要佩戴上半身载具、手指载具、手部单节点载具等相关产品来进行异常行为监测,不能直接通过摄像头来实时识别,并且佩戴载具降低了使用体验,同时也可能给某些特殊人群带来危险。

通过轮廓检测技术在进行异常行为监测时,需要对采集的监控图像进行轮廓检测,使用帧差法计算老人轮廓区域的像素个数变化来判断老人所处的状态。而且在监测过程中,存在所有可能的拟合坐标全部未命中,跟踪丢失的情况。

通过高斯背景建模技术在进行异常行为监测时,基于运动序列技术及无线射频识别(radiofrequencyidentification,rfid)标签技术均需要提取一段视频,利用提取的视频进行高斯背景建模,然后提取前景中目标的轮廓和矩阵特征信息,将前景的特征信息与人的异常动作特征库相比对,判断该前景中是否存在人的异常行为。使用rfid标签技术还需要给所有需要监护的老人佩戴rfid标签,基于模板匹配的方法需要提前对每一位被监护者进行行为图像采集,提取特征形成特征模板。

通过kinect传感器技术获取骨骼信息,将骨骼对的角度旋转移动形成矩阵信息,与录制的危险动作信息进行比较来判断差距。这种技术一方面需要提前进行危险动作信息的录制,机制上不是很灵活,而且需要购买kinect传感器,增加硬件成本;另一方面采用kinect只能追踪肢体中的20个关键点,头部只用一个点表示,在复杂背景下使用受到限制。在实际应用过程中使用上述方法存在诸多不便,降低使用体验。

相关技术在应用到健康医疗领域的患者进行异常行为监测过程中存在诸多问题,不能单纯依靠智能摄像头对患者进行有效肢体和行为的监测,并在危险发生时第一时间预警及通知家人和医护人员。相关技术的技术缺点如下:

1)部分现有技术依靠佩戴上半身载具、手指载具、手部单节点载具等相关产品,才能进行关键点检测,进而对动作进行识别,硬件成本较大,且在实际场景中方案局限性很大。同时,考虑到在远程护理过程中,患者由于其本身原因,不适宜佩戴相关载具,并且相关载具可能对其本身能产生一定伤害。

2)有些方法需提前录制异常行为信息作为参照,无法达到实时识别。这对很多患者的一些异常行为无法进行实时检测,很可能造成严重的后果,挽救不及时。

而本申请实施例不需要患者佩戴载具及提前录制危险动作作为参照,将能够识别肢体行为的算法应用到摄像监测装置中,通过监测患者的人体关键点,可自动监测并识别患者的异常行为,在患者因异常行为产生危险时及时发出警报并联系救援。且本申请实施例采用新型人体检测算法,可以实时检测130个人体关键点,包含了2×21个手的基本关键点;70个脸部基本关键点,并以3d彩色火柴人的形式呈现出来,融合了实时多人2d姿态估计、动态3d重建与手部关键点检测等多项计算机视觉项目等多项功能,且可以很好地对应复杂背景,比传统监测应用更具竞争力。如图2所示,以3d彩色火柴人的形式表征人体关键点。

本申请实施例采用新型肢体语言识别技术监测患者异常行为,能弥补传统图像处理技术只识别患者躺、坐、站等部分姿势的不足。传统患者异常行为监测中,很难捕捉患者面部表情,新型监测应用中,眼、口等关键点均被描绘出来,肢体语言和表情均能被同时识别。该应用可应用于老年人护理、辅助康复治疗、精神疾病辅助治疗及其他心理疾病等的辅助治疗和护理中。

本申请实施例实时读取摄像头中传入的视频源,可通过肢体关键点识别和特定场景下的异常行为参数判断后,判断出病人的异常行为,及时与患者进行智能语音交流,在患者的异常行为在短时间内没有消除迹象时,能即刻发出警告,通过电话和短信等方式及时通知患者的家属和医护人员;并且通过肢体及面部关键点识别,能结合当时的情况揣摩用户心理,更贴近现实之中人的沟通,提供更个性化的方案。

本申请实施例的流程示意图如图3所示,包括:

步骤301:获取实时视频流;

采用现有高清网络摄像头,获取实时的视频流。

步骤302:确定主要关键点;

利用深度网络模型,对获取到的视频流进行人体定位,识别关键点,并从关键点中选取主要关键点。比如:识别的关键点共计18个部位的点,分别为:0鼻子、1脖子、2右肩、3右肘、4右腕、5左肩、6左肘、7左腕、8右髋、9右膝、10右踝、11左髋、12左膝、13左眼、14左眼、15右眼、16左耳和17右耳,每个关键点坐标为ai(xi,yi),从关键点中选取主要关键点。如果选取的主要关键点为:1脖子、4右腕、7左腕、8右髋、10右踝和11左髋,可以表示为ai(xi,yi),(i=1,4,7,8,10,11),这里,x坐标和y坐标均不为0。

步骤303:检测主要关键点;

检测主要关键点,得到主要关键点的坐标信息;

步骤304:对主要关键点拟合,得到斜率;

根据线性回归模型对主要关键点进行线性回归,利用最小二乘法,得到回归直线的斜率;

线性回归模型如公式(1)所示,利用最小二乘法对公式(1)进行求解,得到回归系数的计算如公式(2),的计算如公式(3),其中为计算获得的斜率。

其中,yi、xi为目标关键点的坐标信息,ei为确定的目标关键点的坐标信息与实际的坐标信息的误差,为回归系数。

步骤305:根据确定的斜率判断是否行为异常;

根据斜率进行判断被检测者行为是否异常;若行为异常,转至步骤306;若行为正常,则返回至步骤303;

比如:当斜率小于1时,说明被检测者的倾斜角度小于45°,则认为被检测者存在危险行为,有可能晕倒或摔倒,此时判断检测者行为异常。

步骤306:根据异常行为进行语音询问;

在设定时间内,若收到被检测者回复的语音信息,返回至步骤303;

如果收到并识别出被检测者的正向反馈语音信息,则开始计时并继续监测,若在连续时间内异常行为有被消除的迹象,被监测者行为正常,则此次不进行危险预警,系统继续监测患者行为。

进一步地,如果收到并识别出被检测者的正向反馈语音信息后,在设定时间内异常行为没有被消除的迹象,则立即通知患者家属和医护人员,确认后在第一时间采取救援。

在设定时间内,若没有收到被检测者回复的语音信息,转至步骤307。

步骤307:获取预设的用户标识,将目标对象的异常行为输出至用户标识对应的终端。

若通过语音识别技术没有收到被监测者的正向反馈信息,则立即通过短信和电话方式通知被监测者的家属和医护人员等相关人员,家属和医护人员查看即时视频确认危险后,立即采取救援措施。

如图4所示,为本申请实施例的单人关键点监测示意图;人体摔倒状态下的关键点为:1脖子,4右腕,7左腕,8右髋,10右踝,11左髋;如图5所示,为本申请实施例的多人关键点监测示意图,根据不同人的不同的监测需求确定不同关键点。

本申请实施例的使用特点有:

(1)可将人体关键点应用到不同场景;

新型患者异常行为监测应用中,摄像机捕获到2d图像后,关键点检测器会识别并标记出身体特点的部位,帮助身体跟踪算法了解不同角度下每个姿势的表现,并以3d彩色火柴人的形式呈现出来。将这些人体关键点通过相关规则应用到不同危险情景场景下,在实际应用中更加灵活。

(2)追踪关键点更为细致;

与传统方法只能追踪到20个关键点相比,新型患者异常行为监测应用的追踪功能要细致得多。同一个动作,传统方法感知到一个人在抬手,而基于新一代识别系统的新型患者异常行为监测应用,可以观察到这个人实际是用手指指向了某样东西。

(3)新增面部追踪,辨识表情;

面部跟踪方面,传统方法里整个头部只是一个点,而新型患者异常行为监测应用中,眉、眼、鼻、口等能被数十个关键点描绘出来,肢体语言和表情都能被识别。

(4)基于患者异常行为进行建库建模;

基于观测到的患者行为建立数据库,利用大数据建模技术,针对某种疾病的特定行为建立模型,识别行为深层次代表意义。利用模型可在预警时,直接识别行为,评估出危险等级,给出建议采取的措施。

本申请实施例不需要患者在使用中佩戴载具、标签、提前采集被监测者异常行为等,且不需要借助摄像头的硬件性能,不需要购买kinect传感器等设备,通过关键点获取及关键点拟合即可进行监测。更具有普遍适用性,提升患者及家属医护人员等的使用体验;且可以实时监测,不会在患者异常行为产生紧急状况时会带来延迟,并适用于复杂背景下的多场景应用。

本申请实施例在识别患者肢体各关键点坐标的基础上,通过对不同场景,比如,老年人,精神疾病患者等,有针对性的异常行为定义,对患者的异常行为进行进一步判别;本申请实施例将包含将人体关键点的新型实时识别人体肢体动作方法应用到健康医疗领域中的老年人看护,辅助康复等领域中,并结合智能语音识别等相关技术,具有积极而新颖的行业应用意义。

本实施例提供一种行为监测装置,如图6所示,行为监测装置60包括:第一确定模块601、第二确定模块602和第三确定模块603;其中,

第一确定模块601,用于确定采集的实时视频流中的目标对象的目标关键点;

第二确定模块602,用于根据所述目标关键点确定所述目标对象的行为信息;

第三确定模块603,用于根据所述行为信息确定所述目标对象的行为状态。

在一实施例中,第一确定模块601,用于:识别所述视频流中的目标对象及所述目标对象的关键点;通过深度网络模型,根据应用场景在所述关键点中确定所述目标关键点。

在一实施例中,第一确定模块601,用于:识别所述视频流中的目标对象及所述目标对象的关键点;对所述目标对象的关键点进行分区,得到至少一个分区,所述分区包含至少一个关键点;选取所述分区中的一个分区的关键点作为所述目标关键点。

在一实施例中,第二确定模块602,用于:确定所述目标关键点的坐标信息;根据所述坐标信息,利用深度网络模型,确定所述目标对象的行为信息。

在一实施例中,行为监测装置60还包括:建模模块604,用于获取对象在不同应用场景下的不同行为状态的样本数据;根据所述样本数据的行为状态确定所述对象的行为信息;根据所述行为信息,确定所述对象的目标关键点;确定应用场景、行为状态、行为信息与目标关键点之间的对应关系;根据所述对应关系建立所述深度网络模型。

在一实施例中,行为监测装置60还包括:设置模块605,用于设置应用场景;相应地,第三确定模块603,用于:根据所述行为信息和所述应用场景确定所述目标对象的行为状态。

在一实施例中,行为监测装置60还包括:通知模块606,用于获取与所述行为状态对应的用户标识;以所述用户标识为目标地址,输出所述目标对象的行为状态。

需要说明的是:上述实施例提供的行为监测装置在进行行为监测时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的行为监测装置与行为监测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

基于前述的实施例,本申请实施例提供一种行为监测装置,如图7所示,所述装置包括处理器702和用于存储能够在处理器702上运行的计算机程序的存储器701;其中,所述处理器702用于运行所述计算机程序时,以实现:

确定采集的实时视频流中的目标对象的目标关键点;

根据所述目标关键点确定所述目标对象的行为信息;

根据所述行为信息确定所述目标对象的行为状态。

上述本申请实施例揭示的方法可以应用于所述处理器702中,或者由所述处理器702实现。所述处理器702可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过所述处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器702可以是通用处理器、dsp,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器702可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器701,所述处理器702读取存储器701中的信息,结合其硬件完成前述方法的步骤。

可以理解,本申请实施例的存储器(存储器701)可以是易失性存储器或者非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(rom,readonlymemory)、可编程只读存储器(prom,programmableread-onlymemory)、可擦除可编程只读存储器(eprom,erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom,electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram,ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom,compactdiscread-onlymemory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram,randomaccessmemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(sram,staticrandomaccessmemory)、同步静态随机存取存储器(ssram,synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram,dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram,synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram,doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram,enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram,synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram,directrambusrandomaccessmemory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

这里需要指出的是:以上终端实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本申请终端实施例中未披露的技术细节,本领域的技术人员请参照本申请方法实施例的描述而理解,为节约篇幅,这里不再赘述。

在示例性实施例中,本申请实施例还提供了一种计算机可读存储介质,例如包括存储计算机程序的存储器701,上述计算机程序可由处理器702处理,以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flashmemory、磁表面存储器、光盘、或cd-rom等存储器。

本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器处理时实现:

确定采集的实时视频流中的目标对象的目标关键点;

根据所述目标关键点确定所述目标对象的行为信息;

根据所述行为信息确定所述目标对象的行为状态。

这里需要指出的是:以上计算机介质实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本申请终端实施例中未披露的技术细节,本领域的技术人员请参照本申请方法实施例的描述而理解,为节约篇幅,这里不再赘述。

以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。


技术特征:

1.一种行为监测方法,其特征在于,所述方法包括:

确定采集的实时视频流中的目标对象的目标关键点;

根据所述目标关键点确定所述目标对象的行为信息;

根据所述行为信息确定所述目标对象的行为状态。

2.根据权利要求1所述的方法,其特征在于,所述确定采集的实时视频流中的目标对象的目标关键点包括:

识别所述视频流中的目标对象及所述目标对象的关键点;

通过深度网络模型,根据应用场景在所述关键点中确定所述目标关键点。

3.根据权利要求1所述的方法,其特征在于,所述确定采集的实时视频流中的目标对象的目标关键点包括:

识别所述视频流中的目标对象及所述目标对象的关键点;

对所述目标对象的关键点进行分区,得到至少一个分区,所述分区包含至少一个关键点;

选取所述分区中的一个分区的关键点作为所述目标关键点。

4.根据权利要求1所述的方法,其特征在于,所述根据所述目标关键点确定所述目标对象的行为信息包括:

确定所述目标关键点的坐标信息;

根据所述坐标信息,利用深度网络模型,确定所述目标对象的行为信息。

5.根据权利要求2或4所述的方法,其特征在于,所述方法还包括:

获取对象在不同应用场景下的不同行为状态的样本数据;

根据所述样本数据的行为状态确定所述对象的行为信息;

根据所述行为信息,确定所述对象的目标关键点;

确定应用场景、行为状态、行为信息与目标关键点之间的对应关系;

根据所述对应关系建立所述深度网络模型。

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

设置应用场景;

相应地,所述根据所述行为信息确定所述目标对象的行为状态包括:

根据所述行为信息和所述应用场景确定所述目标对象的行为状态。

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

获取与所述行为状态对应的用户标识;

以所述用户标识为目标地址,输出所述目标对象的行为状态。

8.一种行为监测装置,其特征在于,所述装置包括:第一确定模块、第二确定模块和第三确定模块;其中,

所述第一确定模块,用于确定采集的实时视频流中的目标对象的目标关键点;

所述第二确定模块,用于根据所述目标关键点确定所述目标对象的行为信息;

所述第三确定模块,用于根据所述行为信息确定所述目标对象的行为状态。

9.一种行为监测装置,其特征在于,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序时,执行权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。

技术总结
本申请实施例公开了一种行为监测方法,所述行为监测方法包括:确定采集的实时视频流中的目标对象的目标关键点;根据所述目标关键点确定所述目标对象的行为信息;根据所述行为信息确定所述目标对象的行为状态;本申请实施例还公开了一种行为监测装置及计算机可读存储介质。

技术研发人员:尹芳;邓小宁;周乃宝;朱倞;石延平;孙春新;朱元杰
受保护的技术使用者:中国移动通信集团有限公司
技术研发日:2018.11.28
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-54593.html

最新回复(0)