本发明涉及基于移动平台的智能看护领域，具体涉及一种人体动作识别和预测方法及装置。
背景技术：
人体动作识别是模式识别领域的研究热点。近年来，随着人机交互技术、传感器技术、机器学习等关键技术的飞速发展，人体动作识别被广泛应用于智能控制、医疗康复、健康监护等领域。使用包括摄像机在内的多种传感器来使得计算机能“看”到目标的动作过程从而识别目标过程的动作识别依赖的是计算机“看”到的目标的连续运动序列，这已经是比较成熟的技术。
但是，当把这类动作识别迁移到移动平台上时，由于移动平台可能不会连续地盯着目标或专注与某个特定目标，这导致当计算机从目标a转移到目标b上的时候，由于缺失了目标b的运动过程数据，从而难以识别目标b当前动作；另一方面，对应看护机器人来说，比如：目标从把手放在椅子扶手的久坐状态，转变为想用手支持自己站起来的时候，由于手部或上肢没有运动过程或只有微小幅度的运动过程，这使得计算机难以作出关于目标的动作判断或动作预测。这些问题的解决对移动平台的看护机器人等有很大的意义。
为了使得基于移动平台的看护机器人能对目标的动作作出准确的预测和识别，需要引入其他的启发数据，比如表面肌电信号。当前表面肌电信号的研究和应用主要集中在假肢控制、功能性神经电刺激和生物反馈研究、运动医学、康复医学和临床诊断等方面。在计算机人机交互领域，也又不少研究学者应用表面肌电信号于手势识别，通过对手臂肌电信号的分析识别手部的活动，并且取得了良好的效果。这些设备大多只能控制特定的设别，如遥控飞机或者假肢。实际应用中，肌电信号是不稳定的，前述使用肌电来实现控制的设备不仅需要用户将肌电设备佩戴在手臂等特定位置，还需要经常性的大幅度的动作训练和识别。
技术实现要素：
本发明的技术解决问题是：以相机为主要传感器的移动平台会因为缺失目标人体动作过程中的某些图像数据而无法识别目标人体当前时刻的动作，或只能识别出目标人体当前时刻的姿态而无法判断目标人体动作意图，或预测目标人体的动作意图。
本发明提供一种人体动作识别和预测方法，通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，接着将根据人体的运动视频或图像实施人体动作识别的结果，以及人体的根据表面肌电信号数据实施人体动作识别的结果，通过人体动作识别和预测模型实现融合，从而得到对人体动作的识别和预测。
为此，本发明的第一个目的在于提出一种人体动作识别和预测方法，具体步骤包括：
步骤1、基于相机的视频或图像获取，获取相机拍摄的目标人体的运动视频数据；
步骤2、面向视频数据的人体动作实时识别，识别目标人体直到当前时刻的动作或姿态变化过程；
步骤3、基于表面肌电信号采集装置的目标人体表面肌电信号获取，获取目标人体表面肌电信号；
步骤4、面向表面肌电信号的信号模式实时识别，识别目标人体表面肌电信号中的特定模式；
步骤5、人体动作识别和预测模型，融合视频数据中的人体动作或姿态变化过程和表面肌电信号中特定的变化模式，识别目标人体的动作和预测目标人体的动作意图。
进一步地，步骤1到步骤2是获取视频数据、处理视频数据,步骤3到步骤4是获取表面肌电信号、处理表面肌电信号，对两种数据来源的数据获取和处理是并行的。
进一步地，来自相机采集的视频数据和肌电信号采集的人体表面肌电信号数据在时序上是同步的。
在步骤1中，以相机为主要传感器的移动平台在移动过程中，需要相机拍摄环境视频或图像从而获取环境数据，因此当目标人体在实施动作时，有两种情况，一是相机拍摄了目标人体动作的连续过程；二是相机未拍摄到该动作的连续过程视频或图像。这两种情况下的视频数据都不影响本发明方法的后续步骤。
在步骤2中，根据人体动作的视频和图像，从每一幅图像中的环境背景中将目标人体的影像分割处理，接着可以通过提取时空特征并按特征分类的方式，或利用深度学习以端到端的学习训练方式实现人体动作识别或人体姿态识别。
在步骤3中，获取目标的表面肌电信号需要目标人体佩戴有表面肌电信号采集和传输装置；
优选地，可以通过带表面肌电信号采集功能的智能手环获取目标的表面肌电信号；
优选地，由于人体动作识别和预测的计算过程是在基于移动平台的主机端，因此主机通过蓝牙通讯和目标人体佩戴的采集表面肌电信号的装置实现蓝牙通讯；
优选地，可以获取多通道的表面肌电信号。
在步骤4中，肌电信号是骨骼肌细胞的自发活动的综合信号，利用表面肌电信号识别人体动作通常需要对多通道的肌电信号做复杂的时序信号分析。
在步骤5中，人体动作识别和预测模型通过融合基于视频图像数据的人体动作识别的中间数据以及基于表面肌电信号的人体动作时的中间数据，来识别和预测目标人体的动作涉及多源信号的融合。
综上所述，本发明方法通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，接着将根据人体的运动视频或图像实施人体动作识别的中间数据，以及根据人体的表面肌电信号数据实施人体动作识别的中间数据，通过人体动作识别和预测模型实现融合，从而得到对人体动作的识别和预测。利用本发明方法，智能看护机器人可以智能地发现被看护目标是否需要辅助，并及时提供必需的辅助，从而更好地为被看护目标服务。
本发明的另一目的在于提供一种人体动作识别和预测装置，包括：
第一获取模块，用于获取相机拍摄的视频或图像数据；
第一识别模块，用于根据视频或图像实时识别目标人体的动作或姿态；
第二获取模块，用于获取目标人体的表面肌电信号；
第二识别模块，用于根据表面肌电信号实时识别信号模式；
第三识别模块，用于融合第一识别模块和第二识别模块的中间数据，识别用户当前的动作或预测用户动作意图。
其中，第一获取模块和第一识别模块，与第二获取模块第二识别模块，组成两个并行模块组，第一获取模块和第二获取模块并行地获取数据，第一识别模块和第二识别模块并行地处理数据。
与现有技术相比，本发明的有益效果包括：
1、本发明方法针对以相机为主要传感器的移动平台的人体动作识别和预测，通过融合目标表面肌电信号解决了缺少目标连续视频或图像数据时的人体动作识别和预测；
2、本发明方法在基于视频或图像数据的人体动作或姿态识别的基础上，仅需要目标人体表面肌电信号的简单模式就可以通过人体动作预测模型实现人体动作识别和预测，解决了利用表面肌电信号进行动作识别时需要频繁校准和训练的问题。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是根据本发明的一个实施例的一种人体动作识别和预测方法的结构示意图。
图2是根据本发明的另一个实施例的一种人体动作识别和预测方法的结构示意图。
图3是根据本发明的一个实施例的一种人体动作识别和预测装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1是根据本发明的一个实施例的一种人体动作识别和预测方法的结构示意图。
如图1所示，本发明的一个实施例的一种人体动作识别和预测方法，具体包括：
步骤s101，获取当前拍摄的目标的视频或图像数据；
如图1所示，摄像机拍摄的目标视频由连续的视频帧101组成。
本步骤中，本实施例中在智能看护机器人的一个应用场景中，被看护目标处于将手放在椅子扶手上的状态，由于之前被看护目标保持了一段时间的放松静坐状态，所有此时获得的视频或序列图像中，被看护目标没有运动过程。
在本步骤中，本实施例在智能看护机器人的另一应用场景中，由于智能看护机器人不是一对一看护，或者由于看护机器人在识别环境的过程中，没有拍摄到被看护人将手伸向杯子的过程，而仅是拍摄到了被看护人将手伸向杯子而无法够到杯子的最后相持阶段的视频或图像。
步骤s102，利用人体动作识别算法或姿态识别算法分析当前的一幅或多幅图像，从而识别目标的动作或姿态，或判断目标所有可能的动作或姿态；
在本步骤中，缺少运动过程的视频或序列图像可以通过人体姿态识别算法识别出当前姿态，并通过人体肢体拟合算法等获得人体杆件模型描述的人体姿态变化过程。
在本步骤中，人体动作识别或姿态识别需要先从图像中分割出仅包含人体的图像区域，可以采用maskr-cnn方法，该方法通过卷积神经网络对图像进行像素级分割，得到前景图像；然后建立起跨多幅图像的时空模型，可以实现基于人体动作连续过程视频或图像的动作识别，这类基于特征提取的人体动作识别方法层出不穷，wangh,ullahmm,klasera,etal.evaluationoflocalspatio-temporalfeaturesforactionrecognition[c].//proceedingsofthe2009britishmachinevisionconfer-ence.london,uk:bmvapress,2009.124.1-124.11介绍了多种面向人体动作连续过程视频或图像的基于特征提取的人体动作识别方法；在深度学习大行其道的当前，asheshjain，amirr.zamir，silviosavarese,etal.,structural-rnn:deeplearningonspatio-temporalgraphs[c].//theieeeconferenceoncomputervisionandpatternrecognition(cvpr),2016.提出用循环神经网络来实现人体动作识别方法，s.ji，w.xu，m.yang,etal.3dconvolutionalneuralnetworksforhumanactionrecognition[j].ieeetransactionsonpatternanalysisandmachineintelligence,2013,35(1):221-231.提出可以卷积神经网络实现人体动作识别方法，linsun，kuijia，dit-yanyeung,etal.,humanactionrecognitionusingfactorizedspatio-temporalconvolutionalnetworks[c].//theieeeinternationalconferenceoncomputervision(iccv),2015.提出可以结合卷积神经网络和循环神经网络来实现更鲁棒的人体动作识别方法。
在本步骤中，人体动作识别或姿态识别需要先从图像中分割出仅包含人体的图像区域，可以采用maskr-cnn方法，该方法通过卷积神经网络对图像进行像素级分割，得到前景图像；然后利用人体体型特征拟合人体关键部位或利用识别算法识别出人体的关键部位等，然后利用拟合回归算法可以实现基于图像的人体姿态识别；在深度学习大行其道的当前，s.e.wei，v.ramakrishna，t.kanade,etal.,convolutionalposemachines[c].//2016ieeeconferenceoncomputervisionandpatternrecognition(cvpr),27-30june2016,2016:4724-4732.提出了可以将卷积神经网络纳入到姿态机框架去学习图像特征和图像相关空间模型的任务的姿态估计，隐式地建模结构化预测任务中的变量之间的长期依赖关系，如关节姿态估计，这是本发明方案的优选实现。
步骤s103，获取目标的表面肌电信号；
在本步骤中，对于肢体不健全的被看护目标人体，可以采用贴片等其他肌电信号采集结构采集目标人体表面肌电信号并传输给主机端；
如图1所示，表面肌电信号采集结构采集的是多通道肌电信号102。
在本步骤中，目标人体的表面肌电信号可以通过佩戴在目标人体手臂的带肌电信号采集结构的智能手环采集，并通过蓝牙结构将目标人体的表面肌电信号传输给主机端，c.wong，z.q.zhang，b.lo,etal.wearablesensingforsolidbiomechanics:areview[j].ieeesensorsjournal,2015,15(5):2747-2760.介绍了多种用于采集人体表面肌电信号的装置。
步骤s104，利用表面肌电信号的识别算法识别信号的模式；
在本步骤中，肌电信号是骨骼肌细胞的自发活动的综合信号，表面肌电信号是主机端通过蓝牙等同通信结构采集的数据，虽然蕴含了目标人体的肌肉运动模式，但是由于表面肌电信号的不稳定性等，本实施例中仅需要识别表面肌电信号的简单模式，如肌肉舒张还是收缩等模式。
在本步骤中，利用表面肌电信号识别人体动作通常需要对多通道的肌电信号做复杂的时序信号分析，p.k.artemiadis，k.j.kyriakopoulos.anemg-basedrobotcontrolschemerobusttotime-varyingemgsignalfeatures[j].ieeetransactionsoninformationtechnologyinbiomedicine,2010,14(3):582-588.提出了一种提取信号特征来识别信号模式的方法，fangy,liuh,lig,etal.amultichannelsurfaceemgsystemforhandmotionrecognition[j].internationaljournalofhumanoidrobotics,2015,12(02):1550011.提出了一种利用多通道表面肌电信号识别手部动作的方法。
步骤s105，利用人体动作预测模型，融合通过图像数据识别的结果和通过表面肌电数据识别的结果，实现人体动作预测；
在本步骤中，利用循环神经网络来近似建模人体动作预测模型，将步骤s102的识别结果和步骤s104的识别结果转化序列数据，输入循环神经网络，获取循环神经网络识别目标人体的当前动作目的，或预测目标人体的下一步动作，从而激发智能看护机器人的对被看护目标的运动和行为辅助等。
在本步骤中，利用图像数据和表面肌电信号来识别和预测目标人体的动作涉及多源信号的融合，domennovak，robertriener.asurveyofsensorfusionmethodsinwearablerobotics[j].roboticsandautonomoussystems,2015,73:155-170.介绍了多种适用于机器人控制的多源信号融合方法，随着深度学习的发展，在人体动作识别和预测中可以采用循环神经网络来建模人体动作预测模型。
在本步骤中，本实施例中在智能看护机器人的一个应用场景中,基于视频的姿态识别过程识别出被看护目标处于将手放在椅子扶手上的状态，基于肌电信号的模式识别过程识别出被看护目标肌肉收缩过程，由人体动作预测模型判断被看护目标下一步的动作意图是用手支撑身体的起身或站起，则可以驱动智能看护机器人提供相应的动作辅助。
在本步骤中，本实施例在智能看护机器人的另一应用场景中，基于视频的姿态识别过程识别出被看护目标将手前伸姿态变化，基于肌电信号的模式识别过程识别出被看护目标肌肉的收缩过程，人体动作预测模型判断被看护目标不是仅仅抬手的动作，而是有目的性，则可以驱动智能看护机器人进一步识别被看护目标手臂指向的对象，如杯子、遥控器等，从而提供看护辅助。
本实施例的应用场景是进入老龄化社会中智能看护的常见应用场景，本实施例公开的方法对于肌电信号的识别过程仅需要识别肌电信号的简单模式，因此不需要频繁的肌电信号的校准和动作训练，使得带表面肌电信号采集结构能便利地和被看护目标的日常结合，通过本实施例公开的方法将显著提升智能看护机器人融入被看护目标的生活程度，提升被看护目标的幸福感。
图2是根据本发明的一个实施例的一种人体动作识别和预测方法的结构示意图。
如图2所示，本发明方法是使得以相机为主要传感器的移动平台201能准确识别目标人体的动作，或预测目标人体的下一步动作；
如图2所示，本实施例布置在移动平台的主机端202用来实现人体动作识别和预测的数据来源分成两个部分，第一数据203和第二数据204；
如图2所示，第一数据203是来自于相机拍摄的目标人体当前的姿态视频或图像，第二数据204是来自佩戴在目标人体手臂的带人体表面肌电信号采集结构的智能手环采集的人体表面肌电信号。
为了实现上述实施例，本发明还提出一种人体动作识别和预测装置。
图3是根据本发明的一个实施例的一种人体动作识别和预测装置的结构示意图。
如图3所示，本发明的一个实施例的一种人体动作识别和预测装置包括：第一获取模块310,、第一识别模块320、第二获取模块330、第二识别模块340、第三识别模块350。
其中，第一获取模块310，用于获取相机拍摄的视频或图像数据；
具体地，对于以相机为主要传感器的移动平台而言，所述人体动作识别和预测装置需要实时地处理摄像机拍摄的视频流，因此所述第一获取模块310需要摄像机拍摄的帧率也要和平台移动的速度匹配，所述第一获取模块310所获取的每一视频帧图像都由第一识别模块320处理。
第一识别模块320，用于根据视频或图像识别目标人体的动作或姿态；
具体地，所述第一识别模块320实现在线的人体动作或姿态识别，随着新的视频帧的到来，增量式地确定目标人体的动作，所述第一识别模块320的处理视频帧的速度和第一获取模块310获取视频帧的速度匹配，以防止未被处理的视频帧被淹没。
第二获取模块330，用于获取目标人体的表面肌电信号；
具体地，所述第二获取模块330实时地获取通过蓝牙接收装置接收的配对的蓝牙装置传输的目标人体的表面肌电信号，为了配对的蓝牙装置的低功耗设计，配对的蓝牙装置可设计为目标人体表面肌电信号能量超过某一阈值时才发送表面肌电信号，而处于主机端的所述第二获取模块330则处于监听模式，所有接收到的表面肌电信号都由第二识别模块340处理。
第二识别模块340，用于根据表面肌电信号识别信号模式；
具体地，由于表面肌电信号是连续时序信号，而且为了满足移动平台的实时处理要求，所述第二识别模块340实现在线的表面肌电信号处理，为了匹配视频信号的离散帧，每一视频帧的间隔时间是所述第二识别模块340处理表面肌电信号的速度约束。
第三识别模块350，用于融合第一识别模块和第二识别模块的结果数据，识别用户当前的动作或预测用户动作意图。
需要说明的是，前述一种体动作识别和预测方法实施例的解释说明也适用于该实施例的一种体动作识别和预测染装置，其实现原理类似，此处不再赘述。
以上对本发明所提供的技术方案进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
1.一种人体动作识别和预测方法，其特征在于，包括，1）通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，2）接着将根据人体的运动视频或图像实施人体动作识别的中间数据，以及根据人体的表面肌电信号数据实施人体动作识别的中间数据，通过人体动作识别和预测模型实现融合。
2.根据权利要求1所述的一种人体动作识别和预测方法，其特征在于，具体步骤包括：
步骤1、基于相机的视频或图像获取，获取相机拍摄的目标人体的运动视频数据；
步骤2、面向视频数据的人体动作实时识别，识别目标人体直到当前时刻的动作或姿态变化过程；
步骤3、基于表面肌电信号采集装置的目标人体表面肌电信号获取，获取目标人体表面肌电信号；
步骤4、面向表面肌电信号的信号模式实时识别，识别目标人体表面肌电信号中的特定模式；
步骤5、人体动作识别和预测模型，融合视频数据中的人体动作或姿态变化过程和表面肌电信号中特定的变化模式，识别目标人体的动作和预测目标人体的动作意图。
3.根据权利要求2所述的一种人体动作识别和预测方法，其特征在于，所述步骤1到所述步骤2是获取视频数据、处理视频数据，所述步骤3到所述步骤4是获取表面肌电信号、处理表面肌电信号，对两种数据来源的数据获取和处理是并行的。
4.根据权利要求2和3所述的一种人体动作识别和预测方法，其特征在于，来自相机采集的视频数据和肌电信号采集的人体表面肌电信号数据在时序上是同步的。
5.根据权利要求2所述的一种人体动作识别和预测方法，其特征在于，人体动作识别和预测模型融合了基于视频图像数据的人体动作识别的中间数据以及基于表面肌电信号的人体动作时的中间数据。
6.一种实现如权利要求1～5任一项所述人体动作识别和预测方法的装置，其特征在于，具体包括：
第一获取模块，用于获取相机拍摄的视频或图像数据；第一识别模块，用于根据视频或图像实时识别目标人体的动作或姿态；第二获取模块，用于获取目标人体的表面肌电信号；第二识别模块，用于根据表面肌电信号实时识别信号模式；第三识别模块，用于融合第一识别模块和第二识别模块的中间数据，识别用户当前的动作或预测用户动作意图。
技术总结