本发明属于深度学习、模式分类和识别技术领域，特别涉及一种基于时空上下文关联的深度网络模型的行为识别方法。
背景技术：
深度学习方法给行为（主要分为周期性行为(例如走路，跑步，骑车等)和一些零散的行为(例如喝茶，取杯子，做饭等)）识别研究带来很强的特征提取能力，减轻了人工特征建模的难度。基于多传感器的行为数据不仅仅具有时序性，传感器之间也存在一定局部空间特征。针对行为的时空特性，目前的基于深度学习方法中存在一定缺陷，例如基于rnn的方法虽然能够学习长时间特征依赖，但无法良好刻画局部特征。而基于cnn的方法则对长时间关联特征提取表现不够理想。虽然通过cnn rnn的方法能够进一步提升时空特征的学习能力，但先利用cnn对数据进行空间特征提取再进行时间关联建模的方法在一定程度上损害了时序数据中潜在的前后依赖特性。此外，该模型也显得十分臃肿，难以适用在计算能力、电池容量有限的可穿戴设备。
技术实现要素：
根据以上所述，本发明提出了一种基于时空上下文特征的深度网络模型的行为识别方法，针对如何提取同一时间戳内多传感器之间的空间关联特征，提出采用rnn模型取代cnn模型，避免了空间特征表示效果受限于感知域大小，解决现有模型对行为特征表示损失度大的问题，达到增加对行为识别精准度；另外，针对于已有时空模型中分开学习空间特征和时间特征，再融合的伪时空特征学习的问题，采用了在时间维度和传感器维度上的rnn模型以网格形式组织的模型，通过rnn之间隐态的交叉计算学习时空特征的手段。具体技术方案如下所述。
为解决上述技术问题本发明采用以下技术方案：
一种基于时空上下文关联的行为识别方法，其特征在于：包括训练步骤a和测试步骤b，
所述训练步骤a包括：
步骤a1:将用户行为(主要分为周期性行为(例如走路，跑步，骑车等)和一些零散的行为(例如喝茶，取杯子，做饭等))对应的传感器感知数据x，导入深度网络模型进行卷积映射操作，得到卷积映射数据；
步骤a2:将卷积映射数据，利用网格lstm神经网络进行特征学习，得到行为时空特征图tsf；
步骤a3：将行为时空特征图tsf，导入注意力门模块进行不同时间特征权重学习，得到行为特征图，注意力门模块由注意力机制和们循环网络层两部分组成，具体包括以下几个步骤：
步骤3.1：将行为时空特征图tsf，传入注意力模块进行权值计算，得到不同时刻的特征权重a;
步骤3.2：将特征权重a和行为时空特征图tsf，进行合并操作，得到带权的行为时空特征图；
步骤3.3：将带权的行为时空特征图，导入门循环神经网络层进行时间依赖关系学习，得到行为特征图。
步骤a4：将行为特征图，传入softmax分类器计算每个行为的概率，得到后验概率分布d。
步骤a5:对行为类别的概率分布d和训练集行为标签y进行交叉熵损失函数运算，得到损失loss0。在训练中引入l2损失函数作为最后的总损失函数l。
步骤a6：根据l，利用反向传播操作修改模型可虚席参数的数值，得到深度网络模型m。
步骤a7：重复步骤a1-a6，直到训练次数完成或者损失值不再变化。
测试步骤b：
训练阶段完成后，后续无需再训练该模型，只需将传感器数据输入模型进行预测即可。
步骤b1:将待识别行为的传感器数据导入网络模型m，得到行为类别的后验概率分布d。
步骤b2：对概率d中值进行排序操作，取值最大的类别标签作为最终的预测行为。
因为本发明采用上述技术方案，因此具备以下有益效果：
本发明提出了一种基于时空上下文特征的深度网络模型的行为识别方法，相较于传统网络模型具有多个优点：
1、模型利用rnn模型来提取传感器之间的关联特征，避免了cnn模型中空间特征学习范围受到感知域大小的限制，降低了模型对行为特征表示的损失，从而大大增加了对行为的识别精准度；
2、模型更加符合人体行为运动时传感器运动特性，具有更好地特征提取能力，大大提高了模型的精度；
3、传统的网络模型过于复杂、计算量大、模型训练效率低下，对于移动智能设备的计算能力、设备能耗都是一个十分巨大的负担，本发明提出的模型能够很好地解决这个问题，能够极大地提高行为识别的速率，增加在不同移动设备上部署复杂行为识别模型的可能性。
附图说明
图1为基于时空上下文关联的深度网络模型算法实现示意图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，一下结合实施方式并配合附图详予说明。
本发明提出了一种提出了一种基于时空上下文特征的深度网络模型的行为识别方法，在人体行为识别上取得良好的效果。整个算法实现示意图如图1所示，包括训练阶段和步骤：
所述训练步骤包括：
步骤a1:将用户行为的传感器感知数据x，导入深度网络模型进行卷积映射操作，得到卷积映射数据；
上述技术方案总的用户行为主要分为周期性行为和零散的行为；
周期性行为：例如走路，跑步，骑车等；
零散的行为：例如喝茶，取杯子，做饭等；
本领域技术人员公知的，用户行为实际生活中种类繁多，这里不再赘述。
深度网络模型的第一层是一个卷积神经网络，由1个特征图构成。特征图中每个神经元仅与输入中1x1的邻域相连。特征图大小为24x77。
步骤a2:将卷积映射数据，利用网格lstm神经网络进行特征学习，得到行为时空特征图tsf；
深度网络模型的第二层是一个二维gridlstm循环神经网络层，每一维均包含64个循环网络cell，共128个cell。该层可训练参数有（128*128 128*64 128 64 64）=49664个。以时间维度方向的cell输出为时空特征tsf，其大小为24*64。每个cell输出结果通过relu函数计算。
步骤a3：将行为时空特征图tsf，导入注意力门模块进行不同时间特征权重学习，得到行为特征图，注意力门模块由注意力机制和们循环网络层两部分组成，具体包括以下几个步骤：
步骤3.1：将行为时空特征图tsf，传入注意力模块进行权值计算，得到不同时刻的特征权重a;
注意力模块对时空特征图tsf每一个时刻的特征向量进行非线性变换，并通过softmax进行归一化得到每一个时刻的注意力分配概率值，即注意力权重a,其大小为24x1，在该层可训练参数有64*24 24 24=1584个。
步骤3.2：将特征权重a和行为时空特征图tsf，进行合并操作，得到带权的行为时空特征图atsf,其大小为24x65；
步骤3.3：将带权的行为时空特征图atsf，导入门循环神经网络层进行时间依赖关系学习，得到行为特征图f。
门循环神经网络层包括128个cell，包括可训练参数有128*64 64=8256个；
步骤a4：将行为特征图f，传入softmax分类器计算每个行为的概率，得到后验概率分布d。
w,b分别为权重矩阵和偏置向量，为可训练参数。
步骤a5:对行为类别的概率分布d和训练集行为标签y进行交叉熵损失函数运算，得到损失loss0，根据式（2）所示，利用概率分布d和标签矩阵y’计算损失loss0。
n和c分别表示训练样本实例数目和行为类别数据，
引入l2损失函数作为最后的总损失函数l如式（3）所示，
步骤a6：，根据l值,利用反向传播操作调整模型参数的数值,得到训练好的行为识别网络模型m。
步骤a7：重复步骤a1-a6，直到训练次数完成或者损失值不再变化。
测试步骤b：
训练阶段完成后，后续无需再训练该模型，只需将传感器数据输入模型进行预测即可。
b1:将待识别行为的传感器数据导入网络模型m，得到行为类别的后验概率分布d。
b2:对概率d中值进行排序操作，取值最大的类别标签作为最终的预测行为。
1.一种基于时空上下文关联的行为识别方法，其特征在于：包括训练步骤a和测试步骤b，所述训练步骤a包括：
步骤a1:将用户行为对应的传感器感知数据x，导入深度网络模型进行卷积映射操作，得到卷积映射行为数据；
步骤a2:将卷积映射行为数据，利用网格lstm神经网络进行特征学习，得到行为时空特征图tsf；
步骤a3：将行为时空特征图tsf，导入注意力门模块进行不同时间特征权重学习，得到行为特征图；
步骤a4：将行为特征图，传入softmax分类器计算每个行为的概率，得到行为类别的概率分布d；
步骤a5:对行为类别的概率分布d和训练集行为标签y进行交叉熵损失函数运算，得到损失loss0，在训练中引入l2损失函数作为最后的总损失函数l；
步骤a6：根据总损失函数l，利用反向传播操作修改模型可虚席参数的数值，得到深度网络模型m；
步骤a7：重复步骤a1-a6，直到训练次数完成或者损失值不再变化；
测试步骤b包括以下步骤：
步骤b1：将待识别行为的传感器数据导入网络模型m，得到行为类别的后验概率分布d;
步骤b2：对概率d中值进行排序操作，取值最大的类别标签作为最终的预测行为。
2.根据权利要求1所述的一种基于时空上下文关联的行为识别方法，其特征在于：用户行为包括分为周期性行为和零散的行为，分为周期性行为包括走路，跑步，骑车；零散的行为包括喝茶，取杯子，做饭。
3.根据权利要求1所述的一种基于时空上下文关联的行为识别方法，其特征在于：注意力门模块由注意力机制和门循环网络层两部分组成。
4.根据权利要求1所述的一种基于时空上下文关联的行为识别方法，其特征在于：所述步骤a3具体包括以下几个步骤：
步骤a3.1：将行为时空特征图tsf，传入注意力模块进行权值计算，得到不同时刻的特征权重a;
步骤a3.2：将特征权重a和行为时空特征图tsf，进行合并操作，得到带权的行为时空特征图；
步骤a3.3：将带权的行为时空特征图，导入门循环神经网络层进行时间依赖关系学习，得到行为特征图。
技术总结