本申请实施例涉及计算机技术领域，具体涉及用于生成步态识别模型的方法和装置。
背景技术：
步态识别是近年来越来越多的研究者所关注的一种较新的生物特征识别技术，它是通过人们走路的姿态来进行身份识别的方法。步态是指人们行走时的方式，是一种复杂的行为特征。与其他的生物识别技术相比，步态识别具有非接触、远距离和不容易伪装的优点，在某些领域(例如，智能视频监控领域)比图像识别更具优势。
相关技术通常以视觉信号为基础进行步态识别。例如，直接从捕获的图片中提取有关于步态的特征。然而，在实际应用中，环境的光照、障碍物等因素会影响步态识别的准确率。
技术实现要素：
本申请实施例提出了用于生成步态识别模型的方法和装置。
第一方面，本申请实施例提供了一种用于生成步态识别模型的方法，该方法包括：获取训练样本集合，其中，训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；基于训练样本集合和预设的损失函数训练得到步态识别模型。
在一些实施例中，基于训练样本集合和预设的损失函数训练得到步态识别模型，包括：执行如下训练步骤：对于训练样本集合中的训练样本，将该训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第一特征信息、第二特征信息和第三特征信息；基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为步态识别模型。
在一些实施例中，基于训练样本集合和预设的损失函数训练得到步态识别模型，还包括：若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行训练步骤。
在一些实施例中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合，无线频谱集合中的无线频谱通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；对采集的无线信号进行去噪处理；对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
在一些实施例中，无线信号包括wi-fi信号或毫米波信号。
第二方面，本申请实施例提供了一种用于识别步态的方法，该方法包括：获取表征待识别用户的步态的无线频谱；将无线频谱输入到采用第一方面中任一实现方式描述的方法生成的步态识别模型，得到待识别用户的特征信息；将特征信息与预存特征信息进行匹配；基于匹配结果生成待识别用户的识别结果。
第三方面，本申请实施例提供了一种用于生成步态识别模型的方法，步态识别模型包括第一子识别模型和第二子识别模型，该方法包括：获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；获取第二训练样本集合，其中，第二训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；基于第一训练样本集合和预设的损失函数训练得到第一子识别模型；基于第二训练样本集合和损失函数训练得到第二子识别模型；根据第一训练样本集合中第一训练样本的数量以及第二训练样本集合中第二训练样本的数量，确定第一子识别模型的模型输出与第二子识别模型的模型输出分别在步态识别模型的输出中的权重。
在一些实施例中，基于第一训练样本集合和预设的损失函数训练得到第一子识别模型，包括：执行如下第一训练步骤：对于第一训练样本集合中的第一训练样本，将该第一训练样本的第一步态能量图、第二步态能量图和第三步态能量图分别输入到初始卷积神经网络，得到分别与输入的第一步态能量图、第二步态能量图和第三步态能量图对应的第一特征信息、第二特征信息和第三特征信息；基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为第一子识别模型。
在一些实施例中，基于第一训练样本集合和预设的损失函数训练得到第一子识别模型，还包括：若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行第一训练步骤。
在一些实施例中，基于第二训练样本集合和损失函数训练得到第二子识别模型，包括：执行如下第二训练步骤：对于第二训练样本集合中的第二训练样本，将该第二训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第四特征信息、第五特征信息和第六特征信息；基于所得到的第四特征信息集合、第五特征信息集合和第六特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为步态识别模型。
在一些实施例中，基于第二训练样本集合和损失函数训练得到第二子识别模型，还包括：若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行第二训练步骤。
在一些实施例中，第一步态能量图、第二步态能量图和第三步态能量图选自预先存储的步态能量图集合，步态能量图集合中的步态能量图通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户进行视频采集，得到样本用户的行走视频；从行走视频中提取多个关键帧；从多个关键帧中提取样本用户的人体轮廓生成人体剪影；基于生成的人体剪影合成步态能量图。
在一些实施例中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合，无线频谱集合中的无线频谱通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；对采集的无线信号进行去噪处理；对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
在一些实施例中，无线信号包括wi-fi信号或毫米波信号。
第四方面，本申请实施例提供了一种用于识别步态的方法，该方法包括：获取表征待识别用户的步态的步态能量图和无线频谱；将步态能量图输入到采用第三方面中任一实现方式描述的方法生成的步态识别模型的第一子识别模型得到待识别用户的第一特征信息；将无线频谱输入到步态识别模型的第二子识别模型得到待识别用户的第二特征信息；将第一特征信息与预存第一特征信息进行匹配；将第二特征信息与预存第二特征信息进行匹配；基于第一子识别模型的模型输出与第二子识别模型的模型输出在步态识别模型的输出中的权重，对第一特征信息的匹配结果与第二特征信息的匹配结果进行融合，生成待识别用户的识别结果。
第五方面，本申请实施例提供了一种用于生成步态识别模型的方法，步态识别模型包括第一子识别模型、第二子识别模型和第三子识别模型，该方法包括：获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；获取第二训练样本集合，其中，第二训练样本包括第一wi-fi频谱、第二wi-fi频谱和第三wi-fi频谱，第一wi-fi频谱和第二wi-fi频谱为表征同一用户的步态的wi-fi频谱，第一wi-fi频谱和第三wi-fi频谱为表征不同用户的步态的wi-fi频谱；获取第三训练样本集合，其中，第三训练样本包括第一毫米波频谱、第二毫米波频谱和第三毫米波频谱，第一毫米波频谱和第二毫米波频谱为表征同一用户的步态的毫米波频谱，第一毫米波频谱和第三毫米波频谱为表征不同用户的步态的毫米波频谱；基于第一训练样本集合和预设的损失函数训练得到第一子识别模型；基于第二训练样本集合和损失函数训练得到第二子识别模型；基于第三训练样本集合和损失函数训练得到第三子识别模型；根据第一训练样本集合中第一训练样本的数量、第二训练样本集合中第二训练样本的数量以及第三训练样本集合中第三训练样本的数量，确定第一子识别模型的模型输出、第二子识别模型的模型输出与第三子识别模型的模型输出在步态识别模型的输出中的权重。
第六方面，本申请实施例提供了一种用于识别步态的方法，该方法包括：获取表征待识别用户的步态的步态能量图、wi-fi频谱和毫米波频谱；将步态能量图输入到采用第五方面描述的方法生成的步态识别模型的第一子识别模型得到待识别用户的第一特征信息；将wi-fi频谱输入到步态识别模型的第二子识别模型得到待识别用户的第二特征信息；将毫米波频谱输入到步态识别模型的第三子识别模型得到待识别用户的第三特征信息；将第一特征信息与预存第一特征信息进行匹配；将第二特征信息与预存第二特征信息进行匹配；将第三特征信息与预存第三特征信息进行匹配；基于第一子识别模型的模型输出、第二子识别模型的模型输出与第三子识别模型的模型输出在步态识别模型的输出中的权重，对第一特征信息的匹配结果、第二特征信息的匹配结果与第三特征信息的匹配结果进行融合，生成待识别用户的识别结果。
第七方面，本申请实施例提供了一种用于生成步态识别模型的装置，该装置包括：样本获取单元，被配置成获取训练样本集合，其中，训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；模型训练单元，被配置成基于训练样本集合和预设的损失函数训练得到步态识别模型。
在一些实施例中，模型训练单元包括：训练模块，被配置成执行如下训练步骤：对于训练样本集合中的训练样本，将该训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第一特征信息、第二特征信息和第三特征信息；基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为步态识别模型。
在一些实施例中，模型训练单元还包括：调整模块，被配置成若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行训练步骤。
在一些实施例中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合，无线频谱集合中的无线频谱通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；对采集的无线信号进行去噪处理；对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
在一些实施例中，无线信号包括wi-fi信号或毫米波信号。
第八方面，本申请实施例提供了一种用于识别步态的装置，该装置包括：信息获取单元，被配置成获取表征待识别用户的步态的无线频谱；识别单元，被配置成将无线频谱输入到采用第一方面任一实现方式描述的方法生成的步态识别模型，得到待识别用户的特征信息；匹配单元，被配置成将特征信息与预存特征信息进行匹配；结果生成单元，被配置成基于匹配结果生成待识别用户的识别结果。
第九方面，本申请实施例提供了一种用于生成步态识别模型的装置，步态识别模型包括第一子识别模型和第二子识别模型，该装置包括：第一样本获取单元，被配置成获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；第二样本获取单元，被配置成获取第二训练样本集合，其中，第二训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；第一模型训练单元，被配置成基于第一训练样本集合和预设的损失函数训练得到第一子识别模型；第二模型训练单元，被配置成基于第二训练样本集合和损失函数训练得到第二子识别模型；权重确定单元，被配置成根据第一训练样本集合中第一训练样本的数量以及第二训练样本集合中第二训练样本的数量，确定第一子识别模型的模型输出与第二子识别模型的模型输出分别在步态识别模型的输出中的权重。
在一些实施例中，第一模型训练单元包括：第一训练模块，被配置成执行如下第一训练步骤：对于第一训练样本集合中的第一训练样本，将该第一训练样本的第一步态能量图、第二步态能量图和第三步态能量图分别输入到初始卷积神经网络，得到分别与输入的第一步态能量图、第二步态能量图和第三步态能量图对应的第一特征信息、第二特征信息和第三特征信息；基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为第一子识别模型。
在一些实施例中，第一模型训练单元还包括：第一调整模块，被配置成若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行第一训练步骤。
在一些实施例中，第二模型训练单元包括：第二训练模块，被配置成执行如下第二训练步骤：对于第二训练样本集合中的第二训练样本，将该第二训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第四特征信息、第五特征信息和第六特征信息；基于所得到的第四特征信息集合、第五特征信息集合和第六特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为步态识别模型。
在一些实施例中，第二模型训练单元还包括：第二调整模块，被配置成若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行第二训练步骤。
在一些实施例中，第一步态能量图、第二步态能量图和第三步态能量图选自预先存储的步态能量图集合，步态能量图集合中的步态能量图通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户进行视频采集，得到样本用户的行走视频；从行走视频中提取多个关键帧；从多个关键帧中提取样本用户的人体轮廓生成人体剪影；基于生成的人体剪影合成步态能量图。
在一些实施例中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合，无线频谱集合中的无线频谱通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；对采集的无线信号进行去噪处理；对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
在一些实施例中，无线信号包括wi-fi信号或毫米波信号。
第十方面，本申请实施例提供了一种用于识别步态的装置，该装置包括：信息获取单元，被配置成获取表征待识别用户的步态的步态能量图和无线频谱；第一识别单元，被配置成将步态能量图输入到采用第三方面中任一实现方式描述的方法生成的步态识别模型的第一子识别模型得到待识别用户的第一特征信息；第二识别单元，被配置成将无线频谱输入到步态识别模型的第二子识别模型得到待识别用户的第二特征信息；第一匹配单元，被配置成将第一特征信息与预存第一特征信息进行匹配；第二匹配单元，被配置成将第二特征信息与预存第二特征信息进行匹配；结果生成单元，被配置成基于第一子识别模型的模型输出与第二子识别模型的模型输出在步态识别模型的输出中的权重，对第一特征信息的匹配结果与第二特征信息的匹配结果进行融合，生成待识别用户的识别结果。
第十一方面，本申请实施例提供了一种用于生成步态识别模型的装置，步态识别模型包括第一子识别模型、第二子识别模型和第三子识别模型，该装置包括：第一样本获取单元，被配置成获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；第二样本获取单元，被配置成获取第二训练样本集合，其中，第二训练样本包括第一wi-fi频谱、第二wi-fi频谱和第三wi-fi频谱，第一wi-fi频谱和第二wi-fi频谱为表征同一用户的步态的wi-fi频谱，第一wi-fi频谱和第三wi-fi频谱为表征不同用户的步态的wi-fi频谱；第三样本获取单元，被配置成获取第三训练样本集合，其中，第三训练样本包括第一毫米波频谱、第二毫米波频谱和第三毫米波频谱，第一毫米波频谱和第二毫米波频谱为表征同一用户的步态的毫米波频谱，第一毫米波频谱和第三毫米波频谱为表征不同用户的步态的毫米波频谱；第一模型训练单元，被配置成基于第一训练样本集合和预设的损失函数训练得到第一子识别模型；第二模型训练单元，被配置成基于第二训练样本集合和损失函数训练得到第二子识别模型；第三模型训练单元，被配置成基于第三训练样本集合和损失函数训练得到第三子识别模型；权重确定单元，被配置成根据第一训练样本集合中第一训练样本的数量、第二训练样本集合中第二训练样本的数量以及第三训练样本集合中第三训练样本的数量，确定第一子识别模型的模型输出、第二子识别模型的模型输出与第三子识别模型的模型输出在步态识别模型的输出中的权重。
第十二方面，本申请实施例提供了一种用于识别步态的装置，该装置包括：信息获取单元，被配置成获取表征待识别用户的步态的步态能量图、wi-fi频谱和毫米波频谱；第一识别单元，被配置成将步态能量图输入到采用第五方面描述的方法生成的步态识别模型的第一子识别模型得到待识别用户的第一特征信息；第二识别单元，被配置成将wi-fi频谱输入到步态识别模型的第二子识别模型得到待识别用户的第二特征信息；第三识别单元，被配置成将毫米波频谱输入到步态识别模型的第三子识别模型得到待识别用户的第三特征信息；第一匹配单元，被配置成将第一特征信息与预存第一特征信息进行匹配；第二匹配单元，被配置成将第二特征信息与预存第二特征信息进行匹配；第三匹配单元，被配置成将第三特征信息与预存第三特征信息进行匹配；结果生成单元，被配置成基于第一子识别模型的模型输出、第二子识别模型的模型输出与第三子识别模型的模型输出在步态识别模型的输出中的权重，对第一特征信息的匹配结果、第二特征信息的匹配结果与第三特征信息的匹配结果进行融合，生成待识别用户的识别结果。
第十三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面至第六方面中任一实现方式描述的方法。
第十四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面至第六方面中任一实现方式描述的方法。
本申请实施例提供的用于生成步态识别模型的方法和装置，通过获取包括由表征同一用户的步态的无线频谱和表征不同用户的步态的无线频谱生成的训练样本的训练样本集合，然后基于训练样本集合和预设的损失函数训练得到步态识别模型，从而能够提高步态识别的准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于生成步态识别模型的方法的一个实施例的流程图；
图3是根据本申请的用于识别步态的方法的一个实施例的流程图；
图4是根据本申请的用于生成步态识别模型的方法的另一实施例的流程图；
图5是根据本申请的用于识别步态的方法的另一实施例的流程图；
图6是根据本申请的用于生成步态识别模型的方法的又一实施例的流程图；
图7是根据本申请的用于识别步态的方法的又一实施例的流程图；
图8和图9是根据本申请的用于生成步态识别模型的方法的一个应用场景的示意图；
图10是根据本申请的用于生成步态识别模型的装置的一个实施例的结构示意图；
图11是根据本申请的用于识别步态的装置的一个实施例的结构示意图；
图12是根据本申请的用于生成步态识别模型的装置的另一实施例的结构示意图；
图13是根据本申请的用于识别步态的装置的另一实施例的结构示意图；
图14是根据本申请的用于生成步态识别模型的装置的又一实施例的结构示意图；
图15是根据本申请的用于识别步态的装置的又一实施例的结构示意图；
图16是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于生成步态识别模型的方法、用于识别步态的方法、用于生成步态识别模型的装置或用于识别步态的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105、106。网络104用以在终端设备101、102、103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105、106交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如步态识别类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是支持步态识别的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如存储训练样本的数据服务器。数据服务器可以存储有第一训练样本集合。第一训练样本可以包括第一无线频谱、第二无线频谱和第三无线频谱。其中，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱。
服务器105还可以存储有第二训练样本集合。第二训练样本可以包括第一步态能量图、第二步态能量图和第三步态能量图。其中，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图。
服务器106可以是提供各种服务的服务器，例如对终端设备101、102、103上的步态识别类应用提供支持的后台服务器。后台服务器可以利用数据服务器105中存储的训练样本集合对待训练模型进行训练得到步态识别模型。后台服务器还可以将终端设备提交的表征待识别用户的步态的信息(例如，无线频谱)输入到步态识别模型中得到待识别用户的特征信息，以及利用模型输出的特征信息和预存特征信息生成识别结果。
需要说明的是，本申请实施例所提供的用于生成步态识别模型的方法或用于识别步态的方法一般由服务器106执行，相应地，用于生成步态识别模型的装置或用于识别步态的装置一般设置于服务器106中。
需要说明的是，服务器105、106可以是硬件，也可以是软件。当服务器105、106为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要指出的是，服务器106的本地也可以直接存储训练样本集合，服务器106可以直接获取本地的训练样本集合。此时，示例性系统架构100可以不包括服务器105。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意合适数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的用于生成步态识别模型的方法的一个实施例的流程200。该用于生成步态识别模型的方法，可以包括以下步骤：
步骤201，获取训练样本集合。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以从本地或远程获取训练样本集合。其中，训练样本可以包括第一无线频谱、第二无线频谱和第三无线频谱。第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱。作为示例，在某一训练样本中，第一无线频谱和第二无线频谱可以表征样本用户“张三”的步态信息，第三无线频谱可以表征样本用户“李四”的步态信息。
在本实施例的一些可选的实现方式中，第一无线频谱、第二无线频谱和第三无线频谱可以选自预先存储的无线频谱集合(例如，预先存储在服务器上的无线频谱集合)。
对应于该实现方式，无线频谱集合中的无线频谱可以通过如下步骤生成：
首先，在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi(channelstateinformation，信道状态信息)描述的无线信号。这里，目标位置可以是位于无线信号传播路径上的特定位置。csi描述的是无线信号从发射到接收的过程中的信号变化，人体特征和移动会改变csi描述信息。
可选地，无线信号可以包括wi-fi(wireless-fidelity，无线保真)信号或毫米波信号。在一个示例中，可以使用无线路由器采集wi-fi信号，然后采用csi描述采集到的wi-fi信号。在另一示例中，可以使用毫米波发射/接收设备采集毫米波信号，然后采用csi描述采集到的毫米波信号。
然后，对采集的无线信号进行去噪处理。作为示例，可以使用pca(principalcomponentanalysis，主成分分析)技术或其他合适的技术去除csi描述的无线信号中的噪声，提高无线信号的准确度。
最后，对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。作为示例，可以对去噪后的无线信号进行短时傅里叶变换(shorttimefouriertransform)，将无线信号从时间域转换到频率域，从而得到用于表征样本用户的步态的无线频谱。
在本实现方式中，无线频谱生成步骤的执行主体可以与用于生成步态识别模型的方法的执行主体相同或者不同。如果相同，则无线频谱生成步骤的执行主体可以在生成无线频谱集合之后将无线频谱集合存储在本地。如果不同，则无线频谱生成步骤的执行主体可以在生成无线频谱集合之后将无线频谱集合发送到用于生成步态识别模型的方法的执行主体。
步骤202，基于训练样本集合和预设的损失函数训练得到步态识别模型。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以使用训练样本集合和预设的损失函数，利用机器学习的方法对初始卷积神经网络进行训练，得到步态识别模型。这里，初始卷积神经网络可以使用现有的各种卷积神经网络(convolutionalneuralnetwork，cnn)结构。例如，densenet、googlenet、vggnet、resnet等。
在本实施例的一些可选的实现方式中，步骤202具体可以包括：
第一步，执行如下训练步骤：
首先，对于训练样本集合中的每个训练样本，将该训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第一特征信息、第二特征信息和第三特征信息。这里，第一特征信息、第二特征信息和第三特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
然后，基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定预设的损失函数的值(例如，可以将各个第一特征信息、第二特征信息和第三特征信息输入到预设的损失函数中得到损失函数的值)是否小于或等于预设数值。
若损失函数的值小于或等于预设数值，则将初始卷积神经网络确定为步态识别模型。
第二步，若损失函数的值大于预设数值，则调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行上述训练步骤。
在对初始卷积神经网络进行训练的过程中，可以逐层求出损失函数对各神经元权值的偏导数，构成损失函数对权值向量的梯量，来修改初始卷积神经网络的权值。步态识别模型的学习在权值修改过程中完成。当损失函数的值达到期望值(例如小于0.05)时，步态识别模型的训练完成。
需要说明的是，训练初始卷积神经网络的目标是使从表征同一用户的步态的无线频谱中提取的特征信息的差异尽可能小，同时，使从表征不同用户的步态的无线频谱中提取的特征信息的差异尽可能大。这里，特征信息的差异可以利用特征信息的相似度(例如欧氏距离、余弦相似度等)进行表征。此处，可以将从表征同一用户的步态的无线频谱中提取的特征信息的差异称为第一差异，将从表征不同用户的步态的无线频谱中提取的特征信息的差异称为第二差异。上述损失函数可以是用于表征第二差异与第一差异的差异程度的函数，例如三元组损失函数(tripletloss)。作为示例，tripletloss可以定义为：
其中，n为大于1的自然数，i为训练样本的编号，i＝{1,2,…,n}，
本实施例中，采用表征同一用户的步态的两个无线频谱和表征不同用户的步态的两个无线频谱组成的三元组作为训练样本，训练出的步态识别模型不受环境光照、障碍物等的影响，提高了步态识别的准确率。
本申请的上述实施例提供的用于生成步态识别模型的方法，通过获取包括由表征同一用户的步态的无线频谱和表征不同用户的步态的无线频谱生成的训练样本的训练样本集合，然后基于训练样本集合和预设的损失函数训练得到步态识别模型，从而能够提高步态识别的准确率。
进一步参考图3，示出了根据本申请的用于识别步态的方法的一个实施例的流程300。该用于识别步态的方法，可以包括以下步骤：
步骤301，获取表征待识别用户的步态的无线频谱。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以获取用于表征待识别用户的步态的无线频谱。
在本实施例的一些可选的实现方式中，步骤301具体可以包括：
首先，在待识别用户沿预设路线行走期间，对待识别用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号。这里，无线信号可以包括wi-fi信号或毫米波信号。
其次，对采集的无线信号进行去噪处理。
最后，对去噪后的无线信号进行时频变换，得到表征待识别用户的步态的无线频谱。
需要说明的是，用于表征待识别用户的步态的无线频谱也可以由不同于上述执行主体的终端设备或服务器获取，然后发送到上述执行主体。
步骤302，将无线频谱输入到步态识别模型，得到待识别用户的特征信息。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将步骤301获取的无线频谱输入到训练好的步态识别模型中，得到待识别用户的特征信息。其中，步态识别模型可以是采用图2对应的实施例所描述的方法生成的。特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
步骤303，将特征信息与预存特征信息进行匹配。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将上述特征信息与预存特征信息进行匹配。其中，预存特征信息可以是从表征用户步态的无线频谱中预先提取的。上述执行主体可以确定上述特征信息与预存特征信息的相似度(例如可以利用欧氏距离、余弦相似度等确定)。若相似度大于或等于预设数值，则可以确定上述特征信息与预存特征信息相匹配。若相似度小于预设数值，则可以确定上述特征信息与预存特征信息不匹配。
步骤304，基于匹配结果生成待识别用户的识别结果。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以基于匹配结果生成待识别用户的识别结果。例如，若上述特征信息与预存特征信息匹配，则可以生成指示身份认证通过的识别结果；若上述特征信息与预存特征信息不匹配，则可以生成指示身份认证失败的识别结果。
本申请的上述实施例提供的用于识别步态的方法，通过将获取的用于表征待识别用户的步态的无线频谱输入训练好的步态识别模型，然后将模型输出的特征信息与预存的特征信息进行匹配，最后基于匹配结果生成待识别用户的识别结果，从而能够提高步态识别的准确率。
进一步参考图4，其示出了根据本申请的用于生成步态识别模型的方法的另一实施例的流程400。该用于生成步态识别模型的方法，可以包括以下步骤：
步骤401，获取第一训练样本集合。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以从本地或远程获取第一训练样本集合。其中，第一训练样本可以包括第一步态能量图、第二步态能量图和第三步态能量图。第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图。
步态能量图(gaitengeryimage,gei)是步态检测中常用的特征，提取方法简单，能很好的表现步态的速度、形态等特征。作为示例，步态能量图可以定义为：
其中，x、y为像素坐标，m为关键帧的总数，t为关键帧的编号，t＝{1,2,…,m}，g(x,y)表示最终的步态能量图，它是一个关于x和y的二维图像，i(x,y,t)为编号为t的关键帧中坐标为(x，y)的像素的像素值(例如灰度值)。
在本实施例的一些可选的实现方式中，第一步态能量图、第二步态能量图和第三步态能量图可以选自预先存储的步态能量图集合。
对应于该实现方式，步态能量图集合中的步态能量图可以通过如下步骤生成：
首先，在样本用户沿预设路线行走期间，对样本用户进行视频采集，得到样本用户的行走视频。例如，可以使用摄像头采集样本用户的行走视频。
之后，从行走视频中提取多个关键帧。作为示例，可以按照每秒10帧的方式从行走视频中提取需要的关键帧。
然后，从上述多个关键帧中提取样本用户的人体轮廓，生成人体剪影(也称为步态剪影)。例如，可以使用人体分割方法将运动目标(即样本用户)从关键帧中提取出来。
最后，基于所生成的步态剪影合成步态能量图。
在本实现方式中，步态能量图生成步骤的执行主体可以与用于生成步态识别模型的方法的执行主体相同或者不同。如果相同，则步态能量图生成步骤的执行主体可以在生成步态能量图集合之后将步态能量图集合存储在本地。如果不同，则步态能量图生成步骤的执行主体可以在生成步态能量图集合之后将步态能量图集合发送到用于生成步态识别模型的方法的执行主体。
步骤402，获取第二训练样本集合。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以从本地或远程获取第二训练样本集合。其中，第二训练样本可以包括第一无线频谱、第二无线频谱和第三无线频谱。第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱。
在本实施例的一些可选的实现方式中，第一无线频谱、第二无线频谱和第三无线频谱可以选自预先存储的无线频谱集合。无线频谱集合中的无线频谱的生成步骤可以参考图2对应的实施例中关于无线频谱的生成步骤的描述，在此不再赘述。
在本实施例的一些可选的实现方式中，无线信号包括wi-fi信号或毫米波信号。
步骤403，基于第一训练样本集合和预设的损失函数训练得到第一子识别模型。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以使用第一训练样本集合和预设的损失函数，利用机器学习的方法对初始卷积神经网络进行训练，得到第一子识别模型。这里，初始卷积神经网络可以使用现有的各种卷积神经网络结构。
在本实施例的一些可选的实现方式中，步骤403具体可以包括：
第一步，执行如下第一训练步骤：
首先，对于第一训练样本集合中的每个第一训练样本，将该第一训练样本的第一步态能量图、第二步态能量图和第三步态能量图分别输入到初始卷积神经网络，得到分别与输入的第一步态能量图、第二步态能量图和第三步态能量图对应的第一特征信息、第二特征信息和第三特征信息。这里，第一特征信息、第二特征信息和第三特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
然后，基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定预设的损失函数的值(例如，可以将各个第一特征信息、第二特征信息和第三特征信息输入到预设的损失函数中得到损失函数的值)是否小于或等于预设数值。
若损失函数的值小于或等于预设数值，则将初始卷积神经网络确定为第一子识别模型。
第二步，若损失函数的值大于预设数值，则调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行上述训练步骤。
步骤404，基于第二训练样本集合和损失函数训练得到第二子识别模型。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以使用第二训练样本集合和预设的损失函数，利用机器学习的方法对初始卷积神经网络进行训练，得到第二子识别模型。这里，初始卷积神经网络可以使用现有的各种卷积神经网络结构。
在本实施例的一些可选的实现方式中，步骤404具体可以包括：
第一步，执行如下第二训练步骤：
首先，对于第二训练样本集合中的每个第二训练样本，将该第二训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第四特征信息、第五特征信息和第六特征信息。这里，第四特征信息、第五特征信息和第六特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
然后，基于所得到的第四特征信息集合、第五特征信息集合和第六特征信息集合，确定预设的损失函数的值(例如，可以将各个第四特征信息、第五特征信息和第六特征信息输入到预设的损失函数中得到损失函数的值)是否小于或等于预设数值。
若损失函数的值小于或等于预设数值，则将初始卷积神经网络确定为第二子识别模型。
第二步，若损失函数的值大于预设数值，则调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行上述第二训练步骤。
本实施例中，可以使用相同的初始卷积神经网络和损失函数训练得到第一子识别模型和第二子识别模型，也可以使用不同的初始卷积神经网络和损失函数训练得到第一子识别模型和第二子识别模型，本申请对此不作具体限定。
步骤405，根据第一训练样本集合中第一训练样本的数量以及第二训练样本集合中第二训练样本的数量，确定第一子识别模型的模型输出与第二子识别模型的模型输出分别在步态识别模型的输出中的权重。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以根据第一训练样本集合中第一训练样本的数量以及第二训练样本集合中第二训练样本的数量，确定第一子识别模型的模型输出与第二子识别模型的模型输出分别在步态识别模型的输出中的权重。作为示例，第一训练样本集合中第一训练样本的数量为3000，第二训练样本集合中第二训练样本的数量为1000，则可以确定第一子识别模型的模型输出与第二子识别模型的模型输出在步态识别模型的输出中的权重比为3:1。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于生成步态识别模型的方法的流程400体现了使用步态能量图训练步态识别模型的第一子识别模型的步骤。由此，本实施例描述的方案可以弥补使用无线频谱训练出的步态识别模型识别率不高的应用场景(例如，行走路线不同、穿着不同等)，从而进一步提高步态识别的准确率。
进一步参考图5，示出了根据本申请的用于识别步态的方法的另一实施例的流程500。该用于识别步态的方法，可以包括以下步骤：
步骤501，获取用于表征待识别用户的步态的步态能量图和无线频谱。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以获取用于表征待识别用户的步态的步态能量图和无线频谱。
在本实施例的一些可选的实现方式中，步骤501具体可以包括：
首先，在待识别用户沿预设路线行走期间，对待识别用户进行视频采集，得到待识别用户的行走视频。例如，可以使用摄像头采集待识别用户的行走视频。
之后，从行走视频中提取多个关键帧。作为示例，可以按照每秒10帧的方式从行走视频中提取需要的关键帧。
然后，从上述多个关键帧中提取待识别用户的人体轮廓，生成人体剪影(也称为步态剪影)。例如，可以使用人体分割方法将运动目标(即待识别用户)从关键帧中提取出来。
最后，基于所生成的步态剪影合成步态能量图。
在本实施例的一些可选的实现方式中，步骤501还可以包括：
首先，在待识别用户沿预设路线行走期间，对待识别用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号。这里，无线信号可以包括wi-fi信号或毫米波信号。
其次，对采集的无线信号进行去噪处理。
最后，对去噪后的无线信号进行时频变换，得到表征待识别用户的步态的无线频谱。
需要说明的是，用于表征待识别用户的步态的步态能量图和无线频谱也可以由不同于上述执行主体的终端设备或服务器获取，然后发送到上述执行主体。
步骤502，将步态能量图输入到步态识别模型的第一子识别模型，得到待识别用户的第一特征信息。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将步骤501获取的步态能量图输入到训练好的步态识别模型的第一子识别模型中，得到待识别用户的第一特征信息。其中，步态识别模型可以是采用图4对应的实施例所描述的方法生成的。第一特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
步骤503，将无线频谱输入到步态识别模型的第二子识别模型，得到待识别用户的第二特征信息。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将步骤501获取的无线频谱输入到训练好的步态识别模型的第二子识别模型中，得到待识别用户的第二特征信息。其中，第二特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
步骤504，将第一特征信息与预存第一特征信息进行匹配。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将上述第一特征信息与预存第一特征信息进行匹配。其中，预存第一特征信息可以是从表征用户步态的步态能量图中预先提取的。这里，将上述第一特征信息与预存第一特征信息进行匹配可以确定两者的相似度(例如可以利用欧氏距离、余弦相似度等确定)。
步骤505，将第二特征信息与预存第二特征信息进行匹配。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将上述第二特征信息与预存第二特征信息进行匹配。其中，预存第二特征信息可以是从表征用户步态的无线频谱中预先提取的。这里，将上述第二特征信息与预存第二特征信息进行匹配也可以确定两者的相似度(例如可以利用欧氏距离、余弦相似度等确定)。
步骤506，基于第一子识别模型的模型输出与第二子识别模型的模型输出在步态识别模型的输出中的权重，对第一特征信息的匹配结果与第二特征信息的匹配结果进行融合，生成待识别用户的识别结果。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以对上述第一特征信息的匹配结果和上述第二特征信息的匹配结果进行融合，生成待识别用户的识别结果。作为示例，第一子识别模型的模型输出与第二子识别模型的模型输出在步态识别模型的输出中的权重比为3:1，第一子识别模型输出的第一特征信息与预存第一特征信息的相似度为90％，第二子识别模型输出的第二特征信息与预存第二特征信息的相似度为75％，则待识别用户的识别结果可以为90％×0.75 75％×0.25＝86.25％。若相似度阈值为85％，则该识别结果可以指示待识别用户身份认证通过。
从图5中可以看出，与图3对应的实施例相比，本实施例中的用于识别步态的方法的流程500体现了获取待识别用户的步态能量图、无线频谱以及将它们的识别结果进行融合生成识别结果的步骤。由此，本实施例描述的方案可以弥补使用无线频谱训练出的步态识别模型识别率不高的应用场景(例如，行走路线不同、穿着不同等)，从而进一步提高步态识别的准确率。
进一步参考图6，其示出了根据本申请的用于生成步态识别模型的方法的又一实施例的流程600。该用于生成步态识别模型的方法，可以包括以下步骤：
步骤601，获取第一训练样本集合。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以从本地或远程获取第一训练样本集合。其中，第一训练样本可以包括第一步态能量图、第二步态能量图和第三步态能量图。第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图。
步骤602，获取第二训练样本集合。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以从本地或远程获取第二训练样本集合。其中，第二训练样本可以包括第一wi-fi频谱、第二wi-fi频谱和第三wi-fi频谱。第一wi-fi频谱和第二wi-fi频谱为表征同一用户的步态的wi-fi频谱，第一wi-fi频谱和第三wi-fi频谱为表征不同用户的步态的wi-fi频谱。
步骤603，获取第三训练样本集合。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以从本地或远程获取第三训练样本集合。其中，第三训练样本可以包括第一毫米波频谱、第二毫米波频谱和第三毫米波频谱。第一毫米波频谱和第二毫米波频谱为表征同一用户的步态的毫米波频谱，第一毫米波频谱和第三毫米波频谱为表征不同用户的步态的毫米波频谱。
步骤604，基于第一训练样本集合和预设的损失函数训练得到第一子识别模型。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以使用第一训练样本集合和预设的损失函数，利用机器学习的方法对初始卷积神经网络进行训练，得到步态识别模型。这里，初始卷积神经网络可以使用现有的各种卷积神经网络结构。
第一子识别模型的具体训练步骤可以参考图4对应的实施例中关于第一子识别模型的训练步骤的描述，在此不做赘述。
步骤605，基于第二训练样本集合和损失函数训练得到第二子识别模型。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以使用第二训练样本集合和预设的损失函数，利用机器学习的方法对初始卷积神经网络进行训练，得到第二子识别模型。这里，初始卷积神经网络可以使用现有的各种卷积神经网络结构。
步骤606，基于第三训练样本集合和损失函数训练得到第三子识别模型。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以使用第三训练样本集合和预设的损失函数，利用机器学习的方法对初始卷积神经网络进行训练，得到第三子识别模型。这里，初始卷积神经网络可以使用现有的各种卷积神经网络结构。
第二子识别模型和第三子识别模型的具体训练步骤可以参考图4对应的实施例中关于第二子识别模型的训练步骤的描述，在此不做赘述。
步骤607，根据第一训练样本集合中第一训练样本的数量、第二训练样本集合中第二训练样本的数量以及第三训练样本集合中第三训练样本的数量，确定第一子识别模型的模型输出、第二子识别模型的模型输出与第三子识别模型的模型输出在步态识别模型的输出中的权重。
在本实施例中，用于生成步态识别模型的方法的执行主体(例如图1的服务器106)可以根据第一训练样本集合中第一训练样本的数量、第二训练样本集合中第二训练样本的数量以及第三训练样本集合中第三训练样本的数量，确定第一子识别模型的模型输出、第二子识别模型的模型输出以及第三子识别模型的模型输出分别在步态识别模型的输出中的权重。作为示例，第一训练样本集合中第一训练样本的数量为3000，第二训练样本集合中第二训练样本的数量为1000，第三训练样本集合中第三训练样本的数量为1000，则可以确定第一子识别模型、第二子识别模型和第三子识别模型的模型输出在步态识别模型的输出中的权重比为3:1:1。
从图6中可以看出，与图2对应的实施例相比，本实施例中的用于生成步态识别模型的方法的流程600体现了使用步态能量图、wi-fi频谱以及毫米波频谱训练步态识别模型的第一子识别模型、第二子识别模型和第三子识别模型的步骤。由此，本实施例描述的方案可以弥补使用单一无线频谱训练出的步态识别模型识别率不高的应用场景(例如，行走路线不同、穿着不同等)，从而进一步提高步态识别的准确率。
进一步参考图7，示出了根据本申请的用于识别步态的方法的又一实施例的流程700。该用于识别步态的方法，可以包括以下步骤：
步骤701，获取用于表征待识别用户的步态的步态能量图、wi-fi频谱和毫米波频谱。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以获取用于表征待识别用户的步态的步态能量图wi-fi频谱和毫米波频谱。
步骤702，将步态能量图输入到步态识别模型的第一子识别模型，得到待识别用户的第一特征信息。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将获取的步态能量图输入到训练好的步态识别模型的第一子识别模型中，得到待识别用户的第一特征信息。其中，步态识别模型可以是采用图6对应的实施例所描述的方法生成的。第一特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
步骤703，将wi-fi频谱输入到步态识别模型的第二子识别模型，得到待识别用户的第二特征信息。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将获取的wi-fi频谱输入到训练好的步态识别模型的第二子识别模型中，得到待识别用户的第二特征信息。其中，第二特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
步骤704，将毫米波频谱输入到步态识别模型的第三子识别模型，得到待识别用户的第三特征信息。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将获取的毫米波频谱输入到训练好的步态识别模型的第三子识别模型中，得到待识别用户的第三特征信息。其中，第三特征信息可以是表征人体步态的信息，可以用向量或者矩阵表示。
步骤705，将第一特征信息与预存第一特征信息进行匹配。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将上述第一特征信息与预存第一特征信息进行匹配。其中，预存第一特征信息可以是从表征用户步态的步态能量图中预先提取的。这里，将上述第一特征信息与预存第一特征信息进行匹配可以确定两者的相似度(例如可以利用欧氏距离、余弦相似度等确定)。
步骤706，将第二特征信息与预存第二特征信息进行匹配。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将上述第二特征信息与预存第二特征信息进行匹配。其中，预存第二特征信息可以是从表征用户步态的wi-fi频谱中预先提取的。这里，将上述第二特征信息与预存第二特征信息进行匹配也可以确定两者的相似度(例如可以利用欧氏距离、余弦相似度等确定)。
步骤707，将第三特征信息与预存第三特征信息进行匹配。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以将上述第三特征信息与预存第三特征信息进行匹配。其中，预存第三特征信息可以是从表征用户步态的毫米波频谱中预先提取的。这里，将上述第三特征信息与预存第三特征信息进行匹配也可以确定两者的相似度(例如可以利用欧氏距离、余弦相似度等确定)。
步骤708，基于第一子识别模型的模型输出、第二子识别模型的模型输出与第三子识别模型的模型输出在步态识别模型的输出中的权重，对第一特征信息的匹配结果、第二特征信息的匹配结果与第三特征信息的匹配结果进行融合，生成待识别用户的识别结果。
在本实施例中，用于识别步态的方法的执行主体(例如图1的服务器106)可以对上述第一特征信息的匹配结果、上述第二特征信息的匹配结果和上述第三特征信息的匹配结果进行融合，生成待识别用户的识别结果。作为示例，第一子识别模型、第二子识别模型和第三子识别模型的模型输出在步态识别模型的输出中的权重比为3:1:1，第一子识别模型输出的第一特征信息与预存第一特征信息的相似度为90％，第二子识别模型输出的第二特征信息与预存第二特征信息的相似度为75％，第三子识别模型输出的第三特征信息与预存第三特征信息的相似度为87％，则待识别用户的识别结果可以为90％×0.6 75％×0.2 87％×0.2＝86.4％。若相似度阈值为85％，则该识别结果可以指示待识别用户身份认证通过。
从图7中可以看出，与图3对应的实施例相比，本实施例中的用于识别步态的方法的流程700体现了获取待识别用户的步态能量图、wi-fi频谱和毫米波频谱以及将它们的识别结果进行融合生成识别结果的步骤。由此，本实施例描述的方案可以弥补使用单一无线频谱训练出的步态识别模型识别率不高的应用场景(例如，行走路线不同、穿着不同等)，从而进一步提高步态识别的准确率。
继续参考图8和图9，图8和图9是根据本申请的用于生成步态识别模型的方法的一个应用场景的示意图。
如图8所示，首先，在实线框所示的房间内设置有三条预设路线l1～l3、三个摄像头802～804、无线路由器801、射频接收端805以及射频发射端806。之后，邀请50个实验者807分别沿预设路线l1～l3行走，并通过摄像头802～804采集实验者807的行走视频，通过无线路由器801采集每个实验者行走时的wi-fi信号，以及通过毫米波射频接收端805采集每个实验者行走时毫米波射频发射端806发射的毫米波信号，最终可以收集到例如9831个行走视频、3277个wi-fi信号和3277个毫米波信号，每个行走视频和每个无线信号都包含多个步态周期(gaitcycle，是指行走时，同一只脚从脚跟离地跨出，到再次脚跟着地的行进过程)。然后，对每个行走视频进行处理得到步态能量图(如图9中901所示)，对每个wi-fi信号进行处理得到wi-fi频谱(如图9中902所示)，以及对每个毫米波信号进行处理得到毫米波频谱(如图9中903所示)。随后，利用步态能量图集合、wi-fi频谱集合和毫米波频谱集合，分别生成第一训练样本集合、第二训练样本集合和第三训练样本集合。接着，分别训练第一子识别模型、第二子识别模型和第三子识别模型，并确定第一子识别模型、第二子识别模型和第三子识别模型的模型输出在步态识别模型的输出中的权重比(例如3:1:1)。最后，得到步态识别模型，即，确定权重比的第一子识别模型、第二子识别模型和第三子识别模型的组合。
进一步参考图10，作为对图2所示方法的实现，本申请提供了一种用于生成步态识别模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于服务器中。
如图10所示，本实施例的用于生成步态识别模型的装置1000可以包括样本获取单元1001和模型训练单元1002。其中，样本获取单元1001被配置成获取训练样本集合，其中，训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；而模型训练单元1002被配置成基于训练样本集合和预设的损失函数训练得到步态识别模型。
在本实施例中，用于生成步态识别模型的装置1000的样本获取单元1001和模型训练单元1002具体实现可以参考图2对应的实施例中关于步骤201～步骤202的相关描述，在此不再赘述。
在本实施例的一些可选的实现方式中，第一无线频谱、第二无线频谱和第三无线频谱可以选自预先存储的无线频谱集合。无线频谱集合中的无线频谱通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；对采集的无线信号进行去噪处理；对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
在本实施例的一些可选的实现方式中，无线信号可以包括wi-fi信号或毫米波信号。
在本实施例的一些可选的实现方式中，上述模型训练单元1002可以包括训练模块。其中，上述训练模块可以被配置成执行如下训练步骤：对于训练样本集合中的训练样本，将该训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第一特征信息、第二特征信息和第三特征信息；基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为步态识别模型。
在本实施例的一些可选的实现方式中，上述模型训练单元1002还可以包括调整模块。其中，上述调整模块可以被配置成：若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行上述训练步骤。
本申请的上述实施例提供的用于生成步态识别模型的装置，通过获取包括由表征同一用户的步态的无线频谱和表征不同用户的步态的无线频谱生成的训练样本的训练样本集合，然后基于训练样本集合和预设的损失函数训练得到步态识别模型，从而能够提高步态识别的准确率。
进一步参考图11，作为对图3所示方法的实现，本申请提供了一种用于识别步态的装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于服务器中。
如图11所示，本实施例的用于识别步态的装置1100可以包括信息获取单元1101、识别单元1102、匹配单元1103和结果生成单元1104。其中，信息获取单元1101被配置成获取表征待识别用户的步态的无线频谱；识别单元1102被配置成将无线频谱输入到步态识别模型，得到待识别用户的特征信息；匹配单元1103被配置成将特征信息与预存特征信息进行匹配；而结果生成单元1104被配置成基于匹配结果生成待识别用户的识别结果。
在本实施例中，用于识别步态的装置1100的信息获取单元1101、识别单元1102、匹配单元1103和结果生成单元1104的具体实现可以参考图3对应的实施例中关于步骤301～步骤304的相关描述，在此不再赘述。
本申请的上述实施例提供的用于识别步态的装置，通过将获取的用于表征待识别用户的步态的无线频谱输入训练好的步态识别模型，然后将模型输出的特征信息与预存的特征信息进行匹配，最后基于匹配结果生成待识别用户的识别结果，从而能够提高步态识别的准确率。
进一步参考图12，作为对图4所示方法的实现，本申请提供了一种用于生成步态识别模型的装置的另一实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于服务器中。
如图12所示，本实施例的用于生成步态识别模型的装置1200可以包括第一样本获取单元1201、第二样本获取单元1202、第一模型训练单元1203、第二模型训练单元1204和权重确定单元1205。其中，第一样本获取单元1201被配置成获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；第二样本获取单元1202被配置成获取第二训练样本集合，其中，第二训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；第一模型训练单元1203被配置成基于第一训练样本集合和预设的损失函数训练得到第一子识别模型；第二模型训练单元1204被配置成基于第二训练样本集合和损失函数训练得到第二子识别模型；而权重确定单元1205被配置成根据第一训练样本集合中第一训练样本的数量以及第二训练样本集合中第二训练样本的数量，确定第一子识别模型的模型输出与第二子识别模型的模型输出分别在步态识别模型的输出中的权重。
在本实施例中，用于生成步态识别模型的装置1200的第一样本获取单元1201、第二样本获取单元1202、第一模型训练单元1203、第二模型训练单元1204和权重确定单元1205的具体实现可以参考图4对应的实施例中关于步骤401～步骤405的相关描述，在此不再赘述。
在本实施例的一些可选的实现方式中，第一步态能量图、第二步态能量图和第三步态能量图选自预先存储的步态能量图集合。步态能量图集合中的步态能量图可以通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户进行视频采集，得到样本用户的行走视频；从行走视频中提取多个关键帧；从多个关键帧中提取样本用户的人体轮廓生成人体剪影；基于生成的人体剪影合成步态能量图。
在本实施例的一些可选的实现方式中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合。无线频谱集合中的无线频谱可以通过如下步骤生成：在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；对采集的无线信号进行去噪处理；对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
在本实施例的一些可选的实现方式中，无线信号包括wi-fi信号或毫米波信号。
在本实施例的一些可选的实现方式中，上述第一模型训练单元1203可以包括第一训练模块。其中，上述第一训练模块可以被配置成执行如下第一训练步骤：对于第一训练样本集合中的第一训练样本，将该第一训练样本的第一步态能量图、第二步态能量图和第三步态能量图分别输入到初始卷积神经网络，得到分别与输入的第一步态能量图、第二步态能量图和第三步态能量图对应的第一特征信息、第二特征信息和第三特征信息；基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为第一子识别模型。
在本实施例的一些可选的实现方式中，上述第一模型训练单元1203还可以包括第一调整模块。其中，上述第一调整模块被配置成：若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行第一训练步骤。
在本实施例的一些可选的实现方式中，上述第二模型训练单元1204可以包括第二训练模块。其中，上述第二训练模块被配置成执行如下第二训练步骤：对于第二训练样本集合中的第二训练样本，将该第二训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第四特征信息、第五特征信息和第六特征信息；基于所得到的第四特征信息集合、第五特征信息集合和第六特征信息集合，确定损失函数的值是否小于或等于预设数值；若损失函数的值小于或等于预设数值，将初始卷积神经网络确定为步态识别模型。
在本实施例的一些可选的实现方式中，上述第二模型训练单元1204还可以包括第二调整模块。其中，上述第二调整模块被配置成：若损失函数的值大于预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行第二训练步骤。
本申请的上述实施例提供的用于生成步态识别模型的装置，可以弥补使用无线频谱训练出的步态识别模型识别率不高的应用场景(例如，行走路线不同、穿着不同等)，从而进一步提高步态识别的准确率。
进一步参考图13，作为对图5所示方法的实现，本申请提供了一种用于识别步态的装置的另一实施例，该装置实施例与图5所示的方法实施例相对应，该装置具体可以应用于服务器中。
如图13所示，本实施例的用于识别步态的装置1300可以包括信息获取单元1301、第一识别单元1302、第二识别单元1303、第一匹配单元1304、第二匹配单元1305和结果生成单元1306。其中，信息获取单元1301被配置成获取表征待识别用户的步态的步态能量图和无线频谱；第一识别单元1302被配置成将步态能量图输入到步态识别模型的第一子识别模型得到待识别用户的第一特征信息；第二识别单元1303被配置成将无线频谱输入到步态识别模型的第二子识别模型得到待识别用户的第二特征信息；第一匹配单元1304被配置成将第一特征信息与预存第一特征信息进行匹配；第二匹配单元1305被配置成将第二特征信息与预存第二特征信息进行匹配；而结果生成单元1306被配置成基于第一子识别模型的模型输出与第二子识别模型的模型输出在步态识别模型的输出中的权重，对第一特征信息的匹配结果与第二特征信息的匹配结果进行融合，生成待识别用户的识别结果。
在本实施例中，用于识别步态的装置1300的信息获取单元1301、第一识别单元1302、第二识别单元1303、第一匹配单元1304、第二匹配单元1305和结果生成单元1306的具体实现可以参考图5对应的实施例中关于步骤501～步骤506的相关描述，在此不再赘述。
本申请的上述实施例提供的用于识别步态的装置，可以弥补使用无线频谱训练出的步态识别模型识别率不高的应用场景(例如，行走路线不同、穿着不同等)，从而进一步提高步态识别的准确率。
进一步参考图14，作为对图6所示方法的实现，本申请提供了一种用于生成步态识别模型的装置的又一实施例，该装置实施例与图6所示的方法实施例相对应，该装置具体可以应用于服务器中。
如图14所示，本实施例的用于生成步态识别模型的装置1400可以包括第一样本获取单元1401、第二样本获取单元1402、第三样本获取单元1403、第一模型训练单元1404、第二模型训练单元1405、第三模型训练单元1406和权重确定单元1407。其中，第一样本获取单元1401被配置成获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；第二样本获取单元1402被配置成获取第二训练样本集合，其中，第二训练样本包括第一wi-fi频谱、第二wi-fi频谱和第三wi-fi频谱，第一wi-fi频谱和第二wi-fi频谱为表征同一用户的步态的wi-fi频谱，第一wi-fi频谱和第三wi-fi频谱为表征不同用户的步态的wi-fi频谱；第三样本获取单元1403被配置成获取第三训练样本集合，其中，第三训练样本包括第一毫米波频谱、第二毫米波频谱和第三毫米波频谱，第一毫米波频谱和第二毫米波频谱为表征同一用户的步态的毫米波频谱，第一毫米波频谱和第三毫米波频谱为表征不同用户的步态的毫米波频谱；第一模型训练单元1404被配置成基于第一训练样本集合和预设的损失函数训练得到第一子识别模型；第二模型训练单元1405被配置成基于第二训练样本集合和损失函数训练得到第二子识别模型；第三模型训练单元1406被配置成基于第三训练样本集合和损失函数训练得到第三子识别模型；权重确定单元1407被配置成根据第一训练样本集合中第一训练样本的数量、第二训练样本集合中第二训练样本的数量以及第三训练样本集合中第三训练样本的数量，确定第一子识别模型的模型输出、第二子识别模型的模型输出与第三子识别模型的模型输出在步态识别模型的输出中的权重。
在本实施例中，用于生成步态识别模型的装置1400的第一样本获取单元1401、第二样本获取单元1402、第三样本获取单元1403、第一模型训练单元1404、第二模型训练单元1405、第三模型训练单元1406和权重确定单元1407的具体实现可以参考图6对应的实施例中关于步骤601～步骤607的相关描述，在此不再赘述。
本申请的上述实施例提供的用于生成步态识别模型的装置，可以弥补使用单一无线频谱训练出的步态识别模型识别率不高的应用场景(例如，行走路线不同、穿着不同等)，从而进一步提高步态识别的准确率。
进一步参考图15，作为对图7所示方法的实现，本申请提供了一种用于识别步态的装置的又一实施例，该装置实施例与图7所示的方法实施例相对应，该装置具体可以应用于服务器中。
如图15所示，本实施例的用于识别步态的装置1500可以包括信息获取单元1501、第一识别单元1502、第二识别单元1503、第三识别单元1504、第一匹配单元1505、第二匹配单元1506、第三匹配单元1507和结果生成单元1508。其中，信息获取单元1501被配置成获取表征待识别用户的步态的步态能量图、wi-fi频谱和毫米波频谱；第一识别单元1502被配置成将步态能量图输入到步态识别模型的第一子识别模型得到待识别用户的第一特征信息；第二识别单元1503被配置成将wi-fi频谱输入到步态识别模型的第二子识别模型得到待识别用户的第二特征信息；第三识别单元1504被配置成将毫米波频谱输入到步态识别模型的第三子识别模型得到待识别用户的第三特征信息；第一匹配单元1505被配置成将第一特征信息与预存第一特征信息进行匹配；第二匹配单元1506被配置成将第二特征信息与预存第二特征信息进行匹配；第三匹配单元1507被配置成将第三特征信息与预存第三特征信息进行匹配；结果生成单元1508被配置成基于第一子识别模型的模型输出、第二子识别模型的模型输出与第三子识别模型的模型输出在步态识别模型的输出中的权重，对第一特征信息的匹配结果、第二特征信息的匹配结果与第三特征信息的匹配结果进行融合，生成待识别用户的识别结果。
在本实施例中，用于识别步态的装置1500的信息获取单元1501、第一识别单元1502、第二识别单元1503、第三识别单元1504、第一匹配单元1505、第二匹配单元1506、第三匹配单元1507和结果生成单元1508的具体实现可以参考图7对应的实施例中关于步骤701～步骤708的相关描述，在此不再赘述。
本申请的上述实施例提供的用于识别步态的装置，可以弥补使用单一无线频谱训练出的步态识别模型识别率不高的应用场景(例如，行走路线不同、穿着不同等)，从而进一步提高步态识别的准确率。
下面参考图16，其示出了适于用来实现本申请实施例的电子设备(例如图1的服务器106)的计算机系统1600的结构示意图。图16示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图16所示，计算机系统1600包括一个或多个中央处理单元(cpu)1601，其可以根据存储在只读存储器(rom)1602中的程序或者从存储部分1608加载到随机访问存储器(ram)1603中的程序而执行各种适当的动作和处理。在ram1603中，还存储有系统1600操作所需的各种程序和数据。cpu1601、rom1602以及ram1603通过总线1604彼此相连。输入/输出(i/o)接口1605也连接至总线1604。
以下部件连接至i/o接口1605：包括键盘、鼠标等的输入部分1606；包括诸如有机发光二极管(oled)显示器、液晶显示器(lcd)等以及扬声器等的输出部分1607；包括硬盘等的存储部分1608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1609。通信部分1609经由诸如因特网的网络执行通信处理。驱动器1610也根据需要连接至i/o接口1605。可拆卸介质1611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1610上，以便于从其上读出的计算机程序根据需要被安装入存储部分1608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1609从网络上被下载和安装，和/或从可拆卸介质1611被安装。在该计算机程序被中央处理单元(cpu)1601执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括样本获取单元和模型训练单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，样本获取单元还可以被描述为“获取训练样本集合的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取训练样本集合，其中，训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；基于训练样本集合和预设的损失函数训练得到步态识别模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
1.一种用于生成步态识别模型的方法，包括：
获取训练样本集合，其中，训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；
基于所述训练样本集合和预设的损失函数训练得到所述步态识别模型。
2.根据权利要求1所述的方法，其中，所述基于所述训练样本集合和预设的损失函数训练得到所述步态识别模型，包括：
执行如下训练步骤：
对于所述训练样本集合中的训练样本，将该训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第一特征信息、第二特征信息和第三特征信息；
基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定所述损失函数的值是否小于或等于预设数值；
若所述损失函数的值小于或等于所述预设数值，将初始卷积神经网络确定为所述步态识别模型。
3.根据权利要求2所述的方法，其中，所述基于所述训练样本集合和预设的损失函数训练得到所述步态识别模型，还包括：
若所述损失函数的值大于所述预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行所述训练步骤。
4.根据权利要求1所述的方法，其中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合，所述无线频谱集合中的无线频谱通过如下步骤生成：
在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用信道状态信息csi描述的无线信号；
对采集的无线信号进行去噪处理；
对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
5.根据权利要求4所述的方法，其中，无线信号包括无线保真wi-fi信号或毫米波信号。
6.一种用于识别步态的方法，包括：
获取表征待识别用户的步态的无线频谱；
将所述无线频谱输入到采用权利要求1-5之一所述的方法生成的步态识别模型，得到所述待识别用户的特征信息；
将所述特征信息与预存特征信息进行匹配；
基于匹配结果生成所述待识别用户的识别结果。
7.一种用于生成步态识别模型的方法，所述步态识别模型包括第一子识别模型和第二子识别模型，所述方法包括：
获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；
获取第二训练样本集合，其中，第二训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；
基于所述第一训练样本集合和预设的损失函数训练得到所述第一子识别模型；
基于所述第二训练样本集合和所述损失函数训练得到所述第二子识别模型；
根据所述第一训练样本集合中第一训练样本的数量以及所述第二训练样本集合中第二训练样本的数量，确定所述第一子识别模型的模型输出与所述第二子识别模型的模型输出分别在所述步态识别模型的输出中的权重。
8.根据权利要求7所述的方法，其中，所述基于所述第一训练样本集合和预设的损失函数训练得到所述第一子识别模型，包括：
执行如下第一训练步骤：
对于所述第一训练样本集合中的第一训练样本，将该第一训练样本的第一步态能量图、第二步态能量图和第三步态能量图分别输入到初始卷积神经网络，得到分别与输入的第一步态能量图、第二步态能量图和第三步态能量图对应的第一特征信息、第二特征信息和第三特征信息；
基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定所述损失函数的值是否小于或等于预设数值；
若所述损失函数的值小于或等于所述预设数值，将初始卷积神经网络确定为所述第一子识别模型。
9.根据权利要求8所述的方法，其中，所述基于所述第一训练样本集合和预设的损失函数训练得到所述第一子识别模型，还包括：
若所述损失函数的值大于所述预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行所述第一训练步骤。
10.根据权利要求7所述的方法，其中，所述基于所述第二训练样本集合和所述损失函数训练得到所述第二子识别模型，包括：
执行如下第二训练步骤：
对于所述第二训练样本集合中的第二训练样本，将该第二训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第四特征信息、第五特征信息和第六特征信息；
基于所得到的第四特征信息集合、第五特征信息集合和第六特征信息集合，确定所述损失函数的值是否小于或等于预设数值；
若所述损失函数的值小于或等于所述预设数值，将初始卷积神经网络确定为所述步态识别模型。
11.根据权利要求10所述的方法，其中，所述基于所述第二训练样本集合和所述损失函数训练得到所述第二子识别模型，还包括：
若所述损失函数的值大于所述预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行所述第二训练步骤。
12.根据权利要求7所述的方法，其中，第一步态能量图、第二步态能量图和第三步态能量图选自预先存储的步态能量图集合，所述步态能量图集合中的步态能量图通过如下步骤生成：
在样本用户沿预设路线行走期间，对样本用户进行视频采集，得到样本用户的行走视频；
从行走视频中提取多个关键帧；
从所述多个关键帧中提取样本用户的人体轮廓生成人体剪影；
基于生成的人体剪影合成步态能量图。
13.根据权利要求7所述的方法，其中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合，所述无线频谱集合中的无线频谱通过如下步骤生成：
在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；
对采集的无线信号进行去噪处理；
对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
14.根据权利要求13所述的方法，其中，无线信号包括wi-fi信号或毫米波信号。
15.一种用于识别步态的方法，包括：
获取表征待识别用户的步态的步态能量图和无线频谱；
将所述步态能量图输入到采用权利要求7-14之一所述的方法生成的步态识别模型的第一子识别模型得到所述待识别用户的第一特征信息；
将所述无线频谱输入到所述步态识别模型的第二子识别模型得到所述待识别用户的第二特征信息；
将所述第一特征信息与预存第一特征信息进行匹配；
将所述第二特征信息与预存第二特征信息进行匹配；
基于所述第一子识别模型的模型输出与所述第二子识别模型的模型输出在所述步态识别模型的输出中的权重，对所述第一特征信息的匹配结果与所述第二特征信息的匹配结果进行融合，生成所述待识别用户的识别结果。
16.一种用于生成步态识别模型的方法，所述步态识别模型包括第一子识别模型、第二子识别模型和第三子识别模型，所述方法包括：
获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；
获取第二训练样本集合，其中，第二训练样本包括第一wi-fi频谱、第二wi-fi频谱和第三wi-fi频谱，第一wi-fi频谱和第二wi-fi频谱为表征同一用户的步态的wi-fi频谱，第一wi-fi频谱和第三wi-fi频谱为表征不同用户的步态的wi-fi频谱；
获取第三训练样本集合，其中，第三训练样本包括第一毫米波频谱、第二毫米波频谱和第三毫米波频谱，第一毫米波频谱和第二毫米波频谱为表征同一用户的步态的毫米波频谱，第一毫米波频谱和第三毫米波频谱为表征不同用户的步态的毫米波频谱；
基于所述第一训练样本集合和预设的损失函数训练得到所述第一子识别模型；
基于所述第二训练样本集合和所述损失函数训练得到所述第二子识别模型；
基于所述第三训练样本集合和所述损失函数训练得到所述第三子识别模型；
根据所述第一训练样本集合中第一训练样本的数量、所述第二训练样本集合中第二训练样本的数量以及所述第三训练样本集合中第三训练样本的数量，确定所述第一子识别模型的模型输出、所述第二子识别模型的模型输出与所述第三子识别模型的模型输出在所述步态识别模型的输出中的权重。
17.一种用于识别步态的方法，包括：
获取表征待识别用户的步态的步态能量图、wi-fi频谱和毫米波频谱；
将所述步态能量图输入到采用权利要求16所述的方法生成的步态识别模型的第一子识别模型得到所述待识别用户的第一特征信息；
将所述wi-fi频谱输入到所述步态识别模型的第二子识别模型得到所述待识别用户的第二特征信息；
将所述毫米波频谱输入到所述步态识别模型的第三子识别模型得到所述待识别用户的第三特征信息；
将所述第一特征信息与预存第一特征信息进行匹配；
将所述第二特征信息与预存第二特征信息进行匹配；
将所述第三特征信息与预存第三特征信息进行匹配；
基于所述第一子识别模型的模型输出、所述第二子识别模型的模型输出与所述第三子识别模型的模型输出在所述步态识别模型的输出中的权重，对所述第一特征信息的匹配结果、所述第二特征信息的匹配结果与所述第三特征信息的匹配结果进行融合，生成所述待识别用户的识别结果。
18.一种用于生成步态识别模型的装置，包括：
样本获取单元，被配置成获取训练样本集合，其中，训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；
模型训练单元，被配置成基于所述训练样本集合和预设的损失函数训练得到所述步态识别模型。
19.根据权利要求18所述的装置，其中，所述模型训练单元包括：
训练模块，被配置成执行如下训练步骤：
对于所述训练样本集合中的训练样本，将该训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第一特征信息、第二特征信息和第三特征信息；
基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定所述损失函数的值是否小于或等于预设数值；
若所述损失函数的值小于或等于所述预设数值，将初始卷积神经网络确定为所述步态识别模型。
20.根据权利要求19所述的装置，其中，所述模型训练单元还包括：
调整模块，被配置成若所述损失函数的值大于所述预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行所述训练步骤。
21.根据权利要求18所述的装置，其中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合，所述无线频谱集合中的无线频谱通过如下步骤生成：
在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；
对采集的无线信号进行去噪处理；
对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
22.根据权利要求21所述的装置，其中，无线信号包括wi-fi信号或毫米波信号。
23.一种用于识别步态的装置，包括：
信息获取单元，被配置成获取表征待识别用户的步态的无线频谱；
识别单元，被配置成将所述无线频谱输入到采用权利要求1-5之一所述的方法生成的步态识别模型，得到所述待识别用户的特征信息；
匹配单元，被配置成将所述特征信息与预存特征信息进行匹配；
结果生成单元，被配置成基于匹配结果生成所述待识别用户的识别结果。
24.一种用于生成步态识别模型的装置，所述步态识别模型包括第一子识别模型和第二子识别模型，所述装置包括：
第一样本获取单元，被配置成获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；
第二样本获取单元，被配置成获取第二训练样本集合，其中，第二训练样本包括第一无线频谱、第二无线频谱和第三无线频谱，第一无线频谱和第二无线频谱为表征同一用户的步态的无线频谱，第一无线频谱和第三无线频谱为表征不同用户的步态的无线频谱；
第一模型训练单元，被配置成基于所述第一训练样本集合和预设的损失函数训练得到所述第一子识别模型；
第二模型训练单元，被配置成基于所述第二训练样本集合和所述损失函数训练得到所述第二子识别模型；
权重确定单元，被配置成根据所述第一训练样本集合中第一训练样本的数量以及所述第二训练样本集合中第二训练样本的数量，确定所述第一子识别模型的模型输出与所述第二子识别模型的模型输出分别在所述步态识别模型的输出中的权重。
25.根据权利要求24所述的装置，其中，所述第一模型训练单元包括：
第一训练模块，被配置成执行如下第一训练步骤：
对于所述第一训练样本集合中的第一训练样本，将该第一训练样本的第一步态能量图、第二步态能量图和第三步态能量图分别输入到初始卷积神经网络，得到分别与输入的第一步态能量图、第二步态能量图和第三步态能量图对应的第一特征信息、第二特征信息和第三特征信息；
基于所得到的第一特征信息集合、第二特征信息集合和第三特征信息集合，确定所述损失函数的值是否小于或等于预设数值；
若所述损失函数的值小于或等于所述预设数值，将初始卷积神经网络确定为所述第一子识别模型。
26.根据权利要求25所述的装置，其中，所述第一模型训练单元还包括：
第一调整模块，被配置成若所述损失函数的值大于所述预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行所述第一训练步骤。
27.根据权利要求24所述的装置，其中，所述第二模型训练单元包括：
第二训练模块，被配置成执行如下第二训练步骤：
对于所述第二训练样本集合中的第二训练样本，将该第二训练样本的第一无线频谱、第二无线频谱和第三无线频谱分别输入到初始卷积神经网络，得到分别与输入的第一无线频谱、第二无线频谱和第三无线频谱对应的第四特征信息、第五特征信息和第六特征信息；
基于所得到的第四特征信息集合、第五特征信息集合和第六特征信息集合，确定所述损失函数的值是否小于或等于预设数值；
若所述损失函数的值小于或等于所述预设数值，将初始卷积神经网络确定为所述步态识别模型。
28.根据权利要求27所述的装置，其中，所述第二模型训练单元还包括：
第二调整模块，被配置成若所述损失函数的值大于所述预设数值，调整初始卷积神经网络的参数，使用调整后的初始卷积神经网络作为初始卷积神经网络，继续执行所述第二训练步骤。
29.根据权利要求24所述的装置，其中，第一步态能量图、第二步态能量图和第三步态能量图选自预先存储的步态能量图集合，所述步态能量图集合中的步态能量图通过如下步骤生成：
在样本用户沿预设路线行走期间，对样本用户进行视频采集，得到样本用户的行走视频；
从行走视频中提取多个关键帧；
从所述多个关键帧中提取样本用户的人体轮廓生成人体剪影；
基于生成的人体剪影合成步态能量图。
30.根据权利要求24所述的装置，其中，第一无线频谱、第二无线频谱和第三无线频谱选自预先存储的无线频谱集合，所述无线频谱集合中的无线频谱通过如下步骤生成：
在样本用户沿预设路线行走期间，对样本用户所在区域的目标位置进行无线信号采集，得到采用csi描述的无线信号；
对采集的无线信号进行去噪处理；
对去噪后的无线信号进行时频变换，得到表征样本用户的步态的无线频谱。
31.根据权利要求30所述的装置，其中，无线信号包括wi-fi信号或毫米波信号。
32.一种用于识别步态的装置，包括：
信息获取单元，被配置成获取表征待识别用户的步态的步态能量图和无线频谱；
第一识别单元，被配置成将所述步态能量图输入到采用权利要求7-14之一所述的方法生成的步态识别模型的第一子识别模型得到所述待识别用户的第一特征信息；
第二识别单元，被配置成将所述无线频谱输入到所述步态识别模型的第二子识别模型得到所述待识别用户的第二特征信息；
第一匹配单元，被配置成将所述第一特征信息与预存第一特征信息进行匹配；
第二匹配单元，被配置成将所述第二特征信息与预存第二特征信息进行匹配；
结果生成单元，被配置成基于所述第一子识别模型的模型输出与所述第二子识别模型的模型输出在所述步态识别模型的输出中的权重，对所述第一特征信息的匹配结果与所述第二特征信息的匹配结果进行融合，生成所述待识别用户的识别结果。
33.一种用于生成步态识别模型的装置，所述步态识别模型包括第一子识别模型、第二子识别模型和第三子识别模型，所述装置包括：
第一样本获取单元，被配置成获取第一训练样本集合，其中，第一训练样本包括第一步态能量图、第二步态能量图和第三步态能量图，第一步态能量图和第二步态能量图为表征同一用户的步态的步态能量图，第一步态能量图和第三步态能量图为表征不同用户的步态的步态能量图；
第二样本获取单元，被配置成获取第二训练样本集合，其中，第二训练样本包括第一wi-fi频谱、第二wi-fi频谱和第三wi-fi频谱，第一wi-fi频谱和第二wi-fi频谱为表征同一用户的步态的wi-fi频谱，第一wi-fi频谱和第三wi-fi频谱为表征不同用户的步态的wi-fi频谱；
第三样本获取单元，被配置成获取第三训练样本集合，其中，第三训练样本包括第一毫米波频谱、第二毫米波频谱和第三毫米波频谱，第一毫米波频谱和第二毫米波频谱为表征同一用户的步态的毫米波频谱，第一毫米波频谱和第三毫米波频谱为表征不同用户的步态的毫米波频谱；
第一模型训练单元，被配置成基于所述第一训练样本集合和预设的损失函数训练得到所述第一子识别模型；
第二模型训练单元，被配置成基于所述第二训练样本集合和所述损失函数训练得到所述第二子识别模型；
第三模型训练单元，被配置成基于所述第三训练样本集合和所述损失函数训练得到所述第三子识别模型；
权重确定单元，被配置成根据所述第一训练样本集合中第一训练样本的数量、所述第二训练样本集合中第二训练样本的数量以及所述第三训练样本集合中第三训练样本的数量，确定所述第一子识别模型的模型输出、所述第二子识别模型的模型输出与所述第三子识别模型的模型输出在所述步态识别模型的输出中的权重。
34.一种用于识别步态的装置，包括：
信息获取单元，被配置成获取表征待识别用户的步态的步态能量图、wi-fi频谱和毫米波频谱；
第一识别单元，被配置成将所述步态能量图输入到采用权利要求16所述的方法生成的步态识别模型的第一子识别模型得到所述待识别用户的第一特征信息；
第二识别单元，被配置成将所述wi-fi频谱输入到所述步态识别模型的第二子识别模型得到所述待识别用户的第二特征信息；
第三识别单元，被配置成将所述毫米波频谱输入到所述步态识别模型的第三子识别模型得到所述待识别用户的第三特征信息；
第一匹配单元，被配置成将所述第一特征信息与预存第一特征信息进行匹配；
第二匹配单元，被配置成将所述第二特征信息与预存第二特征信息进行匹配；
第三匹配单元，被配置成将所述第三特征信息与预存第三特征信息进行匹配；
结果生成单元，被配置成基于所述第一子识别模型的模型输出、所述第二子识别模型的模型输出与所述第三子识别模型的模型输出在所述步态识别模型的输出中的权重，对所述第一特征信息的匹配结果、所述第二特征信息的匹配结果与所述第三特征信息的匹配结果进行融合，生成所述待识别用户的识别结果。
35.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-17中任一所述的方法。
36.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-17中任一所述的方法。
技术总结