本发明涉及人工智能技术领域，特别涉及一种考勤与学情分析方法、系统、设备及可读存储介质。
背景技术：
近年来，随着深度学习技术的发展以及国家政策的支持，基于深度学习的人工智能技术在教育领域得到了越来越广泛的应用。考勤和学情分析，作为教学管理的两大块，自然也受到了大量地关注。目前自动考勤管理，主要使用ai人脸识别进行考勤管理，并部署在服务器中。基于人脸识别的考勤系统一般包括用来采集人脸图像的摄像头，以及用来将当前人脸图像与预先存储在人脸识别系统中的初始人脸信息进行对比的人脸识别模块，验证通过，考勤成功。ai算法多部署于pc服务器或者云端，存在没有良好的解码功能，费用高，体积大，配置要求高，速度慢等问题。此外，目前传统的算法无法帮助学情分析，无法识别教室内的学生是否在学习，只有通过ai算法才能有较高的准确率完成学情分析，但是这种方法依然面临着配置要求高，速度慢等问题。
技术实现要素：
本发明要解决的技术问题是如何提供一种速度快、硬件环境要求低的考勤与学情分析方法、系统、设备及可读存储介质。
为了解决上述技术问题，本发明的技术方案为：
第一方面，本发明提出了一种考勤与学情分析方法，包括：
采集视频图像，对视频图像进行硬件解码；
在边缘端对视频图像进行人脸特征值提取，上传所述人脸特征值至服务器进行考勤；
在边缘端对视频图像中的人体进行人体姿态估计，进行学情行为分析；
将所述人脸特征值与所述学情行为分析结果通过时间戳以及位置进行匹配；
将匹配了所述人脸特征值的所述学情行为分析结果上传至所述服务器。
优选地，在边缘端对视频图像进行人脸特征值提取，上传所述人脸特征值至服务器进行考勤的步骤为：
检测图像中的人脸，并获取人脸坐标及关键点坐标；
将检测到的人脸进行对齐矫正；
对视频图像中的人脸进行人脸追踪；
检测人脸的倾斜程度，滤除倾斜程度大于阈值的图像；
获取图像的人脸特征，上传所述人脸特征值至服务器进行考勤。
优选地，通过交并比对视频图像中的人脸进行人脸追踪，当前帧图像的人脸框与前一帧图像的人脸框的重叠率大于预设值时，判定当前帧人脸框人脸与前一帧人脸框人脸为同一人脸。
优选地，检测人脸的倾斜程度，滤除倾斜程度大于阈值的图像的步骤包括：
获取人脸的鼻子、左眼、右眼、左嘴角和右嘴角的点坐标；
鼻子距离左眼和左嘴角连线的最小距离为距离一、鼻子距离右眼和右嘴角连线的最小距离为距离二，所述距离一与所述距离二中较小的值除以人脸矩形框的宽度，将比值小于阈值时将该图像滤除。
优选地，通过人体姿态估计算法openpose实现人体姿态估计，检测出图像中所有人的关节作为关键点，然后将检出的关键点分配给每个对应的人，通过每个人的关键点之间的位置关系与各个标准动作模式进行匹配，进行学情行为分析。
优选地，包括图像采集模块、服务器及边缘计算处理器；
所述图像采集模块：采集视频图像；
所述服务器：用于接收、存储结果上传模块上传的人脸特征值及学情行为分析结果；
所述边缘计算处理器包括：
硬件解码模块：对视频图像进行硬件解码；
人脸识别模块：对视频图像进行人脸特征值提取；
学情分析模块：在边缘端对视频图像中的人体进行人体姿态估计，进行学情行为分析；
匹配模块：将所述人脸特征值与所述学情行为分析结果通过时间戳及位置进行匹配；
结果上传模块：将所述人脸特征值及所述学情行为分析结果上传至服务器。
优选地，所述图像采集模块包括交换机、网络视频录像机及多个摄像头。
优选地，所述边缘计算处理器具有硬件解码功能、及神经网络计算加速引擎。
第三方面，本发明还提出一种考勤与学情分析设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的考勤与学情分析方法的步骤。
第四方面，本发明还提出一种考勤与学情分析的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现如上述的考勤与学情分析方法的步骤。
采用上述技术方案，对采集到的视频图像进行本地的硬件解码，通过人脸识别对学员进行考勤，并通过人体姿态估计对个体的学情行为进行分析，并匹配对应的人脸实现自动考勤及学情分析。本方案采用边缘计算替代传统服务器方案将计算提到前端得到计算结果，在网络数据传输上仅传输ai计算结果而非视频数据可以减少大量的带宽提高速度。
附图说明
图1为本发明考勤与学情分析方法一实施例中的步骤流程图；
图2为图1中步骤s20的流程图；
图3为本发明考勤与学情分析方法中人脸追踪的人脸框交并比示意图；
图4为本发明考勤与学情分析系统一实施例的图像采集模块的原理图；
图5为本发明考勤与学情分析系统的原理图。
图中，10-图像采集模块，20-边缘计算处理器，30-服务器，21-硬件解码模块，22-人脸识别模块，23-学情分析模块，24-匹配模块，25-匹配模块。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
参照图1，本发明提出了一种考勤与学情分析方法，包括：
s10：采集视频图像，对视频图像进行硬件解码；本发明实施例中通过rtsp视频流进行硬件解码。
s20：在边缘端对视频图像进行人脸特征值提取，上传人脸特征值至服务器进行考勤；
需要说明的是，服务器接收人脸特征值，将其与数据库中的人脸图片的特征值进行比对，完成人脸识别，进而实现考勤工作。
s30：在边缘端对视频图像中的人体进行人体姿态估计，进行学情行为分析；具体地，通过人体姿态估计算法openpose实现人体姿态估计，检测出图像中所有人的关节作为关键点，然后将检出的关键点分配给每个对应的人，通过每个人的关键点之间的位置关系与各个标准动作模式进行匹配，进行学情行为分析。
本发明实施例中，通过人体姿态估计算法得出人体姿态关键点从而算出一个人不同的行为动作，包括学习、举手、玩手机、趴桌子等，从而帮助进行学情行为分析。
人体姿态估计使用的是当前最流行的几种多人人体姿态估计算法之一的openpose。openpose首先检测出图像中所有人的关键点，然后将检出的关键点分配给每个对应的人。
openpose网络首先使用前面的几个网络层，从图像中提取特征。接下来，这些特征被传给两个平行的卷积层分支。第一个分支用来预测18个置信图，每个图代表人体骨架中的一个关节。第二个分支预测一个集合，该集合中包含38个关节仿射场(partaffinityfields，pafs)，描述各关节之间的连接程度。
s40：将人脸特征值与学情行为分析结果通过时间戳以及位置进行匹配；
s50：将匹配了人脸特征值的学情行为分析结果上传至服务器。通过ftp将每帧识别的结果进行上传到服务器进行汇总分析。
需要说明的是，本发明实施例中进行每秒2帧的人脸检测、筛选、人脸对齐、人脸识别、人体姿态估计及学情分析。
需要说明的是，本实施例中，考勤工作先完成，而学情分析需要进行较长的时间，如服务器接收到的匹配了人脸特征值的学情行为分析结果并未在数据库中匹配到相应的学员，则该条学情分析结果无效。
参照图2，具体地，在边缘端对视频图像进行人脸特征值提取，上传人脸特征值至服务器进行考勤的步骤为：
s21：检测图像中的人脸，并获取人脸坐标及关键点坐标；
s22：将检测到的人脸进行对齐矫正；由于实际场景中人脸存在各种角度，人脸对齐就是将检测到的人脸尽可能的校正，以提高人脸识别的准确率。
s23：参照图3，对视频图像中的人脸进行人脸追踪；当前帧图像的人脸框与前一帧图像的人脸框的重叠率大于预设值时，判定当前帧人脸框人脸与前一帧人脸框人脸为同一人脸。由于教室场景中大多学生在座位上，因此通过人脸跟踪可以很好的提高人脸识别的效率。
s24：由于人脸在实际中经常存在各种角度，对于较大的角度的侧脸会极大的影响人脸识别的准确率造成误识别或者识别不通过，因此在人脸特征提取之前有必要先进行人脸角度判断。本实施例中检测人脸的倾斜程度，滤除倾斜程度大于阈值的图像；滤除倾斜程度大于阈值的图像的步骤包括：
获取人脸的鼻子、左眼、右眼、左嘴角和右嘴角的点坐标；
鼻子距离左眼和左嘴角连线的最小距离为距离一、鼻子距离右眼和右嘴角连线的最小距离为距离二，距离一与距离二中较小的值除以人脸矩形框的宽度，将比值小于阈值时将该图像滤除。
s25：获取图像的人脸特征，上传人脸特征值至服务器进行考勤。服务业将人脸特征值与预先提取的人员特征进行比对，获得相似度最大的人员id作为识别结果。
本发明实施例中，通过深度学习ai算法，从人脸图片中提取512维的深度特征，然后通过与预先提取的人员特征做比对，求出相似度最大的人员id。
为提高人脸识别精度，本发明提出动态高分辨率人脸特征提取。算法流程如下：1)计算人脸检测得出的人脸框的面积大小；2)通过人脸框面积大小回溯到不同分辨率视频源上截取人脸进行提取特征，若人脸面积小于96*112，则在500w视频流上提取特征；若面积大于96*112且小于128*144则从400w视频流上截取人脸图像进行提取特征；若面积大于128*144则从200w视频流上截取人脸提取特征。
另一方面，本发明提出了一种考勤与学情分析系统，包括图像采集模块10、服务器30及边缘计算处理器20；
图像采集模块10：采集视频图像；
服务器30：用于接收、存储结果上传模块25上传的人脸特征值及学情行为分析结果；
边缘计算处理器20包括：
硬件解码模块21：对视频图像进行硬件解码；
人脸识别模块22：对视频图像进行人脸特征值提取；
学情分析模块23：在边缘端对视频图像中的人体进行人体姿态估计，进行学情行为分析；
匹配模块24：人脸特征值与所述学情行为分析结果通过时间戳及位置进行匹配；
结果上传模块25：将人脸特征值及学情行为分析结果上传至服务器。
参照图4，具体地，图像采集模块包括交换机、网络视频录像机及多个摄像头。
具体地，边缘计算处理器20具有硬件解码功能、及神经网络计算加速引擎。
本实施例中的边缘计算处理器20使用的是海思hi3559a，其为专业的8kultrahdmobilecamerasoc，它提供了8k30/4k120广播级图像质量的数字视频录制，支持h.265编码输出或影视级的raw数据输出，并集成高性能isp处理。支持业界领先的多路4ksensor输入，多路isp图像处理并集成了海思独有的svp平台，提供了高效且丰富的计算资源，支撑客户开发各种计算机视觉应用。
又一方面，本发明还提出一种考勤与学情分析设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述的考勤与学情分析方法的步骤。
再一方面，本发明还提出一种考勤与学情分析的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现如上述的考勤与学情分析方法的步骤。
采用上述技术方案，对采集到的视频图像进行本地的硬件解码，通过人脸识别对学员进行考勤，并通过人体姿态估计对个体的学情行为进行分析，并匹配对应的人脸实现自动考勤及学情分析。本方案采用边缘计算替代传统服务器方案将计算提到前端得到计算结果，在网络数据传输上仅传输ai计算结果而非视频数据可以减少大量的带宽提高速度。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
1.一种考勤与学情分析方法，其特征在于，包括：
采集视频图像，对视频图像进行硬件解码；
在边缘端对视频图像进行人脸特征值提取，上传所述人脸特征值至服务器进行考勤；
在边缘端对视频图像中的人体进行人体姿态估计，进行学情行为分析；
将所述人脸特征值与所述学情行为分析结果通过时间戳以及位置进行匹配；
将匹配了所述人脸特征值的所述学情行为分析结果上传至所述服务器。
2.根据权利要求1所述的考勤与学情分析方法，其特征在于，在边缘端对视频图像进行人脸特征值提取，上传所述人脸特征值至服务器进行考勤的步骤为：
检测图像中的人脸，并获取人脸坐标及关键点坐标；
将检测到的人脸进行对齐矫正；
对视频图像中的人脸进行人脸追踪；
检测人脸的倾斜程度，滤除倾斜程度大于阈值的图像；
获取图像的人脸特征，上传所述人脸特征值至服务器进行考勤。
3.根据权利要求2所述的考勤与学情分析方法，其特征在于，通过交并比对视频图像中的人脸进行人脸追踪，当前帧图像的人脸框与前一帧图像的人脸框的重叠率大于预设值时，判定当前帧人脸框人脸与前一帧人脸框人脸为同一人脸。
4.根据权利要求2所述的考勤与学情分析方法，其特征在于，检测人脸的倾斜程度，滤除倾斜程度大于阈值的图像的步骤包括：
获取人脸的鼻子、左眼、右眼、左嘴角和右嘴角的点坐标；
鼻子距离左眼和左嘴角连线的最小距离为距离一、鼻子距离右眼和右嘴角连线的最小距离为距离二，所述距离一与所述距离二中较小的值除以人脸矩形框的宽度，将比值小于阈值时将该图像滤除。
5.根据权利要求1所述的考勤与学情分析方法，其特征在于，通过人体姿态估计算法openpose实现人体姿态估计，检测出图像中所有人的关节作为关键点，然后将检出的关键点分配给每个对应的人，通过每个人的关键点之间的位置关系与各个标准动作模式进行匹配，进行学情行为分析。
6.一种考勤与学情分析系统，其特征在于，包括图像采集模块、服务器及边缘计算处理器；
所述图像采集模块：采集视频图像；
所述服务器：用于接收、存储结果上传模块上传的人脸特征值及学情行为分析结果；
所述边缘计算处理器包括：
硬件解码模块：对视频图像进行硬件解码；
人脸识别模块：对视频图像进行人脸特征值提取；
学情分析模块：在边缘端对视频图像中的人体进行人体姿态估计，进行学情行为分析；
匹配模块：将所述人脸特征值与所述学情行为分析结果通过时间戳及位置进行匹配；
结果上传模块：将所述人脸特征值及所述学情行为分析结果上传至服务器。
7.根据权利要求6所述的考勤与学情分析系统，其特征在于，所述图像采集模块包括交换机、网络视频录像机及多个摄像头。
8.根据权利要求6所述的考勤与学情分析系统，其特征在于，所述边缘计算处理器具有硬件解码功能、及神经网络计算加速引擎。
9.一种考勤与学情分析设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-7任一项所述的考勤与学情分析方法的步骤。
10.一种考勤与学情分析的可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现权利要求1-7任一项所述的考勤与学情分析方法的步骤。
技术总结