本发明涉及计算机技术领域，具体涉及一种基于面部识别的学生网课学习状态评价方法及系统。
背景技术：
目前，高校考虑到节约教学开支，节省人力物力，丰富教学内容等原因，逐渐引入网络授课的学习方式。学生可以通过电子设备和互联网来在线观看视频音频等来学习知识、技能。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
网课方便师生的同时，也存在着因条件限制，对上网课学生无法监管的问题。仅仅观看视频，而没有类似课堂的师生交流互动的过程也使得部分学生在网课学习的过程中并未真正的在“听课”，学生的听课效果和专注程度不像传统的课堂教学能够及时反馈给教师，导致学生上网课的听课质量大打折扣。现有技术中的方法虽然可以通过摄像头等设备来监测学习状态，但是需要通过人工的方式来判断学生是否在认真听课，这种方法费时费力，效率不高。
由此可知，现有技术中的方法存在效率不高的技术问题。
技术实现要素：
有鉴于此，本发明提供了一种基于面部识别的学生网课学习状态评价方法及系统，用以解决或者至少部分解决现有技术中的方法存在的效率不高的技术问题。
为了解决上述技术问题，本发明第一方面提供了一种基于面部识别的学生网课学习状态评价方法，包括：
s1：获取学生的面部图像、学生回答问题情况以及学生信息；
s2：根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果；
s3：将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
s4：对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
s5：将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
在一种实施方式中，s3中训练好的微表情识别卷积神经网络模型的构建方法包括：
在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片，将理解程度状态对应的图片经过压缩、拉伸、锐化等过程过后，处理成统一尺寸和格式的图片信息作为训练数据，其中，将学生的网课听课理解程度状态划分三个等级：愉悦、理解、困惑，愉悦对应的面部特征包括眼睛张开、面部正对屏幕和嘴角上扬，理解对应的面部特征包括面部正对屏幕和眉毛舒展，困惑对应的面部特征包括眉头紧锁、眼睛微眯和嘴角向下；
确定微表情识别卷积神经网络模型的结构，模型的结构包括输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、特征层、全连接层、分类层以及输出层；
根据预设模型参数，采用训练数据对微表情识别卷积神经网络模型进行训练，得到训练好的微表情识别卷积神经网络模型。
在一种实施方式中，s3具体包括：
s3.1：采集的面部图像对应的通过输入层进入图片信息输入第一卷积层，通过第一卷积层进行特征提取；
s3.2：通过第一池化层对s4.1得到的图像进行降维压缩处理；
s3.3：通过第二卷积层对降维压缩处理后的图像进行特征提取，再通过第二池化层进行降维压缩；
s3.4：通过特征层将s4.3得到的图像压缩为一个一维向量后输出到全连接层；
s3.5：通过由多个神经元向前连接构成的全连接层输出到分类层中；
s3.6：通过分类层将全连接层输出的结果与对应的理解程度状态进行匹配，得到图片对应的理解程度状态；
s3.7：通过输出层输出图片对应的理解程度状态。
在一种实施方式中，在s3.7之后所述方法还包括：对不同的理解程度状态赋予不同的分值。
在一种实施方式中，输出层输出图片对应的理解程度状态为学生在一时刻的理解程度状态，所述方法还包括：
根据赋予的分值得到对应的上课状态评分ui，
根据课状态评分ui获得每个阶段学生网课学习的理解程度评分uk；
其中，n表示时刻的数量，k表示阶段。
在一种实施方式中，s4中根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度，包括：
s4.1：根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况对i时刻学生是否面部正对屏幕进行判定，其中，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定，正对屏幕的判定公式如下：
其中，li和wi为i时刻学生的面部的长度和宽度，ls和ws为学生标准的面部的长度和宽度；
s4.2：根据学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，对学生的眼睛张度进行判定，得到学生i时刻的专注程度，判定公式如下式所示：
其中，hi为i时刻学生的眼睛张开高度，hs为学生标准的眼睛张开高度，li为i时刻学生的面部的长度，ls为学生标准的面部的长度，如果大于，判定i时刻学生是专注的，如果小于，判定i时刻学生是不专注的；
根据学生i时刻的专注程度，连续监测预设时长内学生状态是否为不专注，如果均为不专注，则判定学生状态为不专注。
在一种实施方式中，所述方法还包括将每节网课根据学生提问作答的时间分为不同的阶段。
在一种实施方式中，在s5之后，所述方法还包括：
将学习状态评价结果上传至服务器，并根据学生信息，将获得的学习状态评价结果反馈至对应的学生终端，将所有学生的网课学习学习状态进行汇总反馈到对应的教学老师终端。
基于同样的发明构思，本发明第二方面提供了一种基于面部识别的学生网课学习状态评价系统，包括：
信息获取模块，用于获取学生的面部图像、学生回答问题情况以及学生信息；
学生的回答问题评估模块，用于根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果；
理解程度识别模块，用于将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
专注度识别模块，用于对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
评价结果模块，用于将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种基于面部识别的学生网课学习状态评价方法，在获取学生的面部图像、学生回答问题情况以及学生信息后，根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果；将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；再将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
相对于现有技术中通过人工方式进行判别相比，本发明通过构建微表情识别卷积神经网络模型对学生的网课听课理解程度状态进行识别，通过对学生进行微表情识别，可以捕捉其表情细微的变化及面部特征从而与专注度状态进行匹配，得到学生在网络课程学习中的实时专注度情况。根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；通过学生面部的长宽比以及眼睛张开高度可以判断学生面部是否正对屏幕，以及眼睛的张开高度是否大于阈值，从而得到学生的专注度，一方面可以提高识别的效率，还可以提高识别的准确性，另一方面，本发明从三个不同的维度：学生回答问题情况、听课理解程度状态以及专注度对学生学习状态进行评价，可以提高综合的评价效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于面部识别的学生网课学习状态评价方法的流程图；
图2为本发明实施例中学生的网课听课理解程度状态识别示意图；
图3为本发明中基于卷积神经网络的微表情识别模型的示意图；
图4为本发明实施例中学生上课专注度评价的流程图；
图5本发明实施例中判定学生在t1-t2时间段内不专注的示意图；
图6为本发明实施例中提供的一种基于面部识别的学生网课学习状态评价系统的结构框图；
图7为本发明实施例中种基于面部识别的学生网课学习状态评价系统的实现流程图；
图8为本发明实施例中一种计算机可读存储介质的结构框图。
具体实施方式
本发明的目的在于提供一种基于面部识别的学生网课学习状态评价方法及系统，用以解决或者至少部分解决现有技术中的方法存在的效率不高的技术问题。
为了达到上述目的，本发明的主要构思如下：
首先获取学生的面部图像、学生回答问题情况以及学生信息；然后根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果；接着将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；接下来对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；再将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供了一种基于面部识别的学生网课学习状态评价方法，请参见图1，该方法包括：
s1：获取学生的面部图像、学生回答问题情况以及学生信息；
具体来说，在学生开始网课学习的过程中，学生开启电脑的摄像头以获取学生的面部信息。采集的面部图像、学生回答问题情况和学生信息作为输入上传至服务器，相关的模块，获取这些输入信息。
其中视频流用来监测学生的听课状况，具体实施过程中，可以将每节网课根据学生提问作答的时间分为不同的阶段，例如四个阶段，将每一阶段的学生视频流、学生回答问题情况和学生信息上传至服务器。具体实施过程中，考虑到学生的学习状况在短时间内不会有较大改变，可对学生的视频资源进行低频采样(1hz)，即每秒采集一次视频信息，用于学生此时刻上课状态的评价。
s2：根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果。
具体来说，将学生上传的学生回答问题情况与参考答案进行对比后，可以根据对比情况进行评分，从而可以得出学生每一阶段的回答问题百分制得分qk,k表示第k阶段。
s3：将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态。
具体来说，人脸识别是基于人的脸部特征信息进行身份识别的生物识别技术，集成了人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等多种专业技术。人脸识别系统主要由四个部分组成：图像采集及检测、图像预处理、图像特征提取以及匹配与识别。
微表情识别作为人脸识别技术的一种延伸，近些年得到了广泛的关注。人脸表情是人类情绪和心理的直观反映。不同于常规的人脸表情,微表情是一种特殊的面部微小动作,可以作为判断人主观情绪的重要依据。随着机器识别和深度学习技术的发展，微表情识别的可行性和可靠性得到极大的提升。
本发明申请人通过大量的研究与实践发现，学生在网课学习的过程中，一般来说情绪不会有较大波动，因此对学生进行表情识别如开心、难过等学生的情绪特征并不能反映学生的学习状态。而对学生进行微表情识别，可以捕捉其表情细微的变化及面部特征从而与理解程度状态进行匹配，得到学生在网络课程学习中的实时理解程度状态情况，因而提出了一种微表情识别模块。
卷积神经网络是深度学习方法中方法的一种，其在计算机视觉和图像处理领域得到了广泛的应用。相比于其他机器学习方法，卷积神经网络能够有效地处理大规模数据信息，也符合网课学习平台上学生多需要处理信息量大的要求。卷积神经网络通过给定输入和对应的期望输出的训练方式将原始图像作为输入进行自动训练和特征自主提取，从而得到对应的识别模型，即微表情识别卷积神经网络模型。通过微表情识别卷积神经网络模型进行理解程度状态的识别过程如图2所示。
通过s3可以进一步减少人工预处理的时间并且适用于大规模的图片训练，从而可以提高识别效率。
s4：对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
具体来说，s4是对网课学习过程中的学生是否专注学习进行检测，并对学生的专注度进行评价，其中，标准面部的长宽比和预设标准面部眼睛张开高度可以预先获取，通过面部的长宽比的比较可以初步判断面部是否正对屏幕，然后进一步根据眼睛张开高度比较判断眼睛的张开程度，从而可以对学生的专注程度。
s5：将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
具体来说，本步骤将前述的回答问题结果、理解程度状态以及专注度作为最终的评价结果，可以从不同的方面或维度对学生的学习状态进行评价，从而可以提高评价的客观性和准确性。
在一种实施方式中，s3中训练好的微表情识别卷积神经网络模型的构建方法包括：
在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片，将理解程度状态对应的图片经过压缩、拉伸、锐化等过程过后，处理成统一尺寸和格式的图片信息作为训练数据，其中，将学生的网课听课理解程度状态划分三个等级：愉悦、理解、困惑，愉悦对应的面部特征包括眼睛张开、面部正对屏幕和嘴角上扬，理解对应的面部特征包括面部正对屏幕和眉毛舒展，困惑对应的面部特征包括眉头紧锁、眼睛微眯和嘴角向下；
确定微表情识别卷积神经网络模型的结构，模型的结构包括输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、特征层、全连接层、分类层以及输出层；
根据预设模型参数，采用训练数据对微表情识别卷积神经网络模型进行训练，得到训练好的微表情识别卷积神经网络模型。
具体来说，可以将学生的上课状态即对课堂的理解程度分为三个等级：愉悦、理解、困惑。学生进行网课学习时，愉悦对应的面部特征为：眼睛张开、面部正对屏幕、嘴角上扬等。理解对应的面部特征为：面部正对屏幕、眉毛舒展等。困惑对应的面部特征为：眉头紧锁、眼睛微眯、嘴角向下等。
采用卷积神经网络构建建立微表情识别卷积神经网络模型，其结构如图3所示。微表情识别卷积神经网络模型主要包括几个部分：输入层，卷积层1、池化层1、卷积层2、池化层2、特征层、全连接层、分类层和输出层。各层之间相互作用使得模型能够提取面部画面的特征并与学生上课时的理解程度状态进行匹配，从而实现根据学生听课时的面部画面预测此时学生上课时的理解程度状态。
在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片。将图片经过压缩、拉伸、锐化等过程过后，处理成统一尺寸和格式的图片信息。图片信息输入到卷积层1后，卷积层1对图片进行特征提取。后输入到池化层1进行降维压缩处理。再输入到卷积层2和池化层2进行重复操作。特征层将图片压缩至一个一维向量后输出到全连接层。全连接层是经典的神经网络结构，由多个神经元向前连接构成。输出到分类器中与对应的理解程度状态进行匹配。从而达到卷积神经网络微表情识别模型训练的目的。使得模型自动学习并储存图片特征和对应理解程度度状态的内在联系。
卷积神经网络模型训练完成后，微表情识别模型就得以建立。然后将学生的视频画面进行标准化处理成一致的画面信息并输入到训练好的微表情识别卷积神经网络模型中，模型输出画面对应的理解程度。
在一种实施方式中，s3具体包括：
s3.1：采集的面部图像对应的通过输入层进入图片信息输入第一卷积层，通过第一卷积层进行特征提取；
s3.2：通过第一池化层对s4.1得到的图像进行降维压缩处理；
s3.3：通过第二卷积层对降维压缩处理后的图像进行特征提取，再通过第二池化层进行降维压缩；
s3.4：通过特征层将s4.3得到的图像压缩为一个一维向量后输出到全连接层；
s3.5：通过由多个神经元向前连接构成的全连接层输出到分类层中；
s3.6：通过分类层将全连接层输出的结果与对应的理解程度状态进行匹配，得到图片对应的理解程度状态；
s3.7：通过输出层输出图片对应的理解程度状态。
具体来说，s3.1～3.7介绍了微表情识别卷积神经网络模型的处理过程，最终可以得到理解程度状态。
在一种实施方式中，在s3.7之后所述方法还包括：对不同的理解程度状态赋予不同的分值。
具体来说，将学生的上课状态即对课堂的理解程度分为三个等级：愉悦、理解、困惑，例如，每一个等级对应的理解程度评分为：100、80和40分。
在一种实施方式中，输出层输出图片对应的理解程度状态为学生在一时刻的理解程度状态，所述方法还包括：
根据赋予的分值得到对应的上课状态评分ui，
根据课状态评分ui获得每个阶段学生网课学习的理解程度评分uk；
其中，n表示时刻的数量，k表示阶段。
具体来说，通过前述方法可以得到某一时刻的理解程度，然后求取平均值，可以得到该阶段的理解程度状态。
在一种实施方式中，s4中根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度，包括：
s4.1：根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况对i时刻学生是否面部正对屏幕进行判定，其中，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定，正对屏幕的判定公式如下：
其中，li和wi为i时刻学生的面部的长度和宽度，ls和ws为学生标准的面部的长度和宽度；
s4.2：根据学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，对学生的眼睛张度进行判定，得到学生i时刻的专注程度，判定公式如下式所示：
其中，hi为i时刻学生的眼睛张开高度，hs为学生标准的眼睛张开高度，li为i时刻学生的面部的长度，ls为学生标准的面部的长度，如果大于，判定i时刻学生是专注的，如果小于，判定i时刻学生是不专注的；
根据学生i时刻的专注程度，连续监测预设时长内学生状态是否为不专注，如果均为不专注，则判定学生状态为不专注。
具体来说，对网课学习过程中的学生是否专注学习进行检测，并对学生的专注度进行评价的实施过程如图4所示。
学生进行网课学习时，需要盯着电脑屏幕进行学习。鉴于网课学习的特殊性，本发明对学生进行网课学习时专注与否的评价标准是：面部是否正对屏幕，以及眼睛的张度是否大于阈值，例如50％。
学生登录后，要求采集学生的标准面部画面，即学生正对电脑屏幕，眼睛睁开，采集的标准面部画面上传至服务器进行保存。
将学生的标准面部画面进行人脸识别，提取出人脸图片并进行面部特征提取，得到标准的面部尺寸(包括长ls×宽ws)和该学生的眼睛张开时的高度hs。将学生进行网课学习的实时面部画面进行监测，并进行人脸识别，提取出人脸图片并进行面部特征提取，得到i时刻学生的面部尺寸(长li×宽wi)和此时学生的眼睛张开时的高度hi。
将采集到的i时刻学生的面部尺寸(长li×宽wi)和此时学生的眼睛张开时的高度hi和标准的面部尺寸(长ls×宽ws)和学生的眼睛张开时的高度hs共同输入到专注度识别模型中对该时刻学生的专注度状态进行判定。
首先对i时刻学生是否面部正对屏幕进行判定，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定。正对屏幕的判定公式如下：
式(2)中：li和wi为i时刻学生的面部的长和宽，ls和ws为学生标准的面部的长和宽。
当学生扭头或低头时，视频捕捉到学生的面部的长和宽会发生变化。但考虑到学生上网课时有可能会前后移动，此时学生的面部的长和宽也会发生变化，因此将面部的长宽比作为参考依据—当学生面部正对屏幕时前后移动，采集到的面部等比例变大变小，而面部的长宽比不变。所以当i时刻学生的面部的长宽比与标准状态下相差较大时(考虑到电脑屏幕有一定宽度、人脸会时不时转动等原因，将比例的区间定为(0.9,1.1))，判定该学生此时没有正对屏幕，为不专注。
由于如果学生正对屏幕时，有可能出现睡觉和发呆等情况，此时学生并未专注于课堂。故判定学生的面部正对屏幕后，需进一步对学生的眼睛张度进行判定，如式(3)所示：
式中：hi为i时刻学生的眼睛张开高度，hs为学生标准的眼睛张开高度，li为i时刻学生的面部的长度，ls为学生标准的面部的长度。
因为i时刻学生与电脑屏幕的距离有可能与标准时不一致，导致面部的大小可能不一致。当学生面部是正对屏幕，i时刻时面部的尺寸与标准的面部尺寸时等比例的关系。根据三角函数，得出缩放比例
通过以上方法对学生每一时刻是否专注进行判定。考虑到学生上课专注期间也会有眨眼、低头等小动作。所以对学生专注与否不能针对每一秒，应该考虑一个连续的过程。当连续监测到学生10s中的专注度状态均为不专注时(标注10s中第一个不专注的时刻为进入不专注状态的时刻t1)，直到连续监测到学生10s中的专注度状态均为专注为止(标注10s中第一个专注的时刻为离开不专注状态的时刻t2)。则学生学习不专注时间段为t1-t2，其余时间段视为学生上课专注，如图5所示。
按照上述方法得出学生的不专注的时间段，并得出不专注的时间为ti，学生总的不专注的时间为：
式中ti为总的不专注的时间，m为不专注时间段个数。
在一种实施方式中，所述方法还包括将每节网课根据学生提问作答的时间分为不同的阶段。
在一种实施方式中，在s5之后，所述方法还包括：
将学习状态评价结果上传至服务器，并根据学生信息，将获得的学习状态评价结果反馈至对应的学生终端，将所有学生的网课学习学习状态进行汇总反馈到对应的教学老师终端。
具体来说，在得出学生每个阶段的回答问题评分、学习专注度评分和不专注总时间后，上传至教务处进行保存。可以作为学生网课学习状态的反映和最终学生网课成绩评定的依据。得出学生每个阶段的回答问题评分、学习专注度评分和不专注总时间后，上传至服务器。并根据学生信息标签，将每个阶段学生学习状况的评分结果传输给对应的学生进行反馈。当每节网课结束后，将所有学生的网课学习学习状态进行汇总反馈给教学老师，可作为网课教学质量评判依据和教学改进的参考。
实施例二
基于同样的发明构思，本实施例提供了一种基于面部识别的学生网课学习状态评价系统，请参见图6，该系统包括：
信息获取模块201，用于获取学生的面部图像、学生回答问题情况以及学生信息；
学生的回答问题评估模块202，用于根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果；
理解程度识别模块203，用于将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
专注度识别模块204，用于对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
评价结果模块205，用于将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
其中，本实施例提供的系统的总体实现流程如图7所示。
本发明的有点和有益技术效果如下：
1.提出了一套基于卷积神经网络的针对学生的微表情进行学习理解程度的识别方法及模块，可以提高理解程度识别效率的同时提高识别准确性。
2.提供了一套基于每个独立学生的面部特征对学生进行实时专注度识别的方法及模块，可以提高专注程度识别效率的同时提高识别准确性。
3.构建了一套学生网课学习状态评价和反馈系统，可以提高综合的评价效果。
由于本发明实施例二所介绍的系统，为实施本发明实施例一中基于面部识别的学生网课学习状态评价方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。
实施例三
基于同样的发明构思，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于面部识别的学生网课学习状态评价方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
1.一种基于面部识别的学生网课学习状态评价方法，其特征在于，包括：
s1：获取学生的面部图像、学生回答问题情况以及学生信息；
s2：根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果；
s3：将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
s4：对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
s5：将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
2.如权利要求1所述的方法，其特征在于，s3中训练好的微表情识别卷积神经网络模型的构建方法包括：
在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片，将理解程度状态对应的图片经过压缩、拉伸、锐化等过程过后，处理成统一尺寸和格式的图片信息作为训练数据，其中，将学生的网课听课理解程度状态划分三个等级：愉悦、理解、困惑，愉悦对应的面部特征包括眼睛张开、面部正对屏幕和嘴角上扬，理解对应的面部特征包括面部正对屏幕和眉毛舒展，困惑对应的面部特征包括眉头紧锁、眼睛微眯和嘴角向下；
确定微表情识别卷积神经网络模型的结构，模型的结构包括输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、特征层、全连接层、分类层以及输出层；
根据预设模型参数，采用训练数据对微表情识别卷积神经网络模型进行训练，得到训练好的微表情识别卷积神经网络模型。
3.如权利要求2所述的方法，其特征在于，s3具体包括：
s3.1：采集的面部图像对应的通过输入层进入图片信息输入第一卷积层，通过第一卷积层进行特征提取；
s3.2：通过第一池化层对s4.1得到的图像进行降维压缩处理；
s3.3：通过第二卷积层对降维压缩处理后的图像进行特征提取，再通过第二池化层进行降维压缩；
s3.4：通过特征层将s4.3得到的图像压缩为一个一维向量后输出到全连接层；
s3.5：通过由多个神经元向前连接构成的全连接层输出到分类层中；
s3.6：通过分类层将全连接层输出的结果与对应的理解程度状态进行匹配，得到图片对应的理解程度状态；
s3.7：通过输出层输出图片对应的理解程度状态。
4.如权利要求3所述的方法，其特征在于，在s3.7之后所述方法还包括：对不同的理解程度状态赋予不同的分值。
5.如权利要求4所述的方法，其特征在于，输出层输出图片对应的理解程度状态为学生在一时刻的理解程度状态，所述方法还包括：
根据赋予的分值得到对应的上课状态评分ui，
根据课状态评分ui获得每个阶段学生网课学习的理解程度评分uk；
其中，n表示时刻的数量，k表示阶段。
6.如权利要求3所述的方法，其特征在于，s4中根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度，包括：
s4.1：根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况对i时刻学生是否面部正对屏幕进行判定，其中，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定，正对屏幕的判定公式如下：
其中，li和wi为i时刻学生的面部的长度和宽度，ls和ws为学生标准的面部的长度和宽度；
s4.2：根据学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，对学生的眼睛张度进行判定，得到学生i时刻的专注程度，判定公式如下式所示：
其中，hi为i时刻学生的眼睛张开高度，hs为学生标准的眼睛张开高度，li为i时刻学生的面部的长度，ls为学生标准的面部的长度，如果大于，判定i时刻学生是专注的，如果小于，判定i时刻学生是不专注的；
根据学生i时刻的专注程度，连续监测预设时长内学生状态是否为不专注，如果均为不专注，则判定学生状态为不专注。
7.如权利要求1所述的方法，其特征在于，所述方法还包括将每节网课根据学生提问作答的时间分为不同的阶段。
8.如权利要求1所述的方法，其特征在于，在s5之后，所述方法还包括：
将学习状态评价结果上传至服务器，并根据学生信息，将获得的学习状态评价结果反馈至对应的学生终端，将所有学生的网课学习学习状态进行汇总反馈到对应的教学老师终端。
9.一种基于面部识别的学生网课学习状态评价系统，其特征在于，包括：
信息获取模块，用于获取学生的面部图像、学生回答问题情况以及学生信息；
学生的回答问题评估模块，用于根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果；
理解程度识别模块，用于将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
专注度识别模块，用于对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
评价结果模块，用于将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现如权利要求1至8中任一项权利要求所述的方法。
技术总结