本发明属于教育数据挖掘技术领域，尤其涉及一种面向知识测量的试题、知识、能力张量构建与标注方法。
背景技术：
目前，最接近的现有技术：在教育领域中，通常将对个体的知识结构、认知加工技能或认知过程进行诊断评估称为认知诊断评估。将知识或认知加工技能等统称为属性，学习者的知识结构、认知加工技能等是不能直接观察的潜在变量。在认知诊断评价理论中，属性是最基础的概念，属性指的是影响被试的外在行为表现的那些潜在的、内隐的心理特质。在一次教学测验中，被试对象是学习者，其外在行为表现为学习者在试题上的作答，而影响学习者作答的一个主要因素就是学习者对于知识点的掌握情况或认知水平。因此需要对学习者进行诊断分析，主要的评价目标是分析学习者对各内容领域特别是知识点的掌握情况或认知水平。
认知诊断评估要设计一个测验,以诱发出学习者内在认知特点的外在表现,从而实现对内在认知特征的判断，这一过程主要是通过试题与知识的表征实现的，在学科知识与试题关系的表征方面，主要有三类方法：
1)学生-问题表(student-problemchart，s-p表)表征方法；
2)试题知识关联q矩阵表征方法；
3)基于知识空间理论的表征方法。
s-p表是一种图表结构分析方法，将转换后的测试、练习得分数据排成二维表格，从而对学习者和试题应答情况进行视觉化处理。s-p表实现了学习者和试题得分的直接映射关系，但是对试题背后关联的知识点未进行表征。
试题知识关联q矩阵用来表达每个试题所对应的知识点，如试题考查了知识点则记1，否则记0。q矩阵直观地表达了试题所对应的知识点，但对试题考查知识点所对应的认知层次及水平并未涉及。
基于知识空间理论的表征方法，提供了一种表达知识结构的方法，是一种测试学生知识状态、知识结构的心理学理论。在该理论中，关于某一领域的知识状态由受测者能够回答的问题集合表示，知识结构是指构成某一领域知识的知识状态的集合。知识空间理论方法描述了试题与知识结构或知识空间的映射关系，但未涉及学习者的知识掌握程度及认知水平的表征。
在测验q矩阵估计技术上，一般有以下思路：
一是项目的简单检查法或评分者法，对于项目的简单检查法和多评分者法由教育专家对已得出的测验q矩阵进行重新审视分析以期进行进一步确定，但其结果带有一定的主观性。
二是基于项目参数的迭代估计法，这是一种在模型拟合的前提条件下结合项目参数对q矩阵进行提纯精炼，由于其建立在项目参数的基础上而不是单纯的由专家进行界定，该方法得出的q矩阵较前一种方法具有一定的客观性。但是，大多情况下由初始就被错误标注的q矩阵所得到的项目参数误差较大，这将会严重影响以该项目参数为基础的q矩阵估计结果的准确性。
三是基于学习者的作答反应数据来进行q矩阵估计，该方法又主要分为非参数估计法与参数估计法，该方法经实验证明效果较好，但方法的使用具有严格的限制条件，适用性较低。
综上所述，现有技术存在的问题是：
(1)现有技术中，对于学科知识与试题关系的表征，目前的研究主要集中在学习者-试题关系、试题-知识关系的表征，未对试题-知识-能力的关系进行综合考量与表征，导致后续诊断模型无法获得数据层的有效支撑，无法诊断出学习者的知识掌握程度及知识认知水平。
(2)传统学习诊断是依据学习者答题反应矩阵和试题-知识点关联q矩阵，对学习者进行诊断分析，只能对知识点是否掌握进行判断，而对于知识掌握程度和层次则无法估计，且为可解释性建模提供领域信息较少。
(3)现有技术中，对于试题的标注大部分由人工完成，而在在线学习平台中，未标注的试题数量庞大，如果由学科领域内的教育专家进行试题标注，耗费的人工成本高，标注时间长，准确率低，直接导致后续的试题诊断效果差，参数估计不准确。
解决上述技术问题的难度：
(1)如何对试题-知识-能力的关系进行综合考量与表征，以具体诊断学习者的知识掌握程度或认知水平，从而为后续诊断模型获得数据层的有效支撑，进而准确诊断出学习者的知识掌握程度及知识认知水平。
(2)如何建立精准的标注模型，使得模型可以利用已有的标注样本学习相关标注过程及训练参数，实现模型对未标注样本的自动标注，拓宽模型适用面。
(3)如何利用主动学习策略，使得机器与教育专家协同合作，针对精准的标注任务进行人机协同的半监督标注，以提高试题标注的速度与准度，降低专家人力成本。
解决上述技术问题的意义：本发明是面向知识测量的试题、知识、能力张量构建与标注方法，结合心理测量学与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量；对试题进行文本分词、去停用词等预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同的半监督标注。
本发明拟结合q矩阵与布卢姆认知领域教育目标分类，将知识点的掌握划分为六个认知能力水平：知道、领会、应用、分析、综合、评价，构建“试题-知识-能力”张量。tka张量为知识掌握程度、认知水平挖掘提供了教育领域知识，从数据层面为后续建模提供了可解释性的基础。tka张量概念是认知心理学与心理测量学相结合的产物，反映试题、知识(或称认知属性)与认知水平的tka张量，是连接认知心理学与心理测量学的桥梁，同时为后续的学习者知识认知水平挖掘提供了强大的理论依据，提升学习者对挖掘结果的信任，从而对学习者的薄弱环节进行循证归因。
本发明采用主动学习策略，构建可解释试题标签预测模型，获得可解释的标签预测信息熵，利用训练出的可解释试题标签预测模型，将未标注样本输入该预测模型，反馈具有较强解释性的标签预测信息熵。可解释试题标签预测模型的建立，以具有丰富经验的领域专家标注的tka张量为基础，通过不断学习优化自身参数，以期达到与专家标注情况相同的效果，旨在解放人工劳动，减少人工标记的主观性对tka张量的影响，标注准确率与效率高，极大降低专家人力成本。
本发明可迁移性强，可应用与各个学科的试题知识点考查标注，方法适用性更好。
技术实现要素：
针对现有技术存在的问题，本发明提供了一种面向知识测量的试题、知识、能力张量构建与标注方法。
本发明是这样实现的，一种面向知识测量的试题、知识、能力张量构建与标注方法包括：
步骤一，结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量；
步骤二，对试题进行文本分词、去停用词预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；
步骤三，采用主动学习策略，构建可解释试题标签预测模型进行人机协同的半监督标注，获得可解释的标签预测信息熵，将未标注样本输入构建的可解释试题标签预测模型，进行可解释的标签预测信息熵反馈。
进一步，步骤一具体包括：
步骤a)：在实际学习情境下的知识测量，一方面要求测量出学生知识掌握程度所对应的精细化能力层级，另一方面要求测量出的能力层级有较好教育领域解释性，据此结合心理测量学和布卢姆认知领域教育目标分类，构建表征试题、知识、能力间综合关系的试题、知识、能力张量；
步骤b)：tka张量定义为p＝{ptka}t×k×a，表示试题t考查了知识点k对应的能力层级a，其中t为试题空间(0≤t≤t)，k为知识空间(0≤k≤k)，a为能力空间(0≤a≤a)；
步骤c)：试题空间t定义为所考查试题的编号序列组成的集合；
步骤d)：知识空间k定义为试题空间t所考查知识点的集合；
步骤e)：能力空间a定义为知识认知能力水平的集合，依据布卢姆认知领域教育目标分类，将知识的掌握划分为六个认知能力水平：知道、领会、应用、分析、综合、评价。将“知道”定义为理解知识并进行记忆，描述的是具体知识或抽象知识的认知，用一种类似于学习者最初遇到的某种知识的形式，回忆起这个知识；将“领会”定义为对事物的理解，但不要求深刻的理解，而是初步的，甚至是较为片面的、肤浅的；将“应用”定义为对所学习的定义、规律、原理的初步的直接运用，要求在问题解决模式未知的情况下，学会正确地把抽象概念运用于合适的问题解决情景；将“分析”定义为把知识分解成各种要素部分，从而更加明确各概念间的相互关系，使知识的组织结构更为清晰；将“综合”定义为以分析为基础，将分解的各要素进行全面加工，并根据需要重新组合，从而综合地、创造性地解决问题，要求具有特色的表达，强调特性与首创性，要求层次更高；将“评价”定义为布卢姆认知领域教育目标的最高层次，要求理性的、深刻的对知识本质的价值作出有说服力的判断，综合内在与外在的资料、信息，作出符合客观事实的推断。
进一步，步骤二具体包括：
步骤1)：对待标注试题进行预处理，包括文本分词与去停用词；
步骤2)：将试题进行文本分词，基于混合词典，采用双向最大匹配法与统计相结合的方法，对试题文本进行混合分词；
步骤3)：首先利用双向最大匹配法，建立包含中文、英文、公式、特殊符号等在内的混合词典，将待分词的字符串和词典中的词条进行逐条双向匹配，如果匹配成功，则从待分词字符串中将该词条切割出来，由此完成初步切分；然后利用统计分词方法，使用大量已分词的文本，训练出统计概率模型，由于词经常是几个连续字的高频组合，当几个连续的字的共现频率达到一定程度时，就认为存在这样一个词，实现对未切分试题文本的分词；
步骤4)：对于混合分词结果去停用词；去除与句子、试题文本主题无关，对试题标注任务没有贡献的词，再者，频度过低的词对试题标注任务没有贡献，做为停用词来对待；依据上述规则，建立停用词库，删除在停用词库中出现的词，删除频次过低的词；
步骤5)：利用词向量模型word2vec的连续词袋模型处理试题，将预处理后输入的试题向量化；cbow模型根据目标词上下文若干个词的词向量预测目标词的词向量，将试题向量化；
步骤6)：cbow模型架构包括输入层、投影层和输出层；输入层由one-hot编码的输入上下文{x1,...xc}组成，窗口大小为c，词汇表大小为v，投影层是n维向量，输出层输出目标单词y的词向量表示；被one-hot编码的输入向量通过一个v×n维的权重矩阵w连接到投影层，投影层通过一个n×v的权重矩阵w'连接到输出层；
步骤7)：在cbow模型中，定义损失函数，给定输入上下文的输出单词的条件概率，取对数计算为：
步骤8)：对上式求导，得到输出权重w'的更新规则：
步骤9)：同理权重w的更新规则为：
步骤10)：根据权重更新规则，计算投影层h的输出：
步骤11)：计算在输出层每个结点的输入，
步骤12)：计算输出层的输出，输出yj如下：
步骤13)：cbow模型通过对上下文的学习，获得更多的语法信息，从规模试题数据中得到试题词向量输出；
步骤14)：利用试题词向量作为输入，结合知识点库、能力层级库，计算知识标签预测信息熵和能力标签预测信息熵；
步骤15)：bilstm网络采用两个lstm从相反的方向获取不同试题的文本特征，计算式为：
其中a1,a2,b1和b2为权重系数，g(·)为隐层激活函数，
其中c1和c2为权重系数，f(·)为输出激活函数；
步骤16)：卷积层引入多卷积核进行卷积操作，卷积核窗口宽度d和bilstm网络的输出宽度保持一致，卷积输出向量v的第i个值的计算如下：
vi＝w·hi:(i j-1) b,w∈rj×d；
其中，w为卷积层权重系数，h为bilstm输出试题文本特征，b为偏置项，j为卷积核个数；
步骤17)：在池化层使用均值池化策略，在领域内取特征值的平均作为输出，获取整个窗口信息内代表性信息，减少试题文本特征维数和模型网络参数个数；
步骤18)：在softmax层获取知识标签与能力标签的预测概率，把步骤15-步骤17)网络提取的试题文本特征表示输入softmax函数，获得知识标签预测概率pk、能力标签预测概率pa：
其中ok为知识标签预测模型输出向量ok的第k个元素，oa为能力标签预测模型输出向量oa的第a个元素，e(·)为指数函数；
步骤19)：依据知识标签预测概率pk和能力标签预测概率pa构建知识标签预测信息熵ek、能力标签预测信息熵ea：
标签预测信息熵越大，对试题标签预测的结果越不确定。
进一步，步骤14)具体包括：首先采用双向长短时记忆神经网络提取试题文本特征，接着引入卷积神经网络进行试题文本特征优化，从而获得试题更深层次的文本特征表示，其次将试题文本表示进一步级联输入到softmax层，获取知识标签与能力标签的预测概率，最后计算知识标签预测信息熵和能力标签预测信息熵。
进一步，步骤16)中，卷积层结果输入到激活函数，使得试题数据在拟合过程中具有区分能力。
进一步，步骤三包括：步骤i)：对未标注试题，从训练集中抽取小部分试题样本交由教育领域相关专家标注，标注试题的知识标签与能力标签，构建试题的tka张量；
步骤ii)：利用教育专家已标注的试题样本训练可解释试题标签预测模型，将剩余未标注的试题样本作为模型的输入，获得未标注样本的知识标签预测信息熵与能力标签预测信息熵；
步骤iii)：构建试题tka张量标签预测联合信息熵e：
试题标签预测联合信息熵越大，表示对标签预测的结果越不确定。
步骤iv)：再利用更多的教育专家标注样本训练新的可解释试题标签预测模型，重复步骤i)～步骤iii)若干轮，直至试题标签预测模型表现趋于稳定，即标签预测联合信息熵小于阈值λ，此时输出模型预测的试题标签。
进一步，步骤三包括：步骤i)前需进行：对于5263个试题样本，按照7:3比例划分训练集和测试集。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述面向知识测量的试题、知识、能力张量构建与标注方法。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的面向知识测量的试题-知识-能力张量构建与标注方法。
本发明的另一目的在于提供一种实施所述面向知识测量的试题、知识、能力张量构建与标注方法的面向知识测量的试题、知识、能力张量构建与标注系统，包括：
tka张量构建模块，结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量；
可解释试题标签预测模型模块，对试题进行文本分词、去停用词等预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；
人机协同试题tka张量标注模块，针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同标注。
综上所述，本发明的优点及积极效果为：本发明结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量；对试题进行文本分词、去停用词等预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同的半监督标注。该方法充分利用计算资源，教育专家只用标注少部分试题，大部分由算法完成标注，极大地降低专家人力成本，同时提高了试题标注的速度与效率。其次，该方法具有较强的可迁移性，可广泛应用于各个学科的试题标注任务。再次，利用标注好的tka张量对学习者知识水平进行挖掘，可测量出学习者在特定知识点的掌握程度所对应的布卢姆认知领域教育目标分类的具体层级，该测量结果有较好的教育领域解释性，一方面提升用户对测量结果的信任，另一方面可对学习的薄弱环节进行有效的循证归因，可广泛应用于教育数据挖掘、教育测量、在线学习、心理测量等领域。
与现有技术相比，本发明的优势进一步包括：
本发明拟结合q矩阵与布卢姆认知领域教育目标分类，将知识点的掌握划分为六个认知能力水平：知道、领会、应用、分析、综合、评价，构建“试题-知识-能力”张量。tka张量为知识掌握程度、认知水平提供了教育领域知识，从数据层面为后续建模提供了可解释性的基础。tka张量概念是认知心理学与心理测量学相结合的产物，反映试题、知识(或称认知属性)与认知水平的tka张量，是连接认知心理学与心理测量学的桥梁，同时为后续的学习者知识认知水平挖掘提供了强大的理论依据，提升学习者对挖掘结果的信任，从而对学习者的薄弱环节进行循证归因。
本发明采用主动学习策略，构建可解释试题标签预测模型，获得可解释的标签预测信息熵，利用训练出的可解释试题标签预测模型，将未标注样本输入该预测模型，反馈具有较强解释性的标签预测信息熵。可解释试题标签预测模型的建立，以具有丰富经验的领域专家标注的tka张量为基础，通过不断学习优化自身参数，以期达到与专家标注情况相同的效果，旨在解放人工劳动，减少人工标记的主观性对tka张量的影响，提高标注效率，极大降低专家人力成本。
本发明可迁移性强，可应用于各个学科的试题标注，方法的适用性更好。
针对5263个试题样本，按照7:3比例划分训练集和测试集，从训练集中抽取代表性试题样本交由教育领域相关专家标注，然后使用以下两种方式预测训练集中未标注试题样本以及全部测试集中的试题样本。
协同标注方法：协同可解释试题标签预测模型与教育领域相关专家进行试题标注。
随机抽样方法：采用随机抽样交由教育领域相关专家标注，然后预测剩余试题样本。
实验结果如表所示：
表1可解释试题标签预测模型标注tka张量结果
本发明结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量；对试题进行文本分词、去停用词等预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同的半监督标注。
本发明拟结合q矩阵与布卢姆认知领域教育目标分类，将知识点的掌握划分为六个认知能力水平：a1知道、a2领会、a3应用、a4分析、a5综合、a6评价，构建“试题、知识、能力”张量。tka张量为知识掌握程度、认知水平挖掘提供了教育领域知识，从数据层面为后续建模提供了可解释性的基础。
本发明采用主动学习策略，构建可解释试题标签预测模型，获得可解释的标签预测信息熵，利用训练出的可解释试题标签预测模型，将未标注样本输入该预测模型，反馈具有较强解释性的标签预测信息熵。
本发明利用可解释试题标签预测模型确保少量有代表性的样本是由教育专家标注，其它大量样本是由预测算法标注，实现标签预测模型与教育专家协同标注，大大提升了tka标注的效率。
综上，本发明建立了tka张量概念，从数据层面为后续建模提供了可解释性的基础，有利于对学习薄弱环节进行循证归因；通过使用可解释试题标签预测模型进行tka张量的自动标注，极大地解放了人工劳动，降低专家人力成本，通过人机协同标注使得模型更加拟合数据，有效减少标注误差，提高标注效率；方法可迁移性强，可应用与各个学科的试题标注，方法的适用性更好。
附图说明
图1是本发明实施例提供的图面向知识测量的试题、知识、能力张量构建与标注方法流程图。
图2是本发明实施例提供的图面向知识测量的试题、知识、能力张量构建与标注方法原理图。
图3是本发明实施例提供的试题、知识、能力(tka)张量结构组成图。
图4是本发明实施例提供的可解释试题标签预测模型结构示意图。
图5是本发明实施例提供的面向知识测量的试题、知识、能力张量构建与标注系统示意图。
图中：1、tka张量构建模块；2、可解释试题标签预测模型构建模块；3、人机协同标注模块。
图6是本发明实施例中tka张量标注实验结果折线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明目的在于解决现有技术中，试题、知识、能力的关系无法进行综合考量与表征问题，使得后续诊断模型无法获得数据层的有效支撑；对于试题的标注全部由人工完成，而在在线学习平台上，未标注的试题数量庞大，如果由学科领域内的教育专家进行试题标注，耗费的人工成本高，标注时间长，准确率低，直接导致后续的试题诊断效果差，参数估计不准确。
针对现有技术存在的问题，本发明提供了一种面向知识测量的试题、知识、能力张量构建与标注方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的面向知识测量的试题、知识、能力张量构建与标注方法包括：结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量；对试题进行文本分词、去停用词等预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同的半监督标注。
具体包括：
s101：结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量。
s102：对试题进行文本分词、去停用词等预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型。
s103：针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同的半监督标注。
图2是本发明实施例提供的面向知识测量的试题、知识、能力张量构建与标注方法原理图。
作为本发明优选实施例。步骤s101具体包括：
步骤1.1：在实际学习情境下的知识测量，一方面要求测量出学生知识掌握程度所对应的精细化能力层级，另一方面要求测量出的能力层级有较好教育领域解释性，据此结合心理测量学和布卢姆认知领域教育目标分类，构建表征试题、知识、能力间综合关系的tka张量。
步骤1.2：tka张量定义为p＝{ptka}t×k×a，表示试题t考查了知识点k对应的能力层级a，其中t为试题空间(0≤t≤t)，k为知识空间(0≤k≤k)，a为能力空间(0≤a≤a)。
步骤1.3：试题空间t定义为所考查试题的编号序列组成的集合。
步骤1.4：知识空间k定义为试题空间t所考查知识点的集合。
步骤1.5：能力空间a定义为知识认知能力水平的集合，依据布卢姆认知领域教育目标分类，将知识的掌握划分为六个认知能力水平：知道、领会、应用、分析、综合、评价。将“知道”定义为理解知识并进行记忆，描述的是具体知识或抽象知识的认知，用一种类似于学习者最初遇到的某种知识的形式，回忆起这个知识；将“领会”定义为对事物的理解，但不要求深刻的理解，而是初步的，甚至是较为片面的、肤浅的；将“应用”定义为对所学习的定义、规律、原理的初步的直接运用，要求在问题解决模式未知的情况下，学会正确地把抽象概念运用于合适的问题解决情景；将“分析”定义为把知识分解成各种要素部分，从而更加明确各概念间的相互关系，使知识的组织结构更为清晰；将“综合”定义为以分析为基础，将分解的各要素进行全面加工，并根据需要重新组合，从而综合地、创造性地解决问题，要求具有特色的表达，强调特性与首创性，要求层次更高；将“评价”定义为布卢姆认知领域教育目标的最高层次，要求理性的、深刻的对知识本质的价值作出有说服力的判断，综合内在与外在的资料、信息，作出符合客观事实的推断。
如图3所示，本发明实施例提供的试题、知识、能力(tka)张量结构组成图。
作为本发明优选实施例。步骤s102具体包括：
步骤2.1：对待标注试题进行预处理，主要包括文本分词与去停用词。
步骤2.2：将试题进行文本分词。基于混合词典，采用双向最大匹配法与统计相结合的方法，对试题文本进行混合分词。
步骤2.3：首先利用双向最大匹配法，建立包含中文、英文、公式、特殊符号等在内的混合词典，将待分词的字符串和词典中的词条进行逐条双向匹配，如果匹配成功，则从待分词字符串中将该词条切割出来，由此完成初步切分。然后利用统计分词方法，使用大量已分词的文本，训练出统计概率模型，由于词经常是几个连续字的高频组合，当几个连续的字的共现频率达到一定程度时，就认为存在这样一个词，实现对未切分试题文本的分词，由此实现更精细的切分。
步骤2.4：针对混合分词结果去停用词。去除与句子、试题文本主题无关，对试题标注任务没有贡献的词，另外，频度过低的词对试题标注任务也没有贡献，所以频度过低的词也当做停用词来对待。依据以上两个规则，建立停用词库，删除在停用词库中出现的词，删除频次过低的词。
步骤2.5：利用词向量模型word2vec的连续词袋模型处理试题，将预处理后输入的试题向量化。其中，cbow模型根据目标词上下文若干个词的词向量预测目标词的词向量，从而将试题向量化。
步骤2.6：cbow模型架构包括输入层、投影层和输出层。输入层是由one-hot编码的输入上下文{x1,...xc}组成，其中窗口大小为c，词汇表大小为v，投影层是n维向量，输出层输出目标单词y的词向量表示，以解决数据存储的稀疏性问题。被one-hot编码的输入向量通过一个v×n维的权重矩阵w连接到投影层，投影层通过一个n×v的权重矩阵w'连接到输出层。
步骤2.7：在cbow模型中，定义损失函数，即给定输入上下文的输出单词的条件概率，取对数计算为：
步骤2.8：对上式求导，得到输出权重w'的更新规则：
步骤2.9：同理权重w的更新规则为：
步骤2.10：根据权重更新规则，计算投影层h的输出：
步骤2.11：计算在输出层每个结点的输入，
步骤2.12：计算输出层的输出，输出yj如下：
步骤2.13：cbow模型通过对上下文的学习，获得更多的语法信息，从规模试题数据中得到高质量的试题词向量输出。
步骤2.14：利用试题词向量作为输入，结合知识点库、能力层级库，首先采用双向长短时记忆神经网络(bilstm)提取试题文本特征，接着引入卷积神经网络进行试题文本特征优化，从而获得试题更深层次的文本特征表示，其次将试题文本表示进一步级联输入到softmax层，从而获取知识标签与能力标签的预测概率，最后计算知识标签预测信息熵和能力标签预测信息熵。
步骤2.15：bilstm网络采用两个lstm从相反的方向获取不同试题的文本特征，其计算定义为：
其中a1,a2,b1和b2为权重系数，g(·)为隐层激活函数，
其中c1和c2为权重系数，f(·)为输出激活函数。
步骤2.16：卷积层引入多卷积核进行卷积操作，卷积核窗口宽度d和bilstm网络的输出宽度保持一致，卷积输出向量v的第i个值的计算如下：
vi＝w·hi:(i j-1) b,w∈rj×d
其中，w为卷积层权重系数，h为bilstm输出试题文本特征，b为偏置项，j为卷积核个数。卷积层结果输入到激活函数，使得试题数据在拟合过程中具有一定区分能力，提升标签预测模型的性能。如图4所示，本发明实施例提供的可解释试题标签预测模型结构示意图。
步骤2.17：在池化层使用均值池化策略，即在领域内取特征值的平均作为输出，可以获取整个窗口信息内代表性信息，减少试题文本特征维数和模型网络参数个数，增加标签预测模型的适应性。
步骤2.18：在softmax层获取知识标签与能力标签的预测概率，把前述网络提取的试题文本特征表示输入softmax函数，然后可获得知识标签预测概率pk、能力标签预测概率pa：
其中ok为知识标签预测模型输出向量ok的第k个元素，oa为能力标签预测模型输出向量oa的第a个元素，e(·)为指数函数。
步骤2.19：依据知识标签预测概率pk和能力标签预测概率pa构建知识标签预测信息熵ek、能力标签预测信息熵ea：
该标签预测信息熵有很好的物理解释，当标签预测信息熵越大，则说明对试题标签预测的结果越不确定。
作为本发明优选实施例。步骤3针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同的半监督标注，具体包括：
步骤3.1：针对5263个试题样本，按照7:3比例划分训练集和测试集。
步骤3.2：针对未标注试题，从训练集中抽取小部分试题样本交由教育领域相关专家标注，标注试题的知识标签与能力标签，从而构建试题的tka张量。
步骤3.3：利用教育专家已标注的试题样本训练可解释试题标签预测模型，将剩余未标注的试题样本作为模型的输入，从而获得未标注样本的知识标签预测信息熵与能力标签预测信息熵。
步骤3.4：构建试题tka张量标签预测联合信息熵e：
当该试题标签预测联合信息熵越大，则表示对标签预测的结果越不确定，因此将那些信息熵较大的试题推荐给教育专家进行标注，以消除预测模型对于标签预测信息的不确定性。
步骤3.5：再利用更多的教育专家标注样本训练新的可解释试题标签预测模型，重复步骤3.3～步骤3.4若干轮，直至试题标签预测模型表现趋于稳定，即标签预测联合信息熵小于阈值λ，此时输出模型预测的试题标签。这样可以确保少量有代表性的样本是由教育专家标注，其它大量样本是由试题标签预测模型标注，实现试题标签预测模型与教育专家协同标注，大大提升了试题tka张量标注的效率。
如图5所示，本发明实施例提供的面向知识测量的试题、知识、能力张量构建与标注系统，包括：
tka张量构建模块，结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量。
可解释试题标签预测模型模块，对试题进行文本分词、去停用词等预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；人机协同试题tka张量标注模块，针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同标注。
下面结合实验及结果对本发明作进一步描述。
针对5263个试题样本，按照7:3比例划分训练集和测试集，从训练集中抽取小部分试题样本交由教育领域相关专家标注，然后使用协同标注方法与随机抽样方法预测训练集中未标注试题样本以及全部测试集中的试题样本。协同标注方法协同可解释试题标签预测模型与教育领域相关专家进行试题标注。随机抽样方法采用随机抽样交由教育领域相关专家标注，然后预测剩余试题样本。
实验结果如表所示：
表2可解释试题标签预测模型标注tka张量结果
为了对比使用tka张量的进行认知诊断效果，实验验证在基于tka张量与传统q矩阵的条件下，学习者的知识掌握情况与学习者知识认知水平挖掘结果。实验采用多层次认知诊断模型挖掘试题参数、学习者知识掌握情况以及学习者知识认知水平。
使用均方根误差(rootmeansquareerror,rmse)来评价不同模型挖掘的试题参数情况，均方根误差衡量估计值与真实值之间的偏差，其值越小则表明挖掘结果越接近真实值。计算公式为：
使用模式判准率(patternmatchratio，pmr)与边际属性判准率(averageattributematchratio,aamr)评价挖掘得到的学习者知识掌握或知识认知模式准确度，模式判准率衡量模型挖掘出的学习者某一知识掌握或知识认知模式中，判断正确的学习者比例；边际属性判准率衡量挖掘出的所有学习者知识掌握或认知水平模式中，某一知识掌握或认知水平判断正确的比例。其值越大表明挖掘的学习者认知模式准确率越高，计算公式为：
实验结果如表所示：
表3使用tka张量与传统q矩阵挖掘结果对比
由实验结果与图6可知，针对tka张量标注结果，随着训练集中专家标注比例的不断上升，两种标注方法在训练集未标注试题样本与测试集试题样本标注精度上总体呈现上升趋势。
对于协同标注方法，当训练集中专家标注比例达到3％时，训练集未标注试题样本标注精度即可达到90％以上，训练集中专家标注比例达到5％时，测试集试题样本标注精度即可达到80％以上，且随着训练集中专家标注比例的提高，训练集未标注试题样本与测试集试题样本标注精度不断提高。
对于随机抽样方法，在训练集专家标注比例相同的情况下，其训练集未标注试题样本与测试集试题样本标注精度均低于协同标注方法。随着训练集中专家标注比例的提高，训练集未标注试题样本与测试集试题样本标注精度总体呈现上升趋势，但存在震荡点，方法表现不稳定。
针对试题参数挖掘与学习者参数挖掘结果，基于tka张量挖掘出的试题参数更加接近真实值，且挖掘出的学习者知识掌握较基于传统q矩阵的挖掘结果具有较高的准确度。此外，基于tka张量可以挖掘出学习者的知识认知水平，并给出可靠的解释性信息且接近真实值，而基于传统的q矩阵无法挖掘出学习者的知识认知水平。
综上所述，在试题样本标注方面，协同标注方法标注的tka张量在训练集未标注试题样本上与测试集上均较随机抽样方法标注的tka张量有较高的试题标注精度，有效提高了tka张量的标注效率，为后续的学习者知识掌握情况、学习者知识认知水平挖掘等提供强有力的、富有可解释性的数据支撑。在试题参数与学习者参数挖掘方面，基于tka张量挖掘出的试题参数更加接近真实情况，并且可以准确挖掘学习者的知识掌握情况与学习者知识认识水平，挖掘粒度更加精细化，便于学习者及时作出针对性的补救措施，更好的进行个性化学习。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
1.一种面向知识测量的试题、知识、能力张量构建与标注方法，其特征在于，所述面向知识测量的试题、知识、能力张量构建与标注方法包括以下步骤：
步骤一，结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量；
步骤二，对试题进行文本分词、去停用词预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；
步骤三，采用主动学习策略，构建可解释试题标签预测模型进行人机协同的标注，获得可解释的标签预测信息熵，将未标注样本输入构建的可解释试题标签预测模型，进行可解释的标签预测信息熵反馈。
2.如权利要求1所述的面向知识测量的试题、知识、能力张量构建与标注方法，其特征在于，步骤一具体包括：
步骤a)：结合q矩阵和布卢姆认知领域教育目标分类，构建表征试题、知识、能力间综合关系的试题、知识、能力张量；
步骤b)：试题、知识、能力张量为p＝{ptka}t×k×a，表示试题t考查知识点k对应的能力层级a，其中t为试题空间，0≤t≤t，k为知识空间，0≤k≤k，a为能力空间，0≤a≤a；
步骤c)：试题空间t为所考查试题的编号序列组成的集合；
步骤d)：知识空间k为试题空间t所考查知识点的集合；
步骤e)：能力空间a为知识认知能力水平的集合，依据布卢姆认知领域教育目标分类，将知识的掌握划分为六个认知能力水平：a1知道、a2领会、a3应用、a4分析、a5综合、a6评价，构建面向学习者知识水平测量的试题、知识、能力张量。
3.如权利要求1所述的面向知识测量的试题、知识、能力张量构建与标注方法，其特征在于，步骤二具体包括：
步骤1)：对待标注试题进行预处理，包括文本分词与去停用词；
步骤2)：将试题进行文本分词，基于混合词典，采用双向最大匹配法与统计相结合的方法，对试题文本进行混合分词；
步骤3)：首先利用双向最大匹配法，建立包含中文、英文、公式、特殊符号等在内的混合词典，将待分词的字符串和词典中的词条进行逐条双向匹配，如果匹配成功，则从待分词字符串中将该词条切割出来，由此完成初步切分；然后利用统计分词方法，使用大量已分词的文本，训练出统计概率模型，由于词经常是几个连续字的高频组合，当几个连续的字的共现频率达到一定程度时，就认为存在这样一个词，实现对未切分试题文本的分词；
步骤4)：对于混合分词结果去停用词；去除与句子、试题文本主题无关，对试题标注任务没有贡献的词，再者，频度过低的词对试题标注任务没有贡献，做为停用词来对待；依据上述规则，建立停用词库，删除在停用词库中出现的词，删除频次过低的词；
步骤5)：利用词向量模型word2vec的连续词袋模型(continuousbagofwords，cbow)处理试题，将预处理后输入的试题向量化；cbow模型根据目标词上下文若干个词的词向量预测目标词的词向量，将试题向量化；
步骤6)：cbow模型架构包括输入层、投影层和输出层；输入层由one-hot编码的输入上下文{x1,...xc}组成，窗口大小为c，词汇表大小为v，投影层是n维向量，输出层输出目标单词y的词向量表示；被one-hot编码的输入向量通过一个v×n维的权重矩阵w连接到投影层，投影层通过一个n×v的权重矩阵w'连接到输出层；
步骤7)：在cbow模型中，定义损失函数，给定输入上下文的输出单词的条件概率，取对数计算为：
步骤8)：对上式求导，得到输出权重w'的更新规则：
步骤9)：同理权重w的更新规则为：
步骤10)：根据权重更新规则，计算投影层h的输出：
步骤11)：计算在输出层每个结点的输入，
步骤12)：计算输出层的输出，输出yj如下：
步骤13)：cbow模型通过对上下文的学习，获得更多的语法信息，从规模试题数据中得到试题词向量输出；
步骤14)：利用试题词向量作为输入，结合知识点库、能力层级库，计算知识标签预测信息熵和能力标签预测信息熵；
步骤15)：bilstm网络采用两个lstm从相反的方向获取不同试题的文本特征，计算式为：
其中a1,a2,b1和b2为权重系数，g(·)为隐层激活函数，
其中c1和c2为权重系数，f(·)为输出激活函数；
步骤16)：卷积层引入多卷积核进行卷积操作，卷积核窗口宽度d和bilstm网络的输出宽度保持一致，卷积输出向量v的第i个值的计算如下：
vi＝w·hi:(i j-1) b,w∈rj×d；
其中，w为卷积层权重系数，h为bilstm输出试题文本特征，b为偏置项，j为卷积核个数；
步骤17)：在池化层使用均值池化策略，在领域内取特征值的平均作为输出，获取整个窗口信息内代表性信息，减少试题文本特征维数和模型网络参数个数；
步骤18)：在softmax层获取知识标签与能力标签的预测概率，把步骤15-步骤17)网络提取的试题文本特征表示输入softmax函数，获得知识标签预测概率pk、能力标签预测概率pa：
其中ok为知识标签预测模型输出向量ok的第k个元素，oa为能力标签预测模型输出向量oa的第a个元素，e(·)为指数函数；
步骤19)：依据知识标签预测概率pk和能力标签预测概率pa构建知识标签预测信息熵ek、能力标签预测信息熵ea：
标签预测信息熵越大，对试题标签预测的结果越不确定。
4.如权利要求3所述的面向知识测量的试题、知识、能力张量构建与标注方法，其特征在于，步骤14)具体包括：首先采用双向长短时记忆神经网络提取试题文本特征，接着引入卷积神经网络进行试题文本特征优化，从而获得试题更深层次的文本特征表示，其次将试题文本表示进一步级联输入到softmax层，获取知识标签与能力标签的预测概率，最后计算知识标签预测信息熵和能力标签预测信息熵。
5.如权利要求3所述的面向知识测量的试题、知识、能力张量构建与标注方法，其特征在于，步骤16)中，卷积层结果输入到激活函数，使得试题数据在拟合过程中具有区分能力。
6.如权利要求1所述的面向知识测量的试题、知识、能力张量构建与标注方法，其特征在于，步骤三包括：
步骤i)：对未标注试题，从训练集中随机抽取小部分试题样本交由教育专家进行人工标注标注试题的知识标签与能力标签，构建试题的tka张量；
步骤ii)：利用教育专家已标注的试题样本训练可解释试题标签预测模型，将剩余未标注的试题样本作为模型的输入，获得未标注样本的知识标签预测信息熵与能力标签预测信息熵；
步骤iii)：构建试题tka张量标签预测联合信息熵e：
试题标签预测联合信息熵越大，表示对标签预测的结果越不确定；
步骤iv)：再利用更多的教育专家标注样本训练新的可解释试题标签预测模型，重复步骤ii)～步骤iii)若干轮，直至试题标签预测模型表现趋于稳定，即标签预测联合信息熵小于阈值λ，此时输出模型预测的试题标签。
7.如权利要求1所述的面向知识测量的试题、知识、能力张量构建与标注方法，其特征在于，步骤三包括：步骤i)前需进行：对于5263个试题样本，按照7:3比例划分训练集和测试集。
8.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～7任意一项所述面向知识测量的试题、知识、能力张量构建与标注方法。
9.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行权利要求1～7任意一项所述面向知识测量的试题、知识、能力张量构建与标注方法。
10.一种实施权利要求1～7任意一项所述面向知识测量的试题、知识、能力张量构建与标注方法的面向知识测量的试题、知识、能力张量构建与标注系统，其特征在于，所述面向知识测量的试题、知识、能力张量构建与标注系统包括：
tka张量构建模块，结合q矩阵与布卢姆认知领域教育目标分类，构建面向学习者知识水平测量的试题、知识、能力张量；
可解释试题标签预测模型模块，对试题进行文本分词、去停用词等预处理操作，利用词向量模型将试题向量化，结合知识点库、能力层级库、试题词向量、双向lstm神经网络、卷积神经网络分别构建可解释知识标签预测模型和可解释能力标签预测模型；
人机协同试题tka张量标注模块，针对试题精准的tka张量标注任务，采用主动学习策略，利用教育专家与已构建的可解释试题标签预测模型进行人机协同标注。
技术总结