本发明涉及文本分类技术领域，并特别涉及一种基于类别稠密向量表示的通用文本分类方法及系统。
背景技术：
基于深度神经网络的文本分类方法可以分为单词特征提取、文本特征提取和非线性分类器三个部分，其中单词特征提取和文本特征提取由编码器完成，非线性分类由分类器完成。如图1所示，其中单词特征提取阶段得到每个词的词向量；文本特征提取是指利用文本中每个词的词向量得到文本的向量表示；非线性分类器是指利用全连接神经网络和softmax层得到类别的概率分布。
现有的处理文本分类的思路虽然在一些应用领域取得了实际的效果，但是这种处理模式存在以下的不足之处：第一，所有的监督信号都来自于模型最尾端的分类器，在特征提取阶段没有显著的监督信息存在，使得整个分类模型成为一个“黑盒”。第二，最尾端的分类器得到了输入文本属于每个类别的概率分布，但是在整个模型中并没有显式地指出每个类别的语义表示，不具有可解释性。在现有技术中，虽然也有利用类别稠密向量表示处理文本分类问题的技术，其利用类别稠密向量表示增强文本特征提取的准确程度，本质上仍然是利用非线性分类器对提取到的文本特征进行非线性分类，没有建模出文本和不同类别之间的语义相似性，导致对文本信息利用不足，准确率低，不符合人类处理文本分类问题时的模式，缺少可解释性。
技术实现要素：
本发明的目的时解决上述现有技术缺少显式建模文本的语义信息和缺少建模文本与类别之间相似程度的问题，提出了利用类别的稠密向量表示将文本分类问题转化为匹配问题的文本分类范式。
针对现有技术的不足，本发明提出一种基于类别稠密向量表示的通用文本分类方法，其中包括：
步骤1、获取包括以标记类别文本的训练数据，使用全连接网络处理该训练数据，得到各类别的类别稠密向量；
步骤2、将待分类文本输入至深度神经网络，得到该待分类文本中每个词的词稠密向量，并集合该词稠密向量得到该待分类文本的文本稠密向量；
步骤3、将该文本稠密向量和该类别稠密向量输入至匹配度测量模型，得到该待分类文本属于各类别的概率分布，将该待分类文本与该概率分布中概率最大的类别相匹配，作为该待分类文本的分类结果。
所述的基于类别稠密向量表示的通用文本分类方法，其中该步骤1包括：在生成类别稠密向量时，对该训练数据中所有属于同一类别的文本中的词的词向量表示取平均值，作为初始化的类别稠密向量。
所述的基于类别稠密向量表示的通用文本分类方法，其中该步骤1包括：
对于训练数据
所述的基于类别稠密向量表示的通用文本分类方法，其中步骤3中该匹配度测量模型，用于通过下式得到各类该类别稠密向和该文本稠密向量的匹配特征，得到该匹配特征的过程具体包括：通过下式得到该类别稠密向和该文本稠密向量中每个词的余弦相似度、双向线性和元素乘；
mbi-linear＝cwbi-linearvt,
之后将相似度结果拼接，得到类别表示和每个词的匹配特征，再通过深度神经网络得到各类别和整个待分类文本的匹配特征。
所述的基于类别稠密向量表示的通用文本分类方法，其中该步骤3包括：在得到该匹配特征后，通过全连接层得到待分类文本和每个类别之间的匹配得分，再经过softmax层得到待分类文本属于每个类别的概率分布。
本发明还提出了一种基于类别稠密向量表示的通用文本分类系统，其中包括：
模块1、获取包括以标记类别文本的训练数据，使用全连接网络处理该训练数据，得到各类别的类别稠密向量；
模块2、将待分类文本输入至深度神经网络，得到该待分类文本中每个词的词稠密向量，并集合该词稠密向量得到该待分类文本的文本稠密向量；
模块3、将该文本稠密向量和该类别稠密向量输入至匹配度测量模型，得到该待分类文本属于各类别的概率分布，将该待分类文本与该概率分布中概率最大的类别相匹配，作为该待分类文本的分类结果。
所述的基于类别稠密向量表示的通用文本分类系统，其中该模块1包括：在生成类别稠密向量时，对该训练数据中所有属于同一类别的文本中的词的词向量表示取平均值，作为初始化的类别稠密向量。
所述的基于类别稠密向量表示的通用文本分类系统，其中该模块6包括：
对于训练数据
所述的基于类别稠密向量表示的通用文本分类系统，其中模块3中该匹配度测量模型，用于通过下式得到各类该类别稠密向和该文本稠密向量的匹配特征，得到该匹配特征的过程具体包括：通过下式得到该类别稠密向和该文本稠密向量中每个词的余弦相似度、双向线性和元素乘；
mbi-linear＝cwbi-linearvt,
之后将相似度结果拼接，得到类别表示和每个词的匹配特征，再通过深度神经网络得到各类别和整个待分类文本的匹配特征。
所述的基于类别稠密向量表示的通用文本分类系统，其中该模块3包括：在得到该匹配特征后，通过全连接层得到待分类文本和每个类别之间的匹配得分，再经过softmax层得到待分类文本属于每个类别的概率分布。
由以上方案可知，本发明的优点在于：
本发明基于类别稠密向量表示的思想，将文本分类问题转化为文本匹配问题解决，通过计算输入文本与每个类别之间的匹配程度，将文本分到匹配程度最大的类别之中。本发明的文本分类模型在多个标准数据集上的性能都有提升。
附图说明
图1为现有的基于神经网络的文本分类方法框架图；
图2为基于匹配的文本分类范式示意图；
图3基于类别稠密向量表示的文本分类方法图；
图4为本发明流程图；
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
发明人在进行文本分类技术研究时，特别是采用基于类别稠密向量表示的文本分类技术，发现现有技术中的所有模型都是基于“词的特征->文本特征->非线性分类器”的思路处理文本分类问题的，这些方法由于基于“特征提取->分类器”的传统思路的局限，使得对不同类别的深层语义挖掘的不够充分，同时也使分类模型过多地依赖了文本特征表示，最终分类器的模型参数量要远远小于编码器的模型参数量，在模型的训练过程中会过多地侧重编码器而导致结果产生偏差，影响模型性能。这些问题可以利用深度学习方法中文本匹配的思路来解决。本发明基于类别稠密向量表示的思想，将文本分类问题转化为文本匹配问题解决，通过计算输入文本与每个类别之间的匹配程度，将文本分到匹配程度最大的类别之中。本发明的文本分类模型在多个标准数据集上的性能都有提升。
本发明设计了一种通用的文本分类模型，即基于类别稠密向量表示的通用文本分类方法，称之为类别匹配网络。
基于匹配的文本分类范式。本发明提供一种通用的文本分类范式，如图2所示，这一分类范式包括以下模块：类别编码器、文本编码器和文本匹配模块：类别编码器生成分类体系中所有类别的稠密向量表示；文本编码器利用深度神经网络生成文本中每个词的稠密向量表示和全部文本的稠密向量表示；文本匹配模块通过计算类别的稠密向量表示和文本的稠密向量表示之间的匹配程度，将文本分到匹配程度最大的类别中。其中稠密向量表示和稠密向量间的关系是，将每个词的稠密向量相加和/或最大值池化和/或短期记忆网络处理后得到全部文本的稠密向量。
进一步地，所述类别编码器在生成类别稠密向量表示时，对训练数据中所有属于该类别的文本中的词的词表示取平均值，用作初始化本类别的稠密向量表示。
进一步地，类别的稠密向量表示在初始化后与模型中的其他参数一起训练。
进一步地，所述文本编码器是多层神经网络，输入为待分类文本，输出为文本表示或文本中每个词的词表示。
进一步地，文本匹配模块是多层神经网络，输入为类别的稠密向量表示和文本的稠密向量表示，输出为0.0到1.0之间的浮点数。
基于类别稠密向量表示的文本分类方法：
对于样本集合
之后将相似度结果拼接，得到类别表示和每个词的匹配特征，再通过lstm获得类别表示和整个文本的匹配特征，其中q为匹配特征的维度：
m＝concat(expand(mcos)，expand(mbi-linear)，mponitwise-multi)
在得到匹配特征后，通过全连接层得到输入文本和每个类别之间的匹配得分，再经过softmax层得到输入文本属于每个类别的概率分布，其中⊙表示矩阵的对应列分别求内积。使用交叉熵作为损失函数：
模型结构如图3所示。
首先载入预训练的匹配模型和类别的稠密向量表示。随后，载入待分类文本中每个词向量。随后，按照公式(1)-(7)计算待分类文本与每个类别的匹配程度。最后，将待分类文本分到匹配程度最大的类别中。流程图如图4所示。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种基于类别稠密向量表示的通用文本分类系统，其中包括：
模块1、获取包括以标记类别文本的训练数据，使用全连接网络处理该训练数据，得到各类别的类别稠密向量；
模块2、将待分类文本输入至深度神经网络，得到该待分类文本中每个词的词稠密向量，并集合该词稠密向量得到该待分类文本的文本稠密向量；
模块3、将该文本稠密向量和该类别稠密向量输入至匹配度测量模型，得到该待分类文本属于各类别的概率分布，将该待分类文本与该概率分布中概率最大的类别相匹配，作为该待分类文本的分类结果。
所述的基于类别稠密向量表示的通用文本分类系统，其中该模块1包括：在生成类别稠密向量时，对该训练数据中所有属于同一类别的文本中的词的词向量表示取平均值，作为初始化的类别稠密向量。
所述的基于类别稠密向量表示的通用文本分类系统，其中该模块6包括：
对于训练数据
所述的基于类别稠密向量表示的通用文本分类系统，其中模块3中该匹配度测量模型，用于通过下式得到各类该类别稠密向和该文本稠密向量的匹配特征，得到该匹配特征的过程具体包括：通过下式得到该类别稠密向和该文本稠密向量中每个词的余弦相似度、双向线性和元素乘；
mbi-linear＝cwbi-linearvt,
之后将相似度结果拼接，得到类别表示和每个词的匹配特征，再通过深度神经网络得到各类别和整个待分类文本的匹配特征。
所述的基于类别稠密向量表示的通用文本分类系统，其中该模块3包括：在得到该匹配特征后，通过全连接层得到待分类文本和每个类别之间的匹配得分，再经过softmax层得到待分类文本属于每个类别的概率分布。
1.一种基于类别稠密向量表示的通用文本分类方法，其特征在于，包括：
步骤1、获取包括以标记类别文本的训练数据，使用全连接网络处理该训练数据，得到各类别的类别稠密向量；
步骤2、将待分类文本输入至深度神经网络，得到该待分类文本中每个词的词稠密向量，并集合该词稠密向量得到该待分类文本的文本稠密向量；
步骤3、将该文本稠密向量和该类别稠密向量输入至匹配度测量模型，得到该待分类文本属于各类别的概率分布，将该待分类文本与该概率分布中概率最大的类别相匹配，作为该待分类文本的分类结果。
2.如权利要求1所述的基于类别稠密向量表示的通用文本分类方法，其特征在于，该步骤1包括：在生成类别稠密向量时，对该训练数据中所有属于同一类别的文本中的词的词向量表示取平均值，作为初始化的类别稠密向量。
3.如权利要求1所述的基于类别稠密向量表示的通用文本分类方法，其特征在于，该步骤1包括：
对于训练数据
4.如权利要求3所述的基于类别稠密向量表示的通用文本分类方法，其特征在于，步骤3中该匹配度测量模型，用于通过下式得到各类该类别稠密向和该文本稠密向量的匹配特征，得到该匹配特征的过程具体包括：通过下式得到该类别稠密向和该文本稠密向量中每个词的余弦相似度、双向线性和元素乘；
mbi-linear＝cwbi-linearvt，
之后将相似度结果拼接，得到类别表示和每个词的匹配特征，再通过深度神经网络得到各类别和整个待分类文本的匹配特征。
5.如权利要求4所述的基于类别稠密向量表示的通用文本分类方法，其特征在于，该步骤3包括：在得到该匹配特征后，通过全连接层得到待分类文本和每个类别之间的匹配得分，再经过softmax层得到待分类文本属于每个类别的概率分布。
6.一种基于类别稠密向量表示的通用文本分类系统，其特征在于，包括：
模块1、获取包括以标记类别文本的训练数据，使用全连接网络处理该训练数据，得到各类别的类别稠密向量；
模块2、将待分类文本输入至深度神经网络，得到该待分类文本中每个词的词稠密向量，并集合该词稠密向量得到该待分类文本的文本稠密向量；
模块3、将该文本稠密向量和该类别稠密向量输入至匹配度测量模型，得到该待分类文本属于各类别的概率分布，将该待分类文本与该概率分布中概率最大的类别相匹配，作为该待分类文本的分类结果。
7.如权利要求6所述的基于类别稠密向量表示的通用文本分类系统，其特征在于，该模块1包括：在生成类别稠密向量时，对该训练数据中所有属于同一类别的文本中的词的词向量表示取平均值，作为初始化的类别稠密向量。
8.如权利要求1所述的基于类别稠密向量表示的通用文本分类系统，其特征在于，该模块6包括：
对于训练数据
9.如权利要求8所述的基于类别稠密向量表示的通用文本分类系统，其特征在于，模块3中该匹配度测量模型，用于通过下式得到各类该类别稠密向和该文本稠密向量的匹配特征，得到该匹配特征的过程具体包括：通过下式得到该类别稠密向和该文本稠密向量中每个词的余弦相似度、双向线性和元素乘；
mbi-linear＝cwbi-linearvt，
之后将相似度结果拼接，得到类别表示和每个词的匹配特征，再通过深度神经网络得到各类别和整个待分类文本的匹配特征。
10.如权利要求9所述的基于类别稠密向量表示的通用文本分类系统，其特征在于，该模块3包括：在得到该匹配特征后，通过全连接层得到待分类文本和每个类别之间的匹配得分，再经过softmax层得到待分类文本属于每个类别的概率分布。
技术总结