本公开涉及计算机通信领域，尤其涉及一种信息处理方法、装置及存储介质。
背景技术：
上个世纪九十年代以来，互联网快速发展，到现在进入大数据时代，互联网容纳了海量的信息和数据，包括文本、声音、图像、视频等。这里所说的文本是媒体新闻、科技、报告、电子邮件、技术专利、书籍等。与图像声音数据相比，文本占用的网络资源少，更容易上传和下载，这使得网络资源中大部分是以文本的形式出现。如何有效的组织和管理这些文本信息，并快速、准确、全面的从中找到用户所需要的文本信息是当前信息科学技术所面临的一大挑战。
早期文本分类主要是基于知识工程，通过手工定义一些规则来对文本进行分类，这种方法耗时费力，还需要对某一领域有足够的了解，才能提炼出合适的规则，且在训练样本较少的情况下，会使得分类的准确性降低。
技术实现要素：
本公开提供一种信息处理方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种信息处理方法，包括：
对第一语料数据进行分词处理，得到包含有至少一个词语的第二语料数据；
基于第一预训练模型对所述第二语料数据所包含的所述至少一个词语进行处理，得到所述第二语料数据所对应的第一特征向量序列；
基于第二预训练模型对所述第一语料数据所包含的字符进行处理，得到所述第一语料数据所对应的第二特征向量序列；
基于所述第一特征向量序列和所述第二特征向量序列，得到目标特征向量。
可选的，所述第一特征向量序列和所述第二特征向量序列分别包含有至少一个特征向量；所述基于所述第一特征向量序列和所述第二特征向量序列，得到目标特征向量，包括：
基于卷积神经网络模型对所述第一特征向量序列进行处理，从所述第一特征向量序列中提取第一特征向量；
基于长短期记忆模型对所述第一特征向量序列进行处理，从所述第一特征向量序列中提取第二特征向量；
基于所述第二预训练模型对所述第二特征向量序列进行处理，从所述第二特征向量序列中提取第三特征向量；
基于所述第一特征向量、所述第二特征向量和所述第三特征向量，通过拼接处理得到目标特征向量。
可选的，所述基于所述第一特征向量、所述第二特征向量和所述第三特征向量，通过拼接处理得到目标特征向量，包括：
在所述第一特征向量的末端拼接所述第二特征向量，并在拼接后的第二特征向量的末端拼接所述第三特征向量，得到拼接后的特征向量；
对所述拼接后的特征向量进行降维处理，得到所述目标特征向量。
可选的，所述第二语料数据所包含的词语具有词标识；所述基于第一预训练模型对所述第二语料数据进行处理，得到所述第二语料数据所对应的第一特征向量序列，包括：
确定所述第二语料数据包含的各所述词语的词标识；
基于各所述词语的词标识查询所述第一预训练模型的设定词向量映射表，从所述设定词向量映射表中确定各所述词语的特征向量，其中，所述设定词向量映射表包含有各所述词语的词标识与各所述特征向量之间的映射关系；
将确定的各所述词语的特征向量按照第一设定顺序进行排列，得到所述第一特征向量序列。
可选的，所述第一语料数据所包含的字符具有字标识；所述基于第二预训练模型对所述第一语料数据进行处理，得到所述第一语料数据所对应的第二特征向量序列，包括：
确定所述第一语料数据包含的各所述字符的字标识；
所述第二预训练模型对所述第一语料数据中各所述字符的上下文进行分析，得到分析结果；
基于所述分析结果以及所述字符的字标识，查询所述第二预训练模型的设定字向量映射表，从所述设定词向量映射表中确定各所述字符的特征向量，其中，所述设定字向量映射表包含有各所述字符的字标识与各所述特征向量之间的映射关系；
将确定的各所述字符的特征向量按照第二设定顺序进行排列，得到所述第二特征向量序列。
可选的，所述方法还包括：
基于设定分类模型对所述目标特征向量进行分类处理，得到分类结果。
根据本公开实施例的第二方面，提供一种信息处理装置，包括：
第一处理模块，配置为对第一语料数据进行分词处理，得到包含有至少一个词语的第二语料数据；
第二处理模块，配置为基于第一预训练模型对所述第二语料数据所包含的所述至少一个词语进行处理，得到所述第二语料数据所对应的第一特征向量序列；
第三处理模块，配置为基于第二预训练模型对所述第一语料数据所包含的字符进行处理，得到所述第一语料数据所对应的第二特征向量序列；
获取模块，配置为基于所述第一特征向量序列和所述第二特征向量序列，得到目标特征向量。
可选的，所述第一特征向量序列和所述第二特征向量序列分别包含有至少一个特征向量；所述获取模块，还配置为：
基于卷积神经网络模型对所述第一特征向量序列进行处理，从所述第一特征向量序列中提取第一特征向量；
基于长短期记忆模型对所述第一特征向量序列进行处理，从所述第一特征向量序列中提取第二特征向量；
基于所述第二预训练模型对所述第二特征向量序列进行处理，从所述第二特征向量序列中提取第三特征向量；
基于所述第一特征向量、所述第二特征向量和所述第三特征向量，通过拼接处理得到目标特征向量。
可选的，所述获取模块，还配置为：
对所述第一特征向量、所述第二特征向量和所述第三特征向量进行拼接处理，得到拼接后的特征向量；
对所述拼接后的特征向量进行降维处理，得到所述目标特征向量。
可选的，所述第二处理模块，还配置为：
确定所述第二语料数据包含的各所述词语的词标识；
基于各所述词语的词标识查询所述第一预训练模型的设定词向量映射表，从所述设定词向量映射表中确定各所述词语的特征向量，其中，所述设定词向量映射表包含有各所述词语的词标识与各所述特征向量之间的映射关系；
将确定的各所述词语的特征向量按照第一设定顺序进行排列，得到所述第一特征向量序列。
可选的，所述第三处理模块，还配置为：
确定所述第一语料数据包含的各所述字符的字标识；
所述第二预训练模型对所述第一语料数据中各所述字符的上下文进行分析，得到分析结果；
基于所述分析结果以及所述字符的字标识，查询所述第二预训练模型的设定字向量映射表，从所述设定词向量映射表中确定各所述字符的特征向量，其中，所述设定字向量映射表包含有各所述字符的字标识与各所述特征向量之间的映射关系；
将确定的各所述字符的特征向量按照第二设定顺序进行排列，得到所述第二特征向量序列。
可选的，所述装置还包括：
分类模块，配置为基于设定分类模型对所述目标特征向量进行分类处理，得到分类结果。
根据本公开实施例的第三方面，提供一种信息处理装置，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述第一方面中的信息处理方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由信息处理装置的处理器执行时，使得所述装置能够执行上述第一方面中的信息处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述技术方案可知，本公开通过对第一语料数据进行分词处理，得到包含有至少一个词语的第二语料数据，并基于第一预训练模型对第二语料数据所包含的词语进行处理，得到第二语料数据所对应的第一特征向量序列，基于第二预训练模型对第一语料数据所包含的字符进行处理，得到所述第一语料数据所对应的第二特征向量序列，以基于第一特征向量序列和第二特征向量序列，得到目标特征向量。这样，通过分别将语料数据基于字和基于词进行向量表征，融合了多元特征，能够使得分类时获取的训练样本更加丰富多样，以使训练得到的模型的准确率和泛化效果大幅提升。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的信息处理方法的流程图一。
图2是根据一示例性实施例示出的信息处理方法的流程图二。
图3是根据一示例性实施例示出的信息处理方法的流程图三。
图4是根据一示例性实施例示出的一种信息处理装置框图。
图5是根据一示例性实施例示出的一种信息处理装置的硬件结构框图一。
图6是根据一示例性实施例示出的一种信息处理装置的硬件结构框图二。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的信息处理方法的流程图一，如图1所示，该方法包括以下步骤：
在步骤101中，对第一语料数据进行分词处理，得到包含有至少一个词语的第二语料数据；
在步骤102中，基于第一预训练模型对第二语料数据所包含的所述至少一个词语进行处理，得到第二语料数据所对应的第一特征向量序列；
在步骤103中，基于第二预训练模型对第一语料数据所包含的字符进行处理，得到第一语料数据所对应的第二特征向量序列；
在步骤104中，基于第一特征向量序列和第二特征向量序列，得到目标特征向量。
这里，第一语料数据可以是设定语言的语料数据，例如，第一语料数据可以是基于中文的语料数据。
以第一语料数据是基于中文的语料数据为例，在基于第一预训练模型对第一语料数据进行处理之前，需要对第一语料数据进行分词处理，得到包含有至少一个词语的第二语料数据，再基于第一预训练模型对包含有至少一个词语的第二语料数据进行处理。
本公开实施例中，可以基于设定分词算法对第一语料数据进行分词处理，得到基于词表示的第二语料数据。其中，设定分词算法包括以下至少之一：基于字符串匹配的分词算法、基于理解的分词算法、基于统计的分词算法。
这里，基于字符串匹配的分词算法是指按照设定策略将待分词的字符串与设定机器词典中的词进行匹配，在词典中找到与字符串的子串对应的词，进而得到分词结果。例如，第一语料数据包含“今天天气真好”，如果设定机器词典中包含“今天”，“天气”和“真好”这几个词语，则对第一语料数据进行分词的结果，即第二语料数据为“今天天气真好”。
基于理解的分词算法是通过计算机模拟人对句子的理解，从而达到分词的效果，也就是在分词的同时进行句法，语义分析，利用句法信息和语义信息进行歧义消解。例如，基于大量采集数据进行模型训练得到基于理解的分词算法，然后将待分词的第一语料数据输入基于理解的分词算法，得到并输出分词结果，然后基于该分词结果形成第二语料数据。
基于统计的分词算法是指利用字与字之间和词与词之间共同出现的概率作为分词的依据，基于统计的分词算法属于无词典分词，只需要对第一语料数据中的各个字组进行统计，计算各个字的相邻出现的概率，并将各个字的相邻出现的概率与设定概率阈值进行比较，当各个字的相邻出现的概率大于设定概率阈值时，则确定这个字组可以构成一个词。
在基于设定分词算法对第一语料数据进行分词处理之后，可以得到包含有至少一个词语的第二语料数据，这时，可以基于第一预训练模型对第二语料数据所包含的词语进行处理，得到第二语料数据所对应的第一特征向量序列。
这里，第一预训练模型包括以下至少之一：快速文本分类(fasttext)模型、用来产生词向量(word2vec，wordtovector)的模型、连续词袋(cbow，continuousbag-of-words)模型，第一特征向量序列包含有至少一个特征向量。
以第一预训练模型是fasttext模型为例，可以将包含有至少一个词语的第二语料数据输入预先训练好的fasttext模型，经由fasttext模型将第二语料数据中所包含的各个词语分别转换为对应的词向量，并将转换的词向量按照与第二语料数据中词语顺序相对应的顺序对转换得到的词向量进行排列，形成与第二语料数据对应的词向量序列。
以第二预训练模型包括bert模型为例，可以直接将第一语料数据输入预先训练好的bert模型，经由bert模型将第一语料数据中所包含的各个字符分别转换为对应的字向量，并将转换的字向量按照与第一语料数据中字符顺序相对应的顺序对转换得到的字向量进行排列，形成与第一语料数据对应的字向量序列。
本公开实施例中，通过分别将语料数据基于字和基于词进行向量表征，直接将基于字和基于词得到的第一特征向量序列和第二特征向量序列进行拼接处理，得到目标特征向量，由于拼接处理得到的目标向量中包含了基于字和基于词得到的特征，能够融合了多元特征，能够使得分类时获取的训练样本更加丰富多样，以使训练得到的模型的准确率和泛化效果大幅提升。
在其他可选的实施例中，第一特征向量序列和第二特征向量序列分别包含有至少一个特征向量；基于第一特征向量序列和第二特征向量序列，得到目标特征向量，包括：
基于卷积神经网络模型对第一特征向量序列进行处理，从第一特征向量序列中提取第一特征向量；
基于长短期记忆模型对第一特征向量序列进行处理，从第一特征向量序列中提取第二特征向量；
基于第二预训练模型对第二特征向量序列进行处理，从第二特征向量序列中提取第三特征向量；
基于第一特征向量、第二特征向量和第三特征向量，得到目标特征向量。
这里，在将第一特征向量序列输入卷积神经网络(convolutionalneuralnetwork，cnn)之后，可以基于卷积神经网络的卷积核与第一特征向量序列中的特征向量进行卷积计算，以提取出第一特征向量，例如，可以基于卷积核与第一特征向量序列中的与卷积核一样大的区域的特征向量进行卷积计算之后，就向其他区域移动，接着计算，直至把第一特征向量序列中的每一个特征向量都覆盖为止，这样，就能够通过设定的卷积核，从第一特征向量序列中提取出第一特征向量。在基于卷积神经网络进行第一特征向量提取的同时，也基于长短期记忆模型(long-shorttermmemory，lstm)对第一特征向量序列进行处理，从第一特征向量序列中提取出第二特征向量，基于bert模型对第二特征向量序列进行处理，从第二特征向量序列中提取第三特征向量。
基于第一特征向量序列中所包含的特征向量均包含有第二语料数据中各个词语所对应的词语信息，在基于卷积神经网络和长短期记忆模型对第一特征向量序列进行特征提取的过程中，可以分别从第一特征向量序列中提取所包含信息量最大的特征向量分别作为第一特征向量和第二特征向量，这里，可以基于卷积神经网络的池化层进行最大池化得到信息量最大的特征向量。在基于bert模型对第二特征向量序列进行特征提取的过程中，也可以基于bert模型从第二特征向量序列中提取所包含信息量最大的向量作为第三特征向量；或者直接提取第二特征向量序列中设定位置的特征向量作为第三特征向量。例如，将第二特征向量序列中的第一个特征向量作为第三特征向量。
这里，分别基于神经网络模型、长短期记忆模型和第二预训练模型从第一特征向量序列和第二特征向量序列提取对应的特征向量，能够将字和词的特征进行融合，通过基于神经网络模型、长短期记忆模型和第二预训练模型对词进行特征信息提取，两种信息和多种模型的融合会提升分类时所需的信息量。
在其他可选的实施例中，基于第一特征向量、第二特征向量和第三特征向量，通过拼接处理得到目标特征向量，包括：
在第一特征向量的末端拼接所述第二特征向量，并在拼接后的第二特征向量的末端拼接第三特征向量，得到拼接后的特征向量；
对拼接后的特征向量进行降维处理，得到目标特征向量。
这里，可以基于concat()方法对第一特征向量、第二特征向量和第三特征向量进行拼接处理，得到拼接后的特征向量，基于concat()方法不会改变第一特征向量、第二特征向量和第三特征向量，而仅会返回被连接第一特征向量、第二特征向量和第三特征向量的一个副本，当拼接后的特征向量的维度较高时，则需要对拼接后的特征向量进行降维处理，以得到目标特征向量，其中，降维处理用于将高维数组压缩成低维数组。
例如，如果得到的第一特征向量为200维、第二特征向量为200维，第三特征向量为300维，则对第一特征向量、第二特征向量和第三特征向量直接按照设定顺序进行拼接后，得到的拼接后的特征向量则为700维，这里，可以在第一特征向量的末尾位置拼接第二特征向量，并在第二特征向量的末尾位置拼接第三特征向量，以得到拼接后的特征向量。在进行拼接处理之后，可以对拼接得到的特征向量进行降维处理，输出目标特征向量。这里，可以基于设定降维算法对拼接后的特征向量进行降维处理，设定降维算法包括以下至少之一：线性降维算法、主成分分析(principalcomponentanalysis，pca)算法、多维缩放(multipledimensionalscaling，mds)算法、线性判别分析(lineardiscriminantanalysis，lda)算法、局部线性嵌入(locallylinearembedding，lle)算法。
以基于线性降维算法对拼接后的特征向量进行线性降维为例，可以通过对拼接后的特征向量进行线性变换，将拼接后的特征向量映射到比拼接后的特征向量的维度低的维度空间中表示。例如，如果确定出拼接后的特征向量x为d维，则可以经过线性变换公式将d维的x进行降维得到d’维目标特征向量x’，其中，d’≤d，得到的目标特征向量x’中的特征是拼接后的特征向量x中特征的线性组合。线性变换公式为：
x’＝wtx(1)；
其中，w是变换矩阵，x是拼接后的特征向量，x’是目标特征向量，变换矩阵w可以看成是d’个d维基向量。
在其他可选的实施例中，第二语料数据所包含的词语具有词标识；基于第一预训练模型对第二语料数据进行处理，得到第二语料数据所对应的第一特征向量序列，包括：
确定第二语料数据包含的各词语的词标识；
基于各词语的词标识查询第一预训练模型的设定词向量映射表，从设定词向量映射表中确定各词语的特征向量，其中，设定词向量映射表包含有各词语的词标识与各特征向量之间的映射关系；
将确定的各词语的特征向量按照第一设定顺序进行排列，得到第一特征向量序列。
这里，在训练得到第一预训练模型之后，可以得到第一预训练模型的设定词向量映射表，该设定词向量映射表包含有各词语的词标识与各特征向量之间的映射关系。本公开实施例中，可以先确定出第二语料数据所包含的各词语的词标识，并基于各词语的词标识查询设定词向量映射表，进而确定出各词语的特征向量，其中，词标识可以是针对各个词语标注的编号。在确定出第二语料数据中各词语的特征向量之后，可以将各词语的特征向量按照第一设定顺序进行排列，得到第一特征向量序列，这里，第一设定顺序可以根据各词语在第二语料数据中的排列顺序确定。在第一预训练模型为fasttext模型时，则基于fasttext模型得到的第一特征向量序列中的特征向量为静态词向量，且该静态词向量是融合了上下文信息，对于局部的特征提取有比较好的效果。
在其他可选的实施例中，第一语料数据所包含的字符具有字标识；基于第二预训练模型对第一语料数据进行处理，得到第一语料数据所对应的第二特征向量序列，包括：
确定第一语料数据包含的各字符的字标识；
第二预训练模型对第一语料数据中各字符的上下文进行分析，得到分析结果；
基于分析结果以及字符的字标识，查询第二预训练模型的设定字向量映射表，从设定词向量映射表中确定各字符的特征向量，其中，设定字向量映射表包含有各字符的字标识与各特征向量之间的映射关系；
将确定的各字符的特征向量按照第二设定顺序进行排列，得到第二特征向量序列。
这里，在训练得到第二预训练模型之后，可以得到第二预训练模型的设定字向量映射表，该设定字向量映射表包含有各字符的字标识与各特征向量之间的映射关系。本公开实施例中，可以先基于第二预训练模型对第一语料数据中各字符的上下文进行分析，得到分析结果，并基于分析结果和各字符的字标识查询第二预训练模型的设定字向量映射表，从设定词向量映射表中确定各字符的特征向量。其中，各字符的上下文可以是指与各字符相邻的字符，例如，第m个字符的上文可以指第m-x个字符，下文可以指第m x个字符，其中，m和x分别为正整数。例如，当第一语料数据为“今天天气真好”，其中，“今”、“天”和“天”均为“气”的上文，“真”和“好”则为“气”的下文。
在确定出第一语料数据中各字符的特征向量之后，可以将各字符的特征向量按照第二设定顺序进行排列，得到第二特征向量序列，这里，第二设定顺序可以根据各字符在第一语料数据中的排列顺序确定。在第二预训练模型为bert模型时，则基于bert模型对第一语料数据中各字符的上下文进行分析，得到第一语料数据的语言环境，并根据第一语料数据的语言环境确定第一语料数据中各字符的真实语义，并根据各字符的真实语义确定对应的设定字向量映射表，并从对应的设定字向量映射表中确定与各字符对应的字向量。例如，如果第一语料数据为“这个苹果真好吃”，经过bert模型分析则可以确定出第一语料数据中的“苹果”是指水果。如果第一语料数据为“你的苹果手机好用吗”，经过bert模型分析则可以确定出第一语料数据中的“苹果”是指电子产品手机。这样，能够基于各字符的上下文信息，分别从设定字向量映射表中确定出对应的字向量，能够结合上下文的语言环境，确定各字符的真实语义，这样，确定出来的字向量更加精确。
在其他可选的实施例中，该方法还包括：
基于设定分类模型对目标特征向量进行分类处理，得到分类结果。
这里，可以基于设定分类器对目标特征向量进行分类，得到分类结果，其中，分类结果表征的是目标特征向量的真实语义，可以基于设定分类器输出多种可选的语义。以将目标特征向量输入设定分类器，并基于设定分类器输出了有三种可选的语义为例，则可以分别得到三种可选的语义的概率，并将概率最高的语义作为最终的分类结果。例如，如果输出第一语义的概率是0.2，输出第二语义的概率是0.5，输出第三语义的概率是0.3，则可以将第二语义作为与目标特征向量的真实语义，即得到的分类结果。
再例如，如果输入的目标特征向量表征的是“我和小红挺好的”，在将目标特征向量输入设定分类器之后，可以得到两种可选的语义，第一种语义是我和小红的关系好，第二种语义是我和小红的状况好，如果经过设定分类器输出第一种语义的概率是0.3，输出第二种语义的概率是0.7，由于第二种语义的概率高于第一种语义的概率，则可以将第二种语义确定为目标特征向量的真实语义，也就是说目标特征向量的真实语义是我和小红的状况好。这里，概率值可以基于softmax函数对设定分类器所输出的数值进行归一化处理得到。
这里，设定分类器可以是根据经过预处理的训练集(已预知类别的文档)学习建模构建出来的分类器，在实现的过程中，可以利用设定测试集文档按照设定测试方法对构建好的分类器进行性能测试，并不断反馈学习，以提高该分类器的性能。
图2是根据一示例性实施例示出的信息处理方法的流程图二，如图2所示，该方法包括以下步骤：
在步骤201中，确定中文语料数据。
这里，可以先预训练好多种bert模型，以供下载。例如，预先训练好针对不同语言的bert模型和不同模型大小的bert模型。
在步骤202中，数据准备。
这里，数据准备包括设置数据格式和编写输入格式类，例如，该输入格式类可包括：dataprocessor类。数据格式可以整理成：一行代表一个样本，每一行的每个样本可以包括标签、一个制符表和正文。编写dataprocessor类主要目的是利用程序将数据格式处理成标准的输入格式。
在步骤203中，加载预训练好的bert中文模型。
在步骤204中，编写运行脚本，并运行编写好的脚本。
在步骤205中，获得训练完成的文本分类模型。
这里，可以基于设定的验证集对bert模型的准确率进行验证，当准确率最高时，模型训练停止，获得训练完成的基于bert模型的文本分类模型。
图3是根据一示例性实施例示出的信息处理方法的流程图三，如图3所示，该方法包括以下步骤：
在步骤301中，确定第一语料数据。
这里，第一语料数据包括标注好的中文语料数据。
在步骤302中，对第一语料数据进行分词处理，得到基于词表示的第二语料数据。
这里，在不对第一语料数据进行分词的情况下，执行步骤306。
在步骤303中，加载fasttext模型，基于fasttext模型对第二语料数据所包含的词语进行词嵌入处理，得到第一特征向量序列。
在步骤304中，基于卷积神经网络对第一特征向量序列进行特征提取，得到第一特征向量。
在步骤305中，基于长短期记忆模型对第一特征向量序列进行特征提取，得到第二特征向量。
在步骤306中，基于bert模型对第一语料数据所包含的字符进行字嵌入处理，得到第二特征向量序列，并基于bert模型对第二特征向量序列进行特征提取，得到第三特征向量。
在步骤307中，基于concat()方法对第一特征向量、第二特征向量和第三特征向量进行拼接处理，得到拼接后的特征向量。
在步骤308中，对拼接后的特征向量进行降维处理，得到目标特征向量。
在步骤309中，基于设定分类模型对目标特征向量进行分类处理，得到分类结果。
相较于图2所对应的实施例中仅基于bert模型进行文本分类的技术方案，本公开实施例中，第一方面，能够将字和词的特征进行融合，通过基于cnn模型和lstm模型对词进行特征信息提取，基于bert模型对字进行特征信息提取，两种信息的融合会提升分类时所需的信息量。
第二方面，通过加载fasttex模型的词向量作为静态词向量，加载bert模型的字向量作为动态字向量，由于静态词向量是融合了上下文信息，是基于窗口的滑动提取特征，对于局部的特征提取非常有效果，而动态语言模型中的词向量会随着上下文语境不同而不同，本公开实施例中，通过充分融合动态词向量和静态词向量的特点，能够提高分类时所需信息的准确性和灵活性。
第三方面，能够将长序列的记忆信息和窗口式的局部信息进行融合，通过bert模型提取的信息是整个序列的全局信息，是上下文的推断信息，属于判别式模型，双向的lstm模型提取的是序列进行回归的记忆信息，是一个自回归模型，属于生成式模型。cnn模型提取的是的局部信息，因此模型融合了长序列的记忆信息和窗口式的局部信息。
本公开实施例中，融合了多元特征以及多种特征提取方法，使得分类时获取的信息更加丰富多样，模型的准确率和泛化效果会大幅提升。提供一种融合中文文本中的字和词的特征、动态语言模型和静态语言模型特征、长序列的记忆信息和窗口式的局部信息文本分类技术，提高文本分类的召回率和准确率。
图4是根据一示例性实施例示出的一种信息处理装置框图。如图4所示，该信息处理装置400主要包括：
第一处理模块401，配置为对第一语料数据进行分词处理，得到包含有至少一个词语的第二语料数据；
第二处理模块402，配置为基于第一预训练模型对第二语料数据所包含的所述至少一个词语进行处理，得到第二语料数据所对应的第一特征向量序列；
第三处理模块403，配置为基于第二预训练模型对第一语料数据所包含的字符进行处理，得到第一语料数据所对应的第二特征向量序列；
获取模块404，配置为基于第一特征向量序列和第二特征向量序列，得到目标特征向量。
在其他可选的实施例中，第一特征向量序列和第二特征向量序列分别包含有至少一个特征向量；获取模块404，还配置为：
基于卷积神经网络模型对第一特征向量序列进行处理，从第一特征向量序列中提取第一特征向量；
基于长短期记忆模型对第一特征向量序列进行处理，从第一特征向量序列中提取第二特征向量；
基于第二预训练模型对第二特征向量序列进行处理，从第二特征向量序列中提取第三特征向量；
基于第一特征向量、第二特征向量和第三特征向量，通过拼接处理得到目标特征向量。
在其他可选的实施例中，获取模块404，还配置为：
在第一特征向量的末端拼接所述第二特征向量，并在拼接后的第二特征向量的末端拼接第三特征向量，得到拼接后的特征向量；
对拼接后的特征向量进行降维处理，得到目标特征向量。
在其他可选的实施例中，第二处理模块402，还配置为：
确定第二语料数据包含的各词语的词标识；
基于各词语的词标识查询第一预训练模型的设定词向量映射表，从设定词向量映射表中确定各词语的特征向量，其中，设定词向量映射表包含有各词语的词标识与各特征向量之间的映射关系；
将确定的各词语的特征向量按照第一设定顺序进行排列，得到第一特征向量序列。
在其他可选的实施例中，第三处理模块403，还配置为：
确定第一语料数据包含的各字符的字标识；
第二预训练模型对第一语料数据中各字符的上下文进行分析，得到分析结果；
基于分析结果以及字符的字标识，查询第二预训练模型的设定字向量映射表，从设定词向量映射表中确定各字符的特征向量，其中，设定字向量映射表包含有各字符的字标识与各特征向量之间的映射关系；
将确定的各字符的特征向量按照第二设定顺序进行排列，得到第二特征向量序列。
在其他可选的实施例中，装置400还包括：
分类模块，配置为基于设定分类模型对目标特征向量进行分类处理，得到分类结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种信息处理装置500的硬件结构框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(i/o)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
电力组件506为装置500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(mic)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
i/o接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如wifi，2g或6g，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由信息处理装置的处理器执行时，使得信息处理装置能够执行一种信息处理方法，所述方法包括：
对第一语料数据进行分词处理，得到基于词表示的第二语料数据；
基于第一预训练模型对所述第二语料数据所包含的词语进行处理，得到所述第二语料数据所对应的第一特征向量序列；
基于第二预训练模型对所述第一语料数据所包含的字符进行处理，得到所述第一语料数据所对应的第二特征向量序列；
基于所述第一特征向量序列和所述第二特征向量序列，得到目标特征向量。
图6是根据一示例性实施例示出的一种信息处理装置1900的硬件结构框图二。例如，装置1900可以被提供为一服务器。参照图6，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如快应用程序。存储器1932中存储的快应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述信息处理方法，所述方法包括：
对第一语料数据进行分词处理，得到基于词表示的第二语料数据；
基于第一预训练模型对所述第二语料数据所包含的词语进行处理，得到所述第二语料数据所对应的第一特征向量序列；
基于第二预训练模型对所述第一语料数据所包含的字符进行处理，得到所述第一语料数据所对应的第二特征向量序列；
基于所述第一特征向量序列和所述第二特征向量序列，得到目标特征向量。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(i/o)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
1.一种信息处理方法，其特征在于，包括：
对第一语料数据进行分词处理，得到包含有至少一个词语的第二语料数据；
基于第一预训练模型对所述第二语料数据所包含的所述至少一个词语进行处理，得到所述第二语料数据所对应的第一特征向量序列；
基于第二预训练模型对所述第一语料数据所包含的字符进行处理，得到所述第一语料数据所对应的第二特征向量序列；
基于所述第一特征向量序列和所述第二特征向量序列，得到目标特征向量。
2.根据权利要求1所述的方法，其特征在于，所述第一特征向量序列和所述第二特征向量序列分别包含有至少一个特征向量；所述基于所述第一特征向量序列和所述第二特征向量序列，得到目标特征向量，包括：
基于卷积神经网络模型对所述第一特征向量序列进行处理，从所述第一特征向量序列中提取第一特征向量；
基于长短期记忆模型对所述第一特征向量序列进行处理，从所述第一特征向量序列中提取第二特征向量；
基于所述第二预训练模型对所述第二特征向量序列进行处理，从所述第二特征向量序列中提取第三特征向量；
基于所述第一特征向量、所述第二特征向量和所述第三特征向量，通过拼接处理得到目标特征向量。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征向量、所述第二特征向量和所述第三特征向量，通过拼接处理得到目标特征向量，包括：
在所述第一特征向量的末端拼接所述第二特征向量，并在拼接后的第二特征向量的末端拼接所述第三特征向量，得到拼接后的特征向量；
对所述拼接后的特征向量进行降维处理，得到所述目标特征向量。
4.根据权利要求1所述的方法，其特征在于，所述第二语料数据所包含的词语具有词标识；所述基于第一预训练模型对所述第二语料数据进行处理，得到所述第二语料数据所对应的第一特征向量序列，包括：
确定所述第二语料数据包含的各所述词语的词标识；
基于各所述词语的词标识查询所述第一预训练模型的设定词向量映射表，从所述设定词向量映射表中确定各所述词语的特征向量，其中，所述设定词向量映射表包含有各所述词语的词标识与各所述特征向量之间的映射关系；
将确定的各所述词语的特征向量按照第一设定顺序进行排列，得到所述第一特征向量序列。
5.根据权利要求1所述的方法，其特征在于，所述第一语料数据所包含的字符具有字标识；所述基于第二预训练模型对所述第一语料数据进行处理，得到所述第一语料数据所对应的第二特征向量序列，包括：
确定所述第一语料数据包含的各所述字符的字标识；
所述第二预训练模型对所述第一语料数据中各所述字符的上下文进行分析，得到分析结果；
基于所述分析结果以及所述字符的字标识，查询所述第二预训练模型的设定字向量映射表，从所述设定词向量映射表中确定各所述字符的特征向量，其中，所述设定字向量映射表包含有各所述字符的字标识与各所述特征向量之间的映射关系；
将确定的各所述字符的特征向量按照第二设定顺序进行排列，得到所述第二特征向量序列。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于设定分类模型对所述目标特征向量进行分类处理，得到分类结果。
7.一种信息处理装置，其特征在于，包括：
第一处理模块，配置为对第一语料数据进行分词处理，得到包含有至少一个词语的第二语料数据；
第二处理模块，配置为基于第一预训练模型对所述第二语料数据所包含的所述至少一个词语进行处理，得到所述第二语料数据所对应的第一特征向量序列；
第三处理模块，配置为基于第二预训练模型对所述第一语料数据所包含的字符进行处理，得到所述第一语料数据所对应的第二特征向量序列；
获取模块，配置为基于所述第一特征向量序列和所述第二特征向量序列，得到目标特征向量。
8.根据权利要求7所述的装置，其特征在于，所述第一特征向量序列和所述第二特征向量序列分别包含有至少一个特征向量；所述获取模块，还配置为：
基于卷积神经网络模型对所述第一特征向量序列进行处理，从所述第一特征向量序列中提取第一特征向量；
基于长短期记忆模型对所述第一特征向量序列进行处理，从所述第一特征向量序列中提取第二特征向量；
基于所述第二预训练模型对所述第二特征向量序列进行处理，从所述第二特征向量序列中提取第三特征向量；
基于所述第一特征向量、所述第二特征向量和所述第三特征向量，通过拼接处理得到目标特征向量。
9.根据权利要求8所述的装置，其特征在于，所述获取模块，还配置为：
在所述第一特征向量的末端拼接所述第二特征向量，并在拼接后的第二特征向量的末端拼接所述第三特征向量，得到拼接后的特征向量；
对所述拼接后的特征向量进行降维处理，得到所述目标特征向量。
10.根据权利要求7所述的装置，其特征在于，所述第二处理模块，还配置为：
确定所述第二语料数据包含的各所述词语的词标识；
基于各所述词语的词标识查询所述第一预训练模型的设定词向量映射表，从所述设定词向量映射表中确定各所述词语的特征向量，其中，所述设定词向量映射表包含有各所述词语的词标识与各所述特征向量之间的映射关系；
将确定的各所述词语的特征向量按照第一设定顺序进行排列，得到所述第一特征向量序列。
11.根据权利要求7所述的装置，其特征在于，所述第三处理模块，还配置为：
确定所述第一语料数据包含的各所述字符的字标识；
所述第二预训练模型对所述第一语料数据中各所述字符的上下文进行分析，得到分析结果；
基于所述分析结果以及所述字符的字标识，查询所述第二预训练模型的设定字向量映射表，从所述设定词向量映射表中确定各所述字符的特征向量，其中，所述设定字向量映射表包含有各所述字符的字标识与各所述特征向量之间的映射关系；
将确定的各所述字符的特征向量按照第二设定顺序进行排列，得到所述第二特征向量序列。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：
分类模块，配置为基于设定分类模型对所述目标特征向量进行分类处理，得到分类结果。
13.一种信息处理装置，其特征在于，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述权利要求1至6中任一种信息处理方法中的步骤。
14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由信息处理装置的处理器执行时，使得所述装置能够执行上述权利要求1至6中任一种信息处理方法。
技术总结