本发明涉及信息管理领域，具体是一种基于集约化平台的信息纠错或纠偏管理系统。
背景技术：
1、随着互联网的普及和大数据的涌现，人们面临着大量的文本信息，如新闻文章、社交媒体帖子，电子邮件等；然而，这些信息中常常存在拼写错误、语法错误、歧义等问题，影响了信息的准确性和可读性，集约化平台提供了一种高效的数据处理和分析框架，将大规模数据处理任务分解为多个子任务，提高了处理效率和性能；
2、如何对文本信息进行分词处理获得不同的文本信息片段，根据分词处理的结果获得非正常匹配失败文本信息子片段，对非正常匹配失败文本信息子片段进行改正，提高纠错的准确性和高效性，从而提高文本的质量和准确性，是我们需要解决的问题，为此，现提供一种基于集约化平台的信息纠错或纠偏管理系统。
技术实现思路
1、为了解决上述技术问题，本发明的目的在于提供一种基于集约化平台的信息纠错或纠偏管理系统。
2、本发明的目的可以通过以下技术方案实现：一种基于集约化平台的信息纠错或纠偏管理系统，包括管理中心，所述管理中心通信连接有信息采集模块、信息分词模块以及信息纠错模块；
3、所述信息采集模块用于对集约化平台内的文本信息进行采集；
4、所述信息分词模块用于对所采集的文本信息进行分词处理获得不同的文本信息片段；
5、所述信息纠错模块用于根据分词处理的结果获得文本信息中错误的文本信息片段并进行改正。
6、进一步的，所述信息采集模块对集约化平台内的文本信息进行采集的过程包括：
7、所述信息采集模块由若干个信息采集终端构成，对每个信息采集终端设置对应的通信通道，通过所设置的通信通道将信息采集终端与集约化平台进行连接，连接完成后，信息采集终端通过对应的通信通道获取集约化平台内的文本信息，并将所获取的集约化平台内的文本信息发送至信息分词模块。
8、进一步的，所述信息分词模块对所采集的文本信息进行分词处理的过程包括：
9、从网络中获取若干个中文文本信息，将所获取的中文文本信息进行组合获得语料库，对语料库进行预处理并对语料库中的词语进行词性标注；
10、将所采集的文本信息中的标点符号以及特殊符号去除，将去除标点符号以及特殊符号后的文本信息记为待分词文本信息，并对待分词文本信息进行复制，将所复制的待分词文本信息记为复制待分词文本信息，设置匹配窗口，并根据实际情况设置匹配窗口的大小；
11、根据所获得的语料库以及所设置的匹配窗口从左到右对待分词文本信息进行分词处理，根据所获得的语料库以及所设置的匹配窗口从右到左对复制待分词文本信息进行分词处理；
12、获取从左到右对待分词文本信息进行分词处理所切分出的词语的个数以及从右到左对复制待分词文本信息进行分词处理所切分出的词语的个数，
13、将所获取的从左到右所切分出的词语的个数与从右到左所切分出的词语的个数进行比较，根据比较结果获得最终分词处理的结果。
14、进一步的，对语料库进行预处理的过程包括：
15、将语料库中的标点符号以及特殊符号去除，获取语料库中每个词语的出现频率，根据实际情况设置词语的出现频率阈值，将出现频率低于所设置的出现频率阈值的词语删除。
16、进一步的，对语料库中的词语进行词性标注的过程包括：
17、根据词典构建词性标注模型，所述词性标注模型由若干个词性节点构成，每个词性节点中包含词典中对应词性的所有词语；
18、将语料库中的词语输入至词性标注模型，将语料库中的词语与各个词性节点中的词语进行比对，若比对结果相同，则词性标注模型输出对应的词性，根据词性标注模型所输出的词性对语料库中的词语进行词性标注。
19、进一步的，从左到右对待分词文本信息进行分词处理的过程包括：
20、从待分词文本信息的左端开始，通过匹配窗口获得与匹配窗口大小相同长度的文本信息片段，通过语料库查找与文本信息片段匹配的词语，若查找到匹配的词语，则将文本信息片段从待分词文本信息中切分出来，并记为匹配成功文本信息片段，将匹配窗口向右移动，若未查找到匹配的词语，则将匹配窗口向右移动一个字符，获取与匹配窗口大小相同长度的文本信息片段，通过语料库查找与文本信息片段匹配的词语，以此类推，直至查找到匹配的词语，将对应的文本信息片段从待分词文本信息中切分出来，记为匹配成功文本信息片段，并将匹配失败的文本信息片段从待分词文本信息中切分出来。
21、进一步的，所述信息纠错模块根据分词处理的结果获得文本信息中错误的文本信息片段的过程包括：
22、获取匹配失败的文本信息片段，每隔一个字符对匹配失败的文本信息片段切分一次，获得若干个切分完成的匹配失败的文本信息片段，记为匹配失败文本信息子片段；
23、若语料库中的词语中包含匹配失败文本信息子片段，则将匹配失败文本信息子片段记为正常匹配失败文本信息子片段，若语料库中的词语不包含匹配失败文本信息子片段，则将匹配失败文本信息子片段记为非正常匹配失败文本信息子片段。
24、进一步的，对所获得的错误的文本信息片段进行改正的过程包括：
25、将正常匹配失败文本信息子片段、非正常匹配失败文本信息子片段、匹配成功文本信息片段以及去除的标点符号和特殊符号进行组合，获得原始文本信息；
26、获取原始文本信息中非正常匹配失败文本信息子片段前方相邻的文本信息片段，若所获取的非正常匹配失败文本信息子片段前方相邻的文本信息片段为非正常匹配失败文本信息子片段，则将两个非正常匹配失败文本信息子片段进行合并，获取合并之后的文本信息子片段前方相邻的文本信息片段，若所获取的合并之后的文本信息子片段前方相邻的文本信息片段为非正常匹配失败文本信息子片段，则继续进行合并，直至合并之后的文本信息子片段前方相邻的文本信息片段为匹配成功文本信息片段或正常匹配失败文本信息子片段；
27、若合并之后的文本信息子片段前方相邻的文本信息片段为匹配成功文本信息片段，则获取匹配成功文本信息片段在语料库中对应的词语，若合并之后的文本信息子片段前方相邻的文本信息片段为正常匹配失败文本信息子片段，则获取正常匹配失败文本信息子片段在语料库中对应的词语，并获取对应的词语后方相邻的词语的出现次数以及词性；
28、获取原始文本信息中非正常匹配失败文本信息子片段后方相邻的文本信息片段，同上，直至合并之后的文本信息子片段后方相邻的文本信息片段为匹配成功文本信息片段或正常匹配失败文本信息子片段；
29、若合并之后的文本信息子片段后方相邻的文本信息片段为匹配成功文本信息片段，则获取匹配成功文本信息片段在语料库中对应的词语，若合并之后的文本信息子片段后方相邻的文本信息片段为正常匹配失败文本信息子片段，则获取正常匹配失败文本信息子片段在语料库中对应的词语，并获取对应的词语前方相邻的词语的出现次数以及词性；
30、根据所获取的对应的词语后方相邻的词语的出现次数以及词性和对应的词语前方相邻的词语的出现次数以及词性，选择对应的词语和非正常匹配失败文本信息子片段进行替换。
31、与现有技术相比，本发明的有益效果是：对集约化平台内的文本信息进行采集，对所采集的文本信息进行分词处理获得匹配成功文本信息片段以及匹配失败文本信息片段，根据分词处理的结果获得匹配失败文本信息片段中非正常匹配失败的文本信息子片段，根据非正常匹配失败文本信息子片段相邻的词语的词性以及词语的出现频率，对非正常匹配失败文本信息子片段进行改正，提高了纠错的准确性以及高效性，从而提高了文本的质量和准确性。
1.一种基于集约化平台的信息纠错或纠偏管理系统，包括管理中心，其特征在于，所述管理中心通信连接有信息采集模块、信息分词模块以及信息纠错模块；
2.根据权利要求1所述的一种基于集约化平台的信息纠错或纠偏管理系统，其特征在于，所述信息采集模块对集约化平台内的文本信息进行采集的过程包括：
3.根据权利要求2所述的一种基于集约化平台的信息纠错或纠偏管理系统，其特征在于，所述信息分词模块对所采集的文本信息进行分词处理的过程包括：
4.根据权利要求3所述的一种基于集约化平台的信息纠错或纠偏管理系统，其特征在于，对语料库进行预处理的过程包括：
5.根据权利要求3所述的一种基于集约化平台的信息纠错或纠偏管理系统，其特征在于，对语料库中的词语进行词性标注的过程包括：
6.根据权利要求3所述的一种基于集约化平台的信息纠错或纠偏管理系统，其特征在于，从左到右对待分词文本信息进行分词处理的过程包括：
7.根据权利要求3所述的一种基于集约化平台的信息纠错或纠偏管理系统，其特征在于，所述信息纠错模块根据分词处理的结果获得文本信息中错误的文本信息片段的过程包括：
8.根据权利要求7所述的一种基于集约化平台的信息纠错或纠偏管理系统，其特征在于，对所获得的错误的文本信息片段进行改正的过程包括：
