本发明主要涉及文字输入，具体为出土文献集外字的字库构建方法、检字输入法及编辑系统。
背景技术：
1、在数字化环境下，unicode(统一码)作为一种国际性字符编码方案，用于解决不同计算机系统和软件之间的字符编码混乱和兼容问题，确保文本信息具有一致性和互操作性，使数字化内容可在同一系统中得到较好的支持和处理。在最新unicode 15.1.0版本中，其主要更新几乎全部面向于中日韩统一表意文字(cjk unified ideographs)编码，一定程度上反映了当下汉字收录的迫切需求，而这部分未在unicode中声明字码点的汉字则被定义为“集外字”。与此同时，虽然unicode中汉字的编码范围正在持续扩展，但受限于技术实现、收录审查等一系列客观因素的影响，具有庞大体量的集外字处理问题在当下仍没有得到根本性的解决，这就为特定领域的专业交流和学术研究带来了相当的困扰和局限，并且这一矛盾突出地体现在集外字所大量存在的出土文献史料数字化历程之中。因此，相比于宏观层面的扩大收字量而言，解决出土文献中所蕴含的集外字问题，建立相应字库，则更加具有针对性与迫切性。
2、从先秦至魏晋时期的出土文献史料中包含了一定数量的未隶定字符，这部分集外字大多以原简文上的字形出现于相关校释材料。在一些数字化项目中，这部分字符以抠图的形式进行上传。而将这部分图片转化为字体的形式，则可以获得更加实用的功能与效果。
3、ocr(optical character recognition)是一种将图像中文本或字符转换为可编辑文本的技术。它通过扫描图像或文档，识别和解释图像中的字符，进而将其转换为计算机可识别和编辑的文本形式。然而，ocr技术建立在已有的字符集或字库基础上，采用ocr技术对集外字进行处理，将会使其转化为字形轮廓相似的其他字符，导致集外字的识别录入过程中出现无法规避的错误。因此，针对出土文献数字化，集外字内容无法直接编辑，需要引入关于集外字的处理方法。
4、检索效果是集外字处理方案中的一个重要的反馈标准。通过构建字库的目的在于使集外字获得同集内字相同的使用效果，而在检字方面，由于ids并不直接地参与到集外字的输入过程，因而对于集外字仍缺乏一种高效的字符录入方式，即在字库构建的同时，需要为集外字配备必要、有效且易于使用的检字输入法，以满足集外字在本地文档与数据库平台中的快速输入及检索需求。
5、拼音输入法是一类常见的汉字输入方式，具有高效快捷、易于掌握、使用群体广泛等特点。然而在出土文献集外字的输入过程中，拼音输入法的优势和适用性无法完全延续，其原因在于此类集外字在读音上具有不明确性，并且缺乏严谨而专业的界定。在这种情况下，由表意文字描述字符(ideographic description character，idc)和汉字或部件所组成的表意文字描述序列(ideographic description sequence，ids)能够更好地对集外字从结构层面进行描述。目前在unicode编码方案中u+2ffx区块共定义了16种描述字符，结合两个不在此区块内的描述字符，可对绝大部分已隶定的出土文献集外字进行描述，这些描述字符及其相关汉字示例如图1所示。
6、中华人民共和国文化和旅游部所发布的《汉文古籍集外字描述规范》制定了使用ids对汉字进行描述的基本准则，主要包括了使用原则、语法规则、扩展规则、汉字拆分规则与流程等几个方面。在图1中序号为前16的常用idc中大部分为二元操作符，即其后限定部件为两个；序号3、4为三元操作符，其后限定部件为三个。同时，ids支持嵌套机制，也就是说可根据汉字结构将任一ids合法嵌套入另一ids中，从而扩展了出土文献集外字描述法的适用性。
技术实现思路
1、本发明技术方案针对现有技术解决方案过于单一的技术问题，提供了显著不同于现有技术的解决方案，主要提供了出土文献集外字的字库构建方法、检字输入法及编辑系统，用以解决上述背景技术中提出的现有技术中不能在出土文献史料数字化历程中实现庞大体量的集外字内容的输入、显示、编辑以及检索的技术问题。
2、本发明解决上述技术问题采用的技术方案为：
3、一种出土文献集外字的字库构建方法，包括如下步骤：
4、s1、收集目前已经释读的出土文献史料以及相关参考材料中存在的集外字，集外字采用图片形式收集，集外字类型包括已隶定字、未隶定的原简文字；
5、s2、针对未隶定的原简文字图片，对其进行处理，转化为可直接使用的造字材料；
6、s3、将集外字图片根据其所属史料来源归类建档整理，作为造字依据，其中未隶定的原简文字图片为经过步骤s2处理后的图片；
7、s4、将步骤s3中归类建档整理后的集外字图片导入fontcreator，基于fontcreator软件对字形进行优化，并为集外字在unicode用户私用区内分配唯一的十六进制字码点作为声明标识，形成集外字字码点、字符与字形之间的一一对应关系；
8、s5、经由fontcreator软件导出，生成集外字gaiji.ttf文件，即完成出土文献集外字字库的构建，使用者下载安装后可在用户本地实现字库中集外字的使用。
9、进一步地，步骤s1中，集外字类型还包括部分字形无法识别的存疑字；步骤s1中还通过部首检索、idc汉字拆分进一步确定收集的集外字的属性，确认集外字未在当前unicode中声明字码点。
10、进一步地，步骤s2中，处理的具体步骤为：首先使用opencv读取已归类的图片字灰度版本，目的是为了减少计算复杂性，突出图片中字形关键结构，便于后续操作达到更好的效果；然后调用cv2.threshold()函数将灰度图像二值化，将其分为前景和背景，以便能够更好的分离字形对象；再进行膨胀操作，通过cv2.dilate()函数对二值化后的图像进行膨胀，有助于进一步优化图像信息，使字形对象更加完整，同时也利于消除图像中的小噪点；随后使用形态学操作中的开运算morph_open并通过cv2.morphologyex()函数去除图像中的噪声，提高对图片中字形处理和分析的准确性，得到位图格式图片；最后将图片转化为bmp格式，并使用potrace算法工具将位图格式图片转化为能够无限放缩的、灵活编辑的svg矢量格式图片。
11、进一步地，步骤s4中，基于宋体字体族文件字形，确定字库中集外字已隶定部分及存疑字部分的笔画结构、字形轮廓、字重、字型、字间距、行间距、字形特征、尺寸、变体等基础属性。
12、本发明还提供了一种出土文献集外字的检字输入法，其编码规则包括如下步骤：
13、a1、识别集外字结构；
14、a2、将集外字拆分为多个常用汉字或部件，集外字拆分遵从以下标准：其一，将集外字尽可能拆分为常用汉字或部件；其二，将集外字尽可能拆分为多个汉字或部件；
15、a3、将集外字拆分部分选用idc进行连接汉字或部件，构成符合语法规则的集外字ids；
16、a4、根据ids，顺次将idc表示为所定义的英文字母串，汉字或部件由拼音表示，形成字母串编码；
17、a5、收集目前已经释读的出土文献史料以及相关参考材料中存在的集外字，每个集外字均经过步骤a1-a4处理，汇总后形成集外字输入法用户词库；在集外字输入法用户词库中，集外字与根据其ids所形成的字母串编码建立对应关系；
18、a6、通过在常用的输入法软件中导入集外字输入法用户词库，在键盘上输入字母串编码就能打出相对应的集外字。
19、进一步地，步骤a4中，定义规则为：将位于u+2ffx区块的16个idc分别取其编码结尾的十进制阿拉伯数字拼音进行表示，将字码点为u+303e、u+31ef的描述符分别表示为“sanyi”和“yif”；集外字ids中汉字及部件取其拼音进行表示。
20、本发明还提供了一种出土文献集外字的编辑系统，编辑系统是配合字库来使用的，目的是使字库中内容得以可视化，使用者可更加方便地使用字库，管理集外字及其相关内容。集外字字库、检字输入法、编辑系统，都是相互独立而又相互依存的，字库是根基，而编辑系统和检字输入法服务于字库，并为字库提供必要的支持。
21、所述出土文献集外字的编辑系统包括：
22、存储模块，用以存储包含集外字字符、属性、字码点、备注信息以及编码；
23、筛选模块，用以筛选判别待选字是否为集外字，即在unicode中是否具备字码点；
24、输入模块，用以输入集外字及其关联字、编码或部分编码；
25、选择模块，用以选择集外字；
26、检索模块，用以显示集外字对应位置及其相关内容；
27、统计模块，用以统计集外字类型、数量、关联字；
28、处理模块，用以对集外字进行分类整理(对集外字的所属类型进行分类)。
29、进一步地，所述出土文献集外字的编辑系统还包括：
30、评价模块，用以对特殊集外字(特指高频集外字、在多部出土文献中重复出现的集外字、跟其他字具有一定关联的集外字)进行标记；
31、说明模块，提供关于常见汉字及部件释义、发音、示例等信息。
32、与现有技术相比，本发明的有益效果为：
33、(1)本发明提供了一种出土文献集外字的字库构建方法，其收集目前已经释读的出土文献史料以及相关参考材料中存在的集外字，并在unicode用户私用区内分配唯一的十六进制字码点作为声明标识，形成集外字字码点、字符与字形之间的一一对应关系，最终得到一种具有较好可移植性的出土文献集外字字库文件，不同使用者仅需在计算机设备中下载并进行安装文件即可达到共享的目的，使字库具备可移植性，同时保障文本在不同环境下的一致性显示和较好的排版效果，能够解决出土文献中集外字在电子文档及数据库平台的输入、显示的问题，可提高对集外字的利用效率。
34、(2)本发明提供的出土文献集外字的字库构建方法中针对未隶定的原简文字，通过图像处理技术，对图片字进行矢量化处理，可使字库获得更加可靠的录入方式与高质量的显示效果，同时在内容方面也能较大程度上保留出土文献的原始信息。相比于普通位图格式，经矢量化处理后图片中未隶定字字形不会出现失真或锯齿，也为后续字库构建等相关需求创造了便利的条件。
35、(3)本发明还提供了出土文献集外字的检字输入法，将集外字拆分为idc与汉字或部件相组合的形式，并将用以描述集外字的ids与拼音输入法相结合，最终转化为英文字母串形式进行表达，集外字与根据其ids所形成的字母串编码建立对应关系，采用以上可输入的英文字母串，使用者能在常见的输入法软件中将具体的集外字正常打出。同时，字母串继承了ids的逻辑性，掌握难度低，具有较好的可用性。实现为集外字配备必要、有效且易于使用的检字输入法，有利于解决出土文献中集外字在电子文档及数据库平台的输入、显示以及检索问题。
36、(4)本发明还提供了出土文献集外字的编辑系统，包括存储模块、筛选模块、选择模块、检索模块、统计模块、处理模块、评价模块、输入模块和说明模块，使用者可根据自身使用习惯对编辑系统做出调整，从而更加有效地处理出土文献集外字内容。编辑系统所整合的多模块功能，使用者可更加高效便捷地了解和利用出土文献中集外字内容，通过集外字可视化信息的梳理，提高了利用效率，同时降低对出土文献集外字字库的管理成本。
37、综上，本发明提供的出土文献集外字的字库构建方法、检字输入法及编辑系统，可以实现一种具有较好可移植性的出土文献集外字字库文件，配合集外字检字输入法，能够解决出土文献中集外字在电子文档及数据库平台的输入、显示以及检索问题，同时满足了对集外字的多种编辑需求，降低了对出土文献集外字字库的管理成本，提高了对集外字的利用效率。
38、以下将结合附图与具体的实施例对本发明进行详细的解释说明。
1.一种出土文献集外字的字库构建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的出土文献集外字的字库构建方法，其特征在于，步骤s1中，集外字类型还包括部分字形无法识别的存疑字；步骤s1中还通过部首检索、idc汉字拆分进一步确定收集字的集外字的属性，确认该字未在当前unicode中声明字码点。
3.根据权利要求1所述的出土文献集外字的字库构建方法，其特征在于，步骤s2中，处理的具体步骤为：首先使用opencv读取已归类的图片字灰度版本，目的是为了减少计算复杂性，突出图片中字形关键结构，便于后续操作达到更好的效果；然后调用cv2.threshold()函数将灰度图像二值化，将其分为前景和背景，以便能够更好的分离字形对象；再进行膨胀操作，通过cv2.dilate()函数对二值化后的图像进行膨胀，有助于进一步优化图像信息，使字形对象更加完整，同时也利于消除图像中的小噪点；随后使用形态学操作中的开运算morph_open并通过cv2.morphologyex()函数去除图像中的噪声，提高对图片中字形处理和分析的准确性，得到位图格式图片；最后将图片转化为bmp格式，并使用potrace算法工具将位图格式图片转化为能够无限放缩的、灵活编辑的svg矢量格式图片。
4.根据权利要求2所述的出土文献集外字的字库构建方法，其特征在于，步骤s4中，基于宋体字体族文件字形，确定字库中集外字已隶定部分及存疑字部分的笔画结构、字形轮廓、字重、字型、字间距、行间距、字形特征、尺寸、变体的基础属性。
5.一种出土文献集外字的检字输入法，其特征在于，所述出土文献集外字的检字输入法编码规则包括如下步骤：
6.根据权利要求5所述的出土文献集外字的检字输入法，其特征在于，步骤a4中，定义规则为：将位于u+2ffx区块的16个idc分别取其编码结尾的十进制阿拉伯数字拼音进行表示，将字码点为u+303e、u+31ef的描述符分别表示为“sanyi”和“yif”；集外字ids中汉字及部件取其拼音进行表示。
7.一种出土文献集外字的编辑系统，其特征在于，包括：
8.根据权利要求7所述的出土文献集外字的编辑系统，其特征在于，还包括：
