本公开涉及图像检索技术领域,具体而言,涉及一种基于图像检索的古文字考释方法和装置。
背景技术:
汉字是中华文明的标志,是与中华文明相辅相成的。古文字作为汉字发展的渊源,记录了中华文明的起源与发展。所以,研究好古文字对于研究中华文明有极其重要的影响,对于中国古代的经济、政治、文化等方面的发展有更加清晰的了解。而简牍古文字作为秦及先秦文字的重要表现形式,对其进行深入、细致、有效的研究就有着重大的意义。
简牍是对我国古代遗存下来的写有文字的竹简与木牍的概称。用竹片写的书称"简策",用木版(也作"板")写的叫"版牍"。超过100字的长文,就写在简策上,不到100字的短文,便写在木版上。"简"由竹或木加工而成,通常是削成长条形,将写字的一面磨光。简的宽度一般为0.5-1厘米,厚数毫米,长度根据需要而定,在汉代有3尺、2.4尺、1.2尺、0.8尺(以上均汉尺)等。每枚简上书写一行字。也有少数简加宽约一倍,书写两行,径称为"两行"。很多枚简用麻绳或丝绳编连起来,叫做"册"。一般编2-5道,也有个别编1道的,通常视简的长度而定,大多数是先编后写。"牍"多为木质,与简不同之处是加宽好几倍,有的宽到6厘米左右,个别的达15厘米以上,呈长方形,故又叫做"方"或"版"。牍多用来书写契约、医方、历谱、过所(通行证)、书信等。书信多用1尺(汉尺)的牍,所以人们常将书信称为"尺牍"。
古文字指的是古代的文字。在中国则特指秦以前留传下来的篆文体系的文字,如甲骨文和金文还有蝌蚪文。古文字在历史中经历了长时间的演变,是中华民族智慧的结晶。而简牍古文字主要分为两个时期:先秦简牍,多用古文、篆文;秦始皇统一中国后,通行隶书,字体变圆为方,于是公文、信函多用隶书。
由于简牍古文字具有定性化、非结构化、隐蔽性和语义不确定性等特点,简牍古文字考释的过程中仍存在很多难点,虽然这些难点可以被人工考释的过程逐一解决,但却会花费大量的时间,使研究人员的考释效率降低。首先,研究人员在研究一个新的简牍文字时往往要翻阅很多简牍文字,从而理解当前文字。但是在翻阅的过程中,研究人员将花费大量的时间查找相关资料,并进行分析和决断,这将大大降低研究者的工作效率。同时,在逐个对文字进行考释的过程当中,由于工作量太大,出现考释结果的错误是不可避免的。
技术实现要素:
为了解决现有技术中的技术问题,本公开实施例提供了一种基于图像检索的古文字考释方法和装置,该方法将应用基于深度学习的图像检索方法,主要是将深度学习方法应用在简牍古文字图像检索中的特征提取模块,利用卷积神经网络提取简牍古文字图片特征。主要步骤即给定一张简牍古文字图片,通过卷积神经网络对简牍古文字图片进行特征提取得到表征简牍古文字图片的特征,利用度量学习方法如欧式距离对简牍古文字特征进行计算距离,根据距离对简牍古文字之间的相似性进行排序,得到最终的检索结果。具有检索的快捷性以及考释的精准性与易用性。
第一方面,本公开实施例提供了一种基于图像检索的古文字考释方法,包括以下步骤:获取古文字图像;对图像中的古文字特征进行提取;将提取的所述古文字特征与本地端预存的古文字特征数据库进行匹配;查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作。
在其中一个实施例中,所述获取古文字图像包括:通过结构化分析摄像机正面拍摄的方式获取古文字图像。
在其中一个实施例中,还包括:获取至少一件古文字图像集合为古文字图像数据集,并对所述古文字图像数据集完成分类标签、古文字和简体文字对应操作。
在其中一个实施例中,还包括:对所述古文字图像数据集中的图像进行预处理操作,并通过图像增广扩充所述古文字图像数据集。
在其中一个实施例中,所述对图像中的古文字特征进行提取包括:通过深度卷积神经网络模型对预处理与图像增广后的古文字图像数据集进行特征提取,并获取对应古文字图像的哈希编码。
在其中一个实施例中,还包括:对提取的古文字特征通过分类器分类,以完成不同时间的文字形体的识别操作。
在其中一个实施例中,还包括:通过人工设计特征,使用模板匹配的方法进行辅助训练操作,以完成对分类器的分类结果再次分类操作。
在其中一个实施例中,所述查询出满足预设匹配阈值的古文字所对应的简体字完成考释操作包括:根据获取对应古文字图像数据集的哈希编码查找存储在本地端的古文字特征数据库中古文字图像对应的哈希编码;根据汉明距离,按照从小到大的顺序进行相似性排序。
在其中一个实施例中,还包括:对考释完成后的简体字在本地端的显示屏上进行显示。
第二方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的方法的步骤。
第三方面,本公开实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的方法的步骤。
第四方面,本公开实施例提供了一种基于图像检索的古文字考释装置,所述装置包括:获取模块,用于获取古文字图像;提取模块,用于对图像中的古文字特征进行提取;匹配模块,用于将提取的所述古文字特征与本地端预存的古文字特征数据库进行匹配;考释模块,用于查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作。
本发明提供的一种基于图像检索的古文字考释方法和装置,获取古文字图像;对图像中的古文字特征进行提取;将提取的所述古文字特征与本地端预存的古文字特征数据库进行匹配;查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作。该方法将应用基于深度学习的图像检索方法,主要是将深度学习方法应用在简牍古文字图像检索中的特征提取中,利用卷积神经网络提取简牍古文字图片特征,利用度量学习方法如欧式距离对简牍古文字特征进行计算距离,对简牍古文字之间的距离进行排序,得到最终的检索结果。具有检索的快捷性以及考释的精准性与易用性。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面对实施例描述中所需要使用的附图作简单地介绍:
图1为本发明一个实施例中的一种基于图像检索的古文字考释方法的步骤流程示意图;
图2(a)为本发明一个实施例中的一种基于图像检索的古文字考释方法中古文字图像的示例示意图;
图2(b)为本发明一个实施例中的一种基于图像检索的古文字考释方法的示例示意图;
图3为本发明一个实施例中的一种基于图像检索的古文字考释装置的结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中,术语“第一”、“第二”仅为用于描述的目的,而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例,不同实施例之间可以替换或者合并组合,因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而,如果一个实施例包含特征a、b、c,另一个实施例包含特征b、d,那么本申请也应视为包括含有a、b、c、d的一个或多个所有其他可能的组合的实施例,尽管该实施例可能并未在以下内容中有明确的文字记载。
为了使本发明的目的、技术方案及优点更加清楚明白,以下通过实施例,并结合附图,对本发明一种基于图像检索的古文字考释方法和装置的具体实施方式进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
首先,需要说明的是,本公开涉及的方法首先获取拍摄的包含古文字的图像,然后分别提取所述图像中各古文字的特征,再提取的各古文字的特征逐个与移动通信终端预存的古文字的特征进行匹配,分别查找出匹配程度在预设阈值内的古文字,最后根据移动通信终端预存的古文字与简体字对应关系,查找出与匹配程度在预设阈值内的古文字对应的各简体字,上述各简体字在用户移动通信终端上进行显示。通过该方法,现实场景中的旅游人员只需要携带安装了本系统的移动通信终端,就可以认识名胜古迹中的古文字,了解古文字要的表达的内容,增加了旅游乐趣。由此,该方法具有普适性强的有益效果,即在对简牍古文字的考释过程中都可以应用本发明,普适性强,应用简便,辅助人工识别,提高工作效率;且还具有降低人工成本的有益效果,即作为辅助识别考释方法,尤其应用在大量新出土的简牍古文字进行考释的情况下,减轻人工识别的工作量,降低人工成本;再次具有提高准确率的有益效果,针对在识别过程中简牍古文字会出现相似相近,依赖于书写者风格等情况,先由本发明进行简牍古文字图像特征提取,再计算其与数据库中的简牍古文字的相似度,最终给出多种可能的选项供研究人员选择和考释。从而在一定程度上降低了研究人员对简牍古文字漏判错判的可能性;最后还可以提高古文字的考释效率:本公开所涉及的方法可以为研究人员快速提供多种可能的简牍古文字考试结果,这减去大量的查找资料的时间,大大提高了考释效率。
如图1所示,为一个实施例中的一种基于图像检索的古文字考释方法的流程示意图,具体包括以下步骤:
步骤102,获取古文字图像。
具体的,获取古文字图像包括:通过结构化分析摄像机正面拍摄的方式获取古文字图像。由此,提高了获取古文字图像的精准性与清晰性。
此外,还需要说明的是,获取至少一件古文字图像集合为古文字图像数据集,并对所述古文字图像数据集完成分类标签、古文字和简体文字对应操作。由此,解决了对古文字考释人工成本高的现象,即目前的对于简牍古文字的识别主要以人工识别为主。尤其,当对大量新出土的简牍古文字进行考释时,人工成本较高。进一步地,还需要说明的是,获取至少一件古文字图像集合时,需要预先建立基于上述所提及的古文字图像数据库。其中,预先建立的基于上述所提及的古文字图像数据库的步骤为:获取该古文字图像数据,对该古文字图像进行清洗、错误数据筛除、图像裁剪等数据预处理的工作,根据该古文字图像质量,判断是否需要进行数据二值化或者灰度化处理;根据该种古文字的文字特性,标注不同古文字需要的基本信息。其中,基本信息包括数据来源、文字具体位置、文字书写时期、对应的简体字等等。因为简牍古文字、字帖、碑帖等的数据来源和古文字特性是不同的,所以需要标注时需要根据古文字种类来具体定义标注格式。例如,对于简牍古文字,因为古文字图像大多来源于竹简,所以需要标注这是来自哪一个竹简集合哪一根竹简以及具体的文字位置,而对于碑帖则需要标注是来自的碑帖出处以及文字位置。添加该种古文字图像的语义信息或者语料库。对于该张古文字图像,可以在数据库中检索出上下文信息和文字出处。基于该的古文字图像数据和标注信息,建立该种古文字数据库。
更进一步地,本公开涉及的基于图像检索的古文字考释方法还包括:对所述古文字图像数据集中的图像进行预处理操作,并通过图像增广扩充所述古文字图像数据集。
步骤104,对图像中的古文字特征进行提取。具体的,对图像中的古文字特征进行提取包括:通过深度卷积神经网络模型对预处理与图像增广后的古文字图像数据集进行特征提取,并获取对应古文字图像数据集的哈希编码。其中,需要说明的是,除了基于深度卷积神经网络的特征提取方法外,还可以采用传统的sift,即尺度不变特征变换和hog,即方向梯度直方图来提取特征。由此,提高了特征提取的多样性与灵活性,且更进一步地为考释的准确率提供了技术支持,即在识别过程中简牍古文字会出现相似相近,依赖于书写者风格等情况,这对于人工识别带来了极大的困难,导致人工识别容易误判,准确率较低,且人工识别需要查阅很多相关资料,人工的查找耗费了大量的人力资源,对于大量的简牍古文字的考释效率很低。
此外,本公开涉及的基于图像检索的古文字考释方法还包括:对提取的古文字特征通过分类器分类,以完成不同时间的文字形体的识别操作。其中,需要说明的是,除了使用基于深度学习的softmax层进行分类外,也可以使用传统的方法的svm,即支持向量机进行分类。由此,提高了分类的多样性、灵活性、准确性与易用性。此外,还包括:通过人工设计特征,使用模板匹配的方法进行辅助训练操作,以完成对分类器的分类结果再次分类操作。
步骤106,将提取的古文字特征与本地端预存的古文字特征数据库进行匹配。
步骤108,查询出满足预设匹配阈值的古文字所以及对应的简体字完成考释操作。
具体的,查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作包括:根据获取对应古文字图像数据集的哈希编码查找存储在本地端的古文字特征数据库中古文字图像对应的哈希编码;根据汉明距离,按照从小到大的顺序进行相似性排序。
此外,在一个实施例中,还包括:对考释完成后的简体字在本地端的显示屏上进行显示。由此,提高了对考释后的简体字显示的灵活性与易用性。
为了更加清晰与准确地理解与应用本公开提出的基于图像检索的古文字考释方法,进行以下示例。需要说明的是,本公开所保护的范围不限于以下示例。
结合图2(a)-(b)所示,图2(a)为以战国竹简为基础的部分考释的简牍古文字图像。图2(b)为待考释的古文字和检索出的考释的相似古文字图像及文字信息。
具体的,获取简牍古文字正面清晰的照片作为系统的输入;提取简牍古文字图片的特征,并得到对应的哈希编码,便于进行特征比对;将得到的哈希编码与数据库中所有的简牍古文字图像对应的哈希编码进行对比,并根据汉明距离,然后按从小到大的顺序进行相似性排序;对部分相似性排名靠前的图片输入检索结果输出模块得到最终的检索结果。
需要说明的是,建立简牍古文字数据库具体包括:根据数据库标准等设计古文字数据库结构。如每个简牍有自己的出土地点、出土年份、作者等。同时,按照古文字调查数据文件命名规则、空间数据分层要求和属性数据库结构,建立空间数据库和属性数据库,形成标准的数据交换文件、数据字典和元数据文件。并定期检查库体结构和内容的完整性,图形分层的正确性,层间和层内图形拓扑关系的正确性、属性内容的正确性、图形和属性的逻辑一致性、数据字典和元数据描述的正确性等,并出具验收报告。从而保证在数据训练过程中的完整性,准确性和一致性。
进一步地,提取简牍古文字图像的特征具体包括:首先,对简牍古文字数据库中的图片逐一进行特征提取,并将其以图片文件名和图片特征一一对应的方式添加到特征库中。随后,我们需要获取特征对应的哈希编码。这个过程分成为两个子阶段,在对特征进行编码之前需要有哈希函数集,而哈希函数集则通过哈希函数学习阶段而得到,因此这两个子阶段分别为哈希函数学习阶段和正式的哈希编码阶段。在哈希函数学习阶段,在数据库上对构造的哈希函数集进行训练学习;正式的哈希编码阶段时,分别将每张简牍古文字图像原来的特征代入到学习得到的哈希函数集中,从而得到相应的哈希编码。
更进一步地,将得到的哈希编码与数据库中所有的简牍古文字图像对应的哈希编码进行对比包括:对于给定的查询简牍古文字图像,逐一计算查询图像对应的哈希编码到其他各个哈希编码之间的汉明距离,然后按从小到大的顺序进行相似性排序。
最终,对部分相似性排名靠前的图片输入检索结果输出模块得到最终的检索结果包括:根据特征对比模块得到的相似性排序结果,对部分排名靠前的图片进行重排。根据先前特征提取模块的特征图,在重排的时候采用欧式距离作为相似性度量得到重排后的结果,从而实现对检索结果的细排序过程,并最终输出重排后的检索结果。
综上所述,建立简牍古文字数据库,即根据战国竹简等现有简牍古文字图片资料建立简牍古文字数据库;再次进行简牍古文字特征提取,即对数据库中所有简牍古文字图像和输入的简牍古文字都通过深度神经网络进行特征提取;再次进行特征比对,即比对输入的简牍古文字的图像与所有数据库图像的特征,并进行相似性排序;最终对检索结果进行输出,即根据特征对比的结果,进行再一次的重排整合处理,并最终给出输出结果。该方法能够提高简牍古文字研究人员工作效率,并提升他们考释简牍古文字考识别准确率的智能辅助系统及其控制方法。且通过应用基于深度学习的图像检索算法,实现了对简牍古文字图片的特征提取和特征比对的功能。
此外,还需要说明的是,基于图像检索的古文字考释方法还包括以下具体操作,即获取古文字图像数据集并制作分类标签;对图像数据集中的图像进行预处理,并通过图像增广扩充数据集;通过深度神经网络对预处理与图像增广后的图像数据集进行特征提取,并对提取的特征通过分类器分类,以实现不同时间的文字形体的识别;利用人工设计特征,使用模板匹配的方法进行辅助训练,以对分类器的分类结果进一步分类。由此,能够根据改进的深度卷积神经网络模型更加精确的实现正确分类,并借助传统人工设计特征进行辅助训练,进一步提高分类准确率,为具有古文字识别需求的用户群提供更好的体验。
本发明提供的一种基于图像检索的古文字考释方法,获取古文字图像;对图像中的古文字特征进行提取;将提取的所述古文字特征与本地端预存的古文字特征数据库进行匹配;查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作。该方法将应用基于深度学习的图像检索方法,主要是将深度学习方法应用在简牍古文字图像检索中的特征提取中,利用卷积神经网络提取简牍古文字图片特征,利用度量学习方法如欧式距离对简牍古文字特征进行计算距离,对简牍古文字之间的距离进行排序,得到最终的检索结果。具有检索的快捷性以及考释的精准性与易用性。
基于同一发明构思,还提供了一种基于图像检索的古文字考释装置。由于此装置解决问题的原理与前述一种基于图像检索的古文字考释方法相似,因此,该装置的实施可以按照前述方法的具体步骤实现,重复之处不再赘述。
如图3所示,为一个实施例中的一种基于图像检索的古文字考释装置的结构示意图。该基于图像检索的古文字考释装置10包括:获取模块200、提取模块400、匹配模块600和考释模块800。
其中,获取模块200用于获取古文字图像;提取模块400用于对图像中的古文字特征进行提取;匹配模块600用于将提取的所述古文字特征与本地端预存的古文字特征数据库进行匹配;考释模块800用于查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作。
本发明提供的一种基于图像检索的古文字考释装置,首先通过获取模块获取古文字图像;再次通过提取模块对图像中的古文字特征进行提取;再次通过匹配模块将提取的所述古文字特征与本地端预存的古文字特征数据库进行匹配;最终通过考释模块查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作。该装置将应用基于深度学习的图像检索方法,主要是将深度学习方法应用在简牍古文字图像检索以及特征提取中,利用卷积神经网络提取简牍古文字图片特征,利用度量学习方法如欧式距离对简牍古文字特征进行计算距离,对简牍古文字之间的距离进行排序,得到最终的检索结果。具有检索的快捷性以及考释的精准性与易用性。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被图1中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时,使得计算机执行上述图1的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,例如“a、b或c的至少一个”的列举意味着a或b或c,或ab或ac或bc,或abc(即a和b和c)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
为了示例和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
1.一种基于图像检索的古文字考释方法,其特征在于,包括以下步骤:
获取古文字图像;
对图像中的古文字特征进行提取;
将提取的所述古文字特征与本地端预存的古文字特征数据库进行匹配;
查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作。
2.根据权利要求1所述的基于图像检索的古文字考释方法,其特征在于,所述获取古文字图像包括:通过结构化分析摄像机正面拍摄的方式获取古文字图像。
3.根据权利要求2所述的基于图像检索的古文字考释方法,其特征在于,还包括:获取至少一件古文字图像集合为古文字图像数据集,并对所述古文字图像数据集完成分类标签、古文字和简体文字对应操作。
4.根据权利要求3所述的基于图像检索的古文字考释方法,其特征在于,还包括:对所述古文字图像数据集中的图像进行预处理操作,并通过图像增广扩充所述古文字图像数据集。
5.根据权利要求1所述的基于图像检索的古文字考释方法,其特征在于,所述对图像中的古文字特征进行提取包括:通过深度卷积神经网络模型对预处理与图像增广后的古文字图像数据集进行特征提取,并获取对应古文字图像的哈希编码。
6.根据权利要求5所述的基于图像检索的古文字考释方法,其特征在于,还包括:对提取的古文字特征通过分类器分类,以完成不同时间的文字形体的识别操作。
7.根据权利要求6所述的基于图像检索的古文字考释方法,其特征在于,还包括:通过人工设计特征,使用模板匹配的方法进行辅助训练操作,以完成对分类器的分类结果再次分类操作。
8.根据权利要求1所述的基于图像检索的古文字考释方法,其特征在于,所述查询出满足预设匹配阈值的古文字所对应的简体字完成考释操作包括:根据获取对应古文字图像数据集的哈希编码查找存储在本地端的古文字特征数据库中古文字图像对应的哈希编码;
根据汉明距离,按照从小到大的顺序进行相似性排序。
9.根据权利要求1所述的基于图像检索的古文字考释方法,其特征在于,还包括:对考释完成后的简体字在本地端的显示屏上进行显示。
10.一种基于图像检索的古文字考释装置,其特征在于,所述装置包括:
获取模块,用于获取古文字图像;
提取模块,用于对图像中的古文字特征进行提取;
匹配模块,用于将提取的所述古文字特征与本地端预存的古文字特征数据库进行匹配;
考释模块,用于查询出满足预设匹配阈值的古文字以及所对应的简体字完成考释操作。
技术总结