本申请涉及字符处理技术,特别是涉及一种手写体字符生成方法、装置、计算机设备和存储介质。
背景技术:
随着社会经济的发展和中国城镇化的推进,越来越多的人进入城市就业,越来越多的企业和金融机构诞生,对于企业和金融机构而言,每天都产生着大量的手写单据。
由于手写数据风格多样,人人不同,因此传统的后台录入统计,一般采用人工进行,不仅速度慢且效率低下。
因此,如何快速准确的完成对手写票据的识别、核对,同时减少人工成本,是急需解决的问题。特别是在智慧金融及人工智能相关政策的指引下,越来越多的企业和金融机构开始针对其进行相应的投入和研究。但是,基于手写数据风格多样,人人不同,导致样本数据采集困难、成本高,而样本数据的不足直接决定了智能识别的鲁棒性。
技术实现要素:
基于此,有必要针对上述手写体样本数据不足的问题,提供一种能够自动生成多种风格手写体数据的手写体字符生成方法、装置、计算机设备和存储介质。
为了实现上述目的,一方面,本申请实施例提供了一种手写体字符生成方法,所述方法包括:
获取初始手写体字符图像,其中,初始手写体字符图像中包括初始手写体的目标字符;
基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列;
采用粗糙路径理论对手写轨迹信息序列进行处理,得到描述初始手写体字符图像中手写轨迹信息的路径图像序列;
将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符图像。
在其中一个实施例中,基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列,包括:通过第二深度学习模型扫描初始手写体字符图像,生成与初始手写体的目标字符的笔画顺序对应的笔迹静态图像序列;对笔迹静态图像序列进行形态学图像处理,得到对应的手写轨迹信息序列。
在其中一个实施例中,对笔迹静态图像序列进行形态学图像处理,包括:对笔迹静态图像序列进行差分处理、形态学处理以及连通域处理。
在其中一个实施例中,采用粗糙路径理论对手写轨迹信息序列进行处理,包括:基于粗糙路径理论将手写轨迹信息序列转换为一组实数集合,以得到对应的路径签名;根据设定维数对路径签名进行降维处理,得到对应维数的截断签名,其中,截断签名是与设定维数对应的有限个实数构成的集合;根据初始手写体字符图像以及有限个实数分别对应的几何特征,生成一一对应的各签名图像,一一对应的各签名图像构成路径图像序列。
在其中一个实施例中,所述方法还包括:获取训练数据,其中,训练数据包括样本手写体字符图像和对应的样本目标手写体字符图像;基于样本手写体字符图像和对应的样本目标手写体字符图像,分别得到描述手写轨迹信息的样本路径图像序列和样本目标路径图像序列;将设定的随机参数序列、样本手写体字符图像和对应的样本路径图像序列输入初始对抗网络模型,得到样本手写体字符图像的预测手写体字符图像;根据设定的损失函数、预测手写体字符图像、样本目标手写体字符图像和对应的样本目标路径图像序列确定初始对抗网络模型的损失值;根据损失值训练初始对抗网络模型,得到第一深度学习模型。
在其中一个实施例中,在得到样本手写体字符图像的预测手写体字符图像之后,还包括:获取描述预测手写体字符图像中手写轨迹信息的预测路径图像序列;则根据设定的损失函数、预测手写体字符图像、样本目标手写体字符图像和对应的样本目标路径图像序列确定初始对抗网络模型的损失值,包括:根据预测手写体字符图像和样本目标手写体字符图像确定对应的第一损失;根据预测路径图像序列和样本目标路径图像序列确定对应的第二损失;基于第一损失和第二损失的和得到初始对抗网络模型的损失值。
在其中一个实施例中,基于样本手写体字符图像和对应的样本目标手写体字符图像,分别得到描述手写轨迹信息的样本路径图像序列和样本目标路径图像序列,包括:分别提取样本手写体字符图像的样本手写轨迹信息序列,以及对应的样本目标手写体字符图像的样本目标手写轨迹信息序列;采用粗糙路径理论对样本手写轨迹信息序列和样本目标手写轨迹信息序列进行处理,得到描述样本手写体字符图像中手写轨迹信息的样本路径图像序列,以及得到描述样本目标手写体字符图像中手写轨迹信息的样本目标路径图像序列。
另一方面,本申请实施例还提供了一种手写体字符生成装置,所述装置包括:
初始手写体字符图像获取模块,用于获取初始手写体字符图像,其中,初始手写体字符图像中包括初始手写体的目标字符;
手写轨迹信息序列提取模块,用于基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列;
粗糙路径处理模块,用于采用粗糙路径理论对手写轨迹信息序列进行处理,得到描述初始手写体字符图像中手写轨迹信息的路径图像序列;
字符生成模块,用于将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符图像。
又一方面,本申请实施例还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取初始手写体字符图像,其中,初始手写体字符图像中包括初始手写体的目标字符;
基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列;
采用粗糙路径理论对手写轨迹信息序列进行处理,得到描述初始手写体字符图像中手写轨迹信息的路径图像序列;
将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符。
再一方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取初始手写体字符图像,其中,初始手写体字符图像中包括初始手写体的目标字符;
基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列;
采用粗糙路径理论对手写轨迹信息序列进行处理,得到描述初始手写体字符图像中手写轨迹信息的路径图像序列;
将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符。
上述手写体字符生成方法、装置、计算机设备和存储介质,通过获取初始手写体字符图像,并基于初始手写体字符图像,提取初始手写体字符图像中初始手写体的目标字符的手写轨迹信息序列,采用粗糙路径理论对手写轨迹信息序列进行处理,以得到描述初始手写体字符图像中手写轨迹信息的路径图像序列,进而将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符,从而实现多种手写体风格数据的生成及扩充,解决了手写体数据不足的问题。
附图说明
图1为一个实施例中手写体字符生成方法的应用环境图;
图2为一个实施例中手写体字符生成方法的流程示意图;
图3为一个实施例中手写轨迹信息序列步骤的流程示意图;
图4a为一个实施例中初始手写体字符图像的示意图;
图4b为基于图4a得到的笔迹静态图像序列示意图;
图5为一个实施例中采用粗糙路径理论处理步骤的流程示意图;
图6为一个实施例中截断签名图像对应的轨迹示意图;
图7为一个实施例中2阶项阴影区域面积的示意图;
图8为另一个实施例中2阶项阴影区域面积的示意图;
图9为一个实施例中路径图像序列的示意图;
图10为一个实施例中生成的多种手写体风格的目标字符图像的示意图;
图11为一个实施例中模型训练步骤的流程示意图;
图12为一个实施例中手写体字符生成装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的手写体字符生成方法,可以应用于如图1所示的应用环境中。其中,终端102与服务器104通过网络进行通信,在本实施例中,终端102可以是各种具有图像采集功能的设备,如可以但不限于各种智能手机、平板电脑、相机和便携式图像采集设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。具体的,终端102用于采集初始手写体字符图像,并将采集的初始手写体字符图像通过网络发送至服务器104,当然初始手写体字符图像也可以预先存储在服务器104中。服务器104则基于初始手写体字符图像,提取初始手写体字符图像中初始手写体的目标字符的手写轨迹信息序列,并采用粗糙路径理论对手写轨迹信息序列进行处理,以得到描述初始手写体字符图像中手写轨迹信息的路径图像序列,进而将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符,从而实现多种手写体风格数据的生成及扩充,解决了手写体数据不足的问题。
在一个实施例中,如图2所示,提供了一种手写体字符生成方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取初始手写体字符图像。
其中,初始手写体字符图像为采集的任意字体的手写文本数据的图像,由于该图像为采集的种子图像,通过后续步骤可以基于该种子图像生成各种不同字体风格的目标图像。因此,在本实施例中,为了便于描述,定义采集的种子图像中文本数据的字体为初始手写体,其文本数据为目标字符,则初始手写体字符图像中包括初始手写体的目标字符。
步骤204,基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列。
具体的,在获取初始手写体字符图像后,则进一步依据初始手写体字符图像中目标字符的笔画顺序提取对应的笔迹静态图像,并将目标字符的笔迹静态图像转换成以点坐标描述的数据集合,以描述目标字符的笔画对应的手写轨迹。其中,手写轨迹信息序列则是依据目标字符的笔画顺序生成的每一笔画的叠加笔迹静态图像分别对应的数据集合所组成的序列,以描述目标字符的手写轨迹。
步骤206,采用粗糙路径理论对手写轨迹信息序列进行处理,得到描述初始手写体字符图像中手写轨迹信息的路径图像序列。
其中,粗糙路径理论的本质是通过计算路径签名(signatureofapath)来对路径的信息降维,并使用签名代替路径本身作为机器学习模型的输入特征。其中的“粗糙”,是指路径虽然连续,但处处剧烈波动。路径图像序列则是从手写轨迹信息序列中提取的字符轨迹特征。在本实施例中,通过粗糙路径理论对手写轨迹信息序列进行处理,从而提取出描述初始手写体字符图像中手写轨迹信息的字符轨迹特征。
步骤208,将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符图像。
其中,第一深度学习模型可以是对初始对抗网络(generativeadversarialnetworks,简称gan)模型进行训练后得到的。该第一深度学习模型可以根据输入的初始手写体字符图像以及对应的路径图像序列,并以初始手写体字符图像为种子图像,对其进行风格转换,从而生成多种不同手写体风格的目标字符图像。
上述手写体字符生成方法,通过获取初始手写体字符图像,并提取初始手写体字符图像中初始手写体的目标字符的手写轨迹信息序列,并采用粗糙路径理论对手写轨迹信息序列进行处理,以得到描述初始手写体字符图像中手写轨迹信息的路径图像序列,进而将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符,从而实现多种手写体风格数据的生成及扩充,解决了手写体数据不足的问题。
在一个实施例中,如图3所示,基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列,具体可以包括如下步骤:
步骤302,通过第二深度学习模型扫描初始手写体字符图像,生成与初始手写体的目标字符的笔画顺序对应的笔迹静态图像序列。
其中,第二深度学习模型可以是对对抗网络模型进行训练后得到的。该第二深度学习模型可以根据输入的初始手写体字符图像,对该初始手写体字符图像进行扫描,从而得到与初始手写体的目标字符的笔画顺序对应的笔迹静态图像,基于每一笔画的叠加笔迹静态图像组成对应目标字符的笔迹静态图像序列。例如,如图4a所示,其为初始手写体字符图像,图4b则是通过第二深度学习模型得到的初始手写体字符图像中目标字符每一笔画顺序叠加的笔迹静态图像序列,该序列中的每一个图像为叠加一个笔画后的笔迹静态图像。
步骤304,对笔迹静态图像序列进行形态学图像处理,得到对应的手写轨迹信息序列。
其中,形态学图像处理包括差分处理、形态学处理以及连通域处理。具体的,通过对上述笔迹静态图像序列中的每一个笔迹静态图像进行差分处理、形态学处理以及连通域处理,从而分别得到处理后的图像,进而将处理后的各图像转换成以点坐标描述的数据集合,以描述各笔画的手写轨迹,而处理后的各图像分别对应的数据集合则组成手写轨迹信息序列,以描述目标字符的手写轨迹。
具体的,上述第二深度学习模型是基于训练数据对对抗网络模型进行训练后得到的。其中,训练数据包括样本手写体字符图像,该图像为采集的任意字体的手写文本数据的图像,为了便于描述,定义该图像中的手写文本数据为样本字符。在本实施例中,基于样本手写体字符图像中样本字符的笔画顺序,构建每一笔画的叠加样本笔迹静态图像序列,并将样本手写体字符图像作为对抗网络模型的输入,将构建的样本笔迹静态图像序列作为对抗网络模型的输出,以训练对抗网络模型,使得对抗网络模型可以学习到样本字符各笔画的手写轨迹特征,从而得到第二深度学习模型,进而在对其输入初始手写体字符图像时,可以输出与初始手写体的目标字符对应的笔迹静态图像序列。
在一个实施例中,如图5所示,采用粗糙路径理论对手写轨迹信息序列进行处理,具体可以包括如下步骤:
步骤502,基于粗糙路径理论将手写轨迹信息序列转换为一组实数集合,以得到对应的路径签名。
由于在粗糙路径理论中,最核心的概念就是路径签名。这里的“签名”就是一个映射函数,它将原始路径信息转换成一组实数集合。集合中的每一个实数都是通过原始路径中的数据点以不同的方式计算而来,代表着原始路径的某一个几何特征。理论上,一个路径的签名是“无穷维”的,即实数集合中存在无限个实数。在本实施例中,则基于粗糙路径理论将手写轨迹信息序列转换为一组实数集合,即得到初始手写体字符图像中目标字符的路径签名。
步骤504,根据设定维数对路径签名进行降维处理,得到对应维数的截断签名。
由于上述得到的路径签名是无穷维的,而在实际使用中,通常只需要使用有限个维数的签名(即实数集合中的实数个数有限),这样的签名称为截断签名(truncatedsignature)。而使用截断签名来代替原始高维路径的数据信息便是对其进行降维。且数学上已经证明,粗糙路径的签名是唯一的,因此签名很好的反应了原始路径的信息。又由于高阶签名所包含的信息量按照阶数的阶乘衰减,这意味着高阶签名包含的信息较低阶签名来说可以忽略不计,也就是说,即便是使用低阶的截断签名,也可以预期它有效的保留了原始路径的信息。因此,原始的路径通常可以由对应的截断签名来表示。在本实施例中,则可以根据设定维数对上述路径签名进行降维处理,从而得到对应维数的截断签名,具体的,截断签名是与设定维数对应的有限个实数构成的集合。
步骤506,根据初始手写体字符图像以及有限个实数分别对应的几何特征,生成一一对应的各签名图像。
由于实数集合中的每一个实数都是通过原始路径中的数据点以不同的方式计算而来,代表着原始路径的某一个几何特征。因此,对于截断签名对应的实数集合,该实数集合中的每一个实数都代表着原始路径中的某一个几何特征,因此,基于该实数集合中各实数分别对应的几何特征,可以生成一一对应的签名图像,即一个实数对应的几何特征生成对应的一个签名图像。在本实施例中,一一对应的各签名图像构成路径图像序列。
举例来说,若上述设定维数为二维,则根据设定维数对路径签名进行降维处理后,得到对应的二维截断签名图像,对于图像中的每个像素点采用9x9的滑动窗口进行处理,分别得到7个截断路径签名值,其分别对应s(0),s(1),...s(2,2)7个值。在本实施例中,以二维截断签名图像的二维轨迹点为(1,1),(3,4),(5,2),(8,6)来说明,其对应的轨迹图如图6所示,则对应的二维截断签名s是由7个实数构成的集合,这7个实数的几何意义如下:
s(0)=1:签名的第一项恒为1,表示路径的0阶性质。
s(1)=7:为1阶项,表示路径在x轴上投影距离。
s(2)=5:为1阶项,表示路径在y轴上投影距离。
s(1,1)=(s(1))2/2=24.5:为2阶项,表示路径在x轴上投影距离的平方。
s(1,2)=19:为2阶项,如图7所示阴影区域面积。
s(2,1)=16:为2阶项,如图8所示阴影区域面积。
s(2,2)=(s(2))2/2=12.5:为2阶项,表示路径在y轴上投影距离的平方。
基于上述7个值并结合初始手写体字符图像,从而得到对应的7个签名图像,也即对应的路径图像序列(如图9所示,其中k=0为s(0)对应的签名图像,k=1为1阶项对应的签名图像,k=2为2阶项对应的签名图像),则该7个签名图像为描述初始手写体字符图像中手写轨迹信息的路径图像序列。进而将初始手写体字符图像以及上述对应的路径图像序列输入第一深度学习模型,从而生成多种手写体风格的目标字符图像(如图10所示)。
在一个实施例中,如图11所示,上述方法还包括如下步骤:
步骤1102,获取训练数据,训练数据包括样本手写体字符图像和对应的样本目标手写体字符图像。
具体的,训练数据是用于对初始对抗网络模型进行训练,则训练后的初始对抗网络模型为第一深度学习模型。在本实施例中,训练数据包括样本手写体字符图像和对应的样本目标手写体字符图像,其中,样本手写体字符图像中包括样本字符,样本目标手写体字符图像则可以是具有多种手写体风格的样本字符的样本目标图像,即手写轨迹发生变化,但仍为样本字符序列的图像。
步骤1104,基于样本手写体字符图像和对应的样本目标手写体字符图像,分别得到描述手写轨迹信息的样本路径图像序列和样本目标路径图像序列。
具体的,可以基于上述介绍的第二深度学习模型以及粗糙路径理论,由样本手写体字符图像得到描述手写轨迹信息的样本路径图像序列,并由样本目标手写体字符图像得到描述手写轨迹信息的样本目标路径图像序列,具体可参考图3及图5的方法,本实施例中不再赘述。
步骤1106,将设定的随机参数序列、样本手写体字符图像和对应的样本路径图像序列输入初始对抗网络模型,得到样本手写体字符图像的预测手写体字符图像。
其中,预测手写体字符图像是初始对抗网络模型的输出。在本实施例中,在对模型进行训练时,可以设定初始的随机参数序列,包括基础学习率、权重衰减率、学习策略等。基于设定的随机参数序列,将样本手写体字符图像和对应的样本路径图像序列作为初始对抗网络模型的输入,从而得到输出的预测手写体字符图像,且预测手写体字符图像同样为手写轨迹发生变化,但仍为样本字符序列的图像。基于该输出通过下述步骤计算初始对抗网络模型的损失值,以完成对初始对抗网络模型的训练。
步骤1108,根据设定的损失函数、预测手写体字符图像、样本目标手写体字符图像和对应的样本目标路径图像序列确定初始对抗网络模型的损失值。
其中,设定的损失函数包括根据预测手写体字符图像和样本目标手写体字符图像确定的第一损失,以及根据预测路径图像序列和样本目标路径图像序列确定的第二损失。则初始对抗网络模型的损失值是基于该第一损失和第二损失的和得到的。具体的,在得到样本手写体字符图像的预测手写体字符图像之后,则可以基于上述介绍的第二深度学习模型以及粗糙路径理论,得到描述预测手写体字符图像中手写轨迹信息的预测路径图像序列。
举例来说,若设样本手写体字符图像为i,其对应的样本路径图像序列为m(1,2,…,7),对应的样本目标手写体字符图像为l,样本目标路径图像序列为j(1,2,…,7),通过初始对抗网络模型得到的预测手写体字符图像为w,对应的预测路径图像序列为n(1,2,…,7),且各图像的高均为h,宽均为w,i、j则分别为图像中像素点的行、列坐标,则第一损失可通过如下式(1)计算得到:
第二损失可通过如下式(2)计算得到:
则初始对抗网络模型的损失值,也即损失函数的计算公式如下式(3)所示:
步骤1110,根据损失值训练初始对抗网络模型,得到第一深度学习模型。
具体的,根据上述计算得到的损失值调整初始对抗网络模型的随机参数序列,并重复上述步骤继续对初始对抗网络模型进行训练,直到损失值不再降低时,模型收敛,此时保存模型参数,以得到第一深度学习模型。
应该理解的是,虽然图1-11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-11中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图12所示,提供了一种手写体字符生成装置,包括:初始手写体字符图像获取模块1201、手写轨迹信息序列提取模块1202、粗糙路径处理模块1203和字符生成模块1204,其中:
初始手写体字符图像获取模块1201,用于获取初始手写体字符图像,其中,初始手写体字符图像中包括初始手写体的目标字符;
手写轨迹信息序列提取模块1202,用于基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列;
粗糙路径处理模块1203,用于采用粗糙路径理论对手写轨迹信息序列进行处理,得到描述初始手写体字符图像中手写轨迹信息的路径图像序列;
字符生成模块1204,用于将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符图像。
在一个实施例中,手写轨迹信息序列提取模块1202具体用于:通过第二深度学习模型扫描初始手写体字符图像,生成与初始手写体的目标字符的笔画顺序对应的笔迹静态图像序列;对笔迹静态图像序列进行形态学图像处理,得到对应的手写轨迹信息序列。
在一个实施例中,粗糙路径处理模块1203具体用于:基于粗糙路径理论将手写轨迹信息序列转换为一组实数集合,以得到对应的路径签名;根据设定维数对路径签名进行降维处理,得到对应维数的截断签名,其中,截断签名是与设定维数对应的有限个实数构成的集合;根据初始手写体字符图像以及有限个实数分别对应的几何特征,生成一一对应的各签名图像,一一对应的各签名图像构成路径图像序列。
在一个实施例中,还包括模型训练模块,用于获取训练数据,其中,训练数据包括样本手写体字符图像和对应的样本目标手写体字符图像;基于样本手写体字符图像和对应的样本目标手写体字符图像,分别得到描述手写轨迹信息的样本路径图像序列和样本目标路径图像序列;将设定的随机参数序列、样本手写体字符图像和对应的样本路径图像序列输入初始对抗网络模型,得到样本手写体字符图像的预测手写体字符图像;根据设定的损失函数、预测手写体字符图像、样本目标手写体字符图像和对应的样本目标路径图像序列确定初始对抗网络模型的损失值;根据损失值训练初始对抗网络模型,得到第一深度学习模型。
在一个实施例中,在得到样本手写体字符图像的预测手写体字符图像之后,上述模型训练模块还用于:获取描述预测手写体字符图像中手写轨迹信息的预测路径图像序列;根据预测手写体字符图像和样本目标手写体字符图像确定对应的第一损失;根据预测路径图像序列和样本目标路径图像序列确定对应的第二损失;基于第一损失和第二损失的和得到初始对抗网络模型的损失值。
关于手写体字符生成装置的具体限定可以参见上文中对于手写体字符生成方法的限定,在此不再赘述。上述手写体字符生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储初始手写体字符图像和生成的多种手写体风格的目标字符图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种手写体字符生成方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取初始手写体字符图像,其中,初始手写体字符图像中包括初始手写体的目标字符;
基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列;
采用粗糙路径理论对手写轨迹信息序列进行处理,得到描述初始手写体字符图像中手写轨迹信息的路径图像序列;
将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过第二深度学习模型扫描初始手写体字符图像,生成与初始手写体的目标字符的笔画顺序对应的笔迹静态图像序列;对笔迹静态图像序列进行形态学图像处理,得到对应的手写轨迹信息序列。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对笔迹静态图像序列进行差分处理、形态学处理以及连通域处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:基于粗糙路径理论将手写轨迹信息序列转换为一组实数集合,以得到对应的路径签名;根据设定维数对路径签名进行降维处理,得到对应维数的截断签名,其中,截断签名是与设定维数对应的有限个实数构成的集合;根据初始手写体字符图像以及有限个实数分别对应的几何特征,生成一一对应的各签名图像,一一对应的各签名图像构成路径图像序列。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取训练数据,其中,训练数据包括样本手写体字符图像和对应的样本目标手写体字符图像;基于样本手写体字符图像和对应的样本目标手写体字符图像,分别得到描述手写轨迹信息的样本路径图像序列和样本目标路径图像序列;将设定的随机参数序列、样本手写体字符图像和对应的样本路径图像序列输入初始对抗网络模型,得到样本手写体字符图像的预测手写体字符图像;根据设定的损失函数、预测手写体字符图像、样本目标手写体字符图像和对应的样本目标路径图像序列确定初始对抗网络模型的损失值;根据损失值训练初始对抗网络模型,得到第一深度学习模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在得到样本手写体字符图像的预测手写体字符图像之后,获取描述预测手写体字符图像中手写轨迹信息的预测路径图像序列;根据预测手写体字符图像和样本目标手写体字符图像确定对应的第一损失;根据预测路径图像序列和样本目标路径图像序列确定对应的第二损失;基于第一损失和第二损失的和得到初始对抗网络模型的损失值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:分别提取样本手写体字符图像的样本手写轨迹信息序列,以及对应的样本目标手写体字符图像的样本目标手写轨迹信息序列;采用粗糙路径理论对样本手写轨迹信息序列和样本目标手写轨迹信息序列进行处理,得到描述样本手写体字符图像中手写轨迹信息的样本路径图像序列,以及得到描述样本目标手写体字符图像中手写轨迹信息的样本目标路径图像序列。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取初始手写体字符图像,其中,初始手写体字符图像中包括初始手写体的目标字符;
基于初始手写体字符图像,提取初始手写体的目标字符的手写轨迹信息序列;
采用粗糙路径理论对手写轨迹信息序列进行处理,得到描述初始手写体字符图像中手写轨迹信息的路径图像序列;
将初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过第二深度学习模型扫描初始手写体字符图像,生成与初始手写体的目标字符的笔画顺序对应的笔迹静态图像序列;对笔迹静态图像序列进行形态学图像处理,得到对应的手写轨迹信息序列。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对笔迹静态图像序列进行差分处理、形态学处理以及连通域处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:基于粗糙路径理论将手写轨迹信息序列转换为一组实数集合,以得到对应的路径签名;根据设定维数对路径签名进行降维处理,得到对应维数的截断签名,其中,截断签名是与设定维数对应的有限个实数构成的集合;根据初始手写体字符图像以及有限个实数分别对应的几何特征,生成一一对应的各签名图像,一一对应的各签名图像构成路径图像序列。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取训练数据,其中,训练数据包括样本手写体字符图像和对应的样本目标手写体字符图像;基于样本手写体字符图像和对应的样本目标手写体字符图像,分别得到描述手写轨迹信息的样本路径图像序列和样本目标路径图像序列;将设定的随机参数序列、样本手写体字符图像和对应的样本路径图像序列输入初始对抗网络模型,得到样本手写体字符图像的预测手写体字符图像;根据设定的损失函数、预测手写体字符图像、样本目标手写体字符图像和对应的样本目标路径图像序列确定初始对抗网络模型的损失值;根据损失值训练初始对抗网络模型,得到第一深度学习模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在得到样本手写体字符图像的预测手写体字符图像之后,获取描述预测手写体字符图像中手写轨迹信息的预测路径图像序列;根据预测手写体字符图像和样本目标手写体字符图像确定对应的第一损失;根据预测路径图像序列和样本目标路径图像序列确定对应的第二损失;基于第一损失和第二损失的和得到初始对抗网络模型的损失值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:分别提取样本手写体字符图像的样本手写轨迹信息序列,以及对应的样本目标手写体字符图像的样本目标手写轨迹信息序列;采用粗糙路径理论对样本手写轨迹信息序列和样本目标手写轨迹信息序列进行处理,得到描述样本手写体字符图像中手写轨迹信息的样本路径图像序列,以及得到描述样本目标手写体字符图像中手写轨迹信息的样本目标路径图像序列。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
1.一种手写体字符生成方法,其特征在于,所述方法包括:
获取初始手写体字符图像,所述初始手写体字符图像中包括初始手写体的目标字符;
基于所述初始手写体字符图像,提取所述初始手写体的目标字符的手写轨迹信息序列;
采用粗糙路径理论对所述手写轨迹信息序列进行处理,得到描述所述初始手写体字符图像中手写轨迹信息的路径图像序列;
将所述初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符图像。
2.根据权利要求1所述的手写体字符生成方法,其特征在于,所述基于所述初始手写体字符图像,提取所述初始手写体的目标字符的手写轨迹信息序列,包括:
通过第二深度学习模型扫描所述初始手写体字符图像,生成与所述初始手写体的目标字符的笔画顺序对应的笔迹静态图像序列;
对所述笔迹静态图像序列进行形态学图像处理,得到对应的手写轨迹信息序列。
3.根据权利要求2所述的手写体字符生成方法,其特征在于,所述对所述笔迹静态图像序列进行形态学图像处理,包括:
对所述笔迹静态图像序列进行差分处理、形态学处理以及连通域处理。
4.根据权利要求1所述的手写体字符生成方法,其特征在于,所述采用粗糙路径理论对所述手写轨迹信息序列进行处理,包括:
基于所述粗糙路径理论将所述手写轨迹信息序列转换为一组实数集合,以得到对应的路径签名;
根据设定维数对所述路径签名进行降维处理,得到对应维数的截断签名,所述截断签名是与设定维数对应的有限个实数构成的集合;
根据所述初始手写体字符图像以及有限个实数分别对应的几何特征,生成一一对应的各签名图像,所述一一对应的各签名图像构成所述路径图像序列。
5.根据权利要求1至4任一项所述的手写体字符生成方法,其特征在于,所述方法还包括:
获取训练数据,所述训练数据包括样本手写体字符图像和对应的样本目标手写体字符图像;
基于所述样本手写体字符图像和对应的样本目标手写体字符图像,分别得到描述手写轨迹信息的样本路径图像序列和样本目标路径图像序列;
将设定的随机参数序列、所述样本手写体字符图像和对应的样本路径图像序列输入初始对抗网络模型,得到所述样本手写体字符图像的预测手写体字符图像;
根据设定的损失函数、所述预测手写体字符图像、所述样本目标手写体字符图像和对应的样本目标路径图像序列确定所述初始对抗网络模型的损失值;
根据所述损失值训练所述初始对抗网络模型,得到所述第一深度学习模型。
6.根据权利要求5所述的手写体字符生成方法,其特征在于,在所述得到所述样本手写体字符图像的预测手写体字符图像之后,还包括:
获取描述所述预测手写体字符图像中手写轨迹信息的预测路径图像序列;
则所述根据设定的损失函数、所述预测手写体字符图像、所述样本目标手写体字符图像和对应的样本目标路径图像序列确定所述初始对抗网络模型的损失值,包括:
根据所述预测手写体字符图像和所述样本目标手写体字符图像确定对应的第一损失;
根据所述预测路径图像序列和所述样本目标路径图像序列确定对应的第二损失;
基于所述第一损失和第二损失的和得到所述初始对抗网络模型的损失值。
7.根据权利要求5所述的手写体字符生成方法,其特征在于,所述基于所述样本手写体字符图像和对应的样本目标手写体字符图像,分别得到描述手写轨迹信息的样本路径图像序列和样本目标路径图像序列,包括:
分别提取所述样本手写体字符图像的样本手写轨迹信息序列,以及对应的样本目标手写体字符图像的样本目标手写轨迹信息序列;
采用粗糙路径理论对所述样本手写轨迹信息序列和所述样本目标手写轨迹信息序列进行处理,得到描述所述样本手写体字符图像中手写轨迹信息的样本路径图像序列,以及得到描述所述样本目标手写体字符图像中手写轨迹信息的样本目标路径图像序列。
8.一种手写体字符生成装置,其特征在于,所述装置包括:
初始手写体字符图像获取模块,用于获取初始手写体字符图像,所述初始手写体字符图像中包括初始手写体的目标字符;
手写轨迹信息序列提取模块,用于基于所述初始手写体字符图像,提取所述初始手写体的目标字符的手写轨迹信息序列;
粗糙路径处理模块,用于采用粗糙路径理论对所述手写轨迹信息序列进行处理,得到描述所述初始手写体字符图像中手写轨迹信息的路径图像序列;
字符生成模块,用于将所述初始手写体字符图像以及对应的路径图像序列输入第一深度学习模型,生成多种手写体风格的目标字符图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
技术总结