本发明属于图像处理方法技术领域，具体涉及一种基于多辨别器对抗网络的碑帖二值化背景噪声去除方法。
背景技术：
中国书法不仅承载宝贵的历史信息，更是一件珍贵的艺术品，具有上千年的历史文化背景，而且还推动了现代信息系统中的字体设计。在现代信息系统中，可以从中国书法中学习到丰富的知识，以便在出版、广告甚至计算机的基本人机交互中美化字体和艺术品。但是随着时间的流逝以及人为的破坏，一些书法碑文图像难免出现破损，从图像上体现出来就是大大小小分布不均匀的噪声块。这些噪声块影响了书法碑帖图像数字化后的美观度，同时严重阻碍了人们对其后续的保存与研究。
鉴于以上原因，如何在去除图像背景噪声的同时保护字体结构不受破坏是当前主要问题。
技术实现要素：
本发明的目的是提供一种基于多辨别器对抗网络的碑帖二值化背景噪声去除方法，解决了碑帖图像在数字化过程中因为背景噪声的出现而导致的图像美观度下降、后续研究准确率降低的问题。
本发明所采用的技术方案是，基于多辨别器对抗网络的碑帖二值化背景噪声去除方法，包括以下步骤：
步骤1：建立取样样本；
步骤2：根据步骤1中的取样样本，进行预处理，作为最终训练数据集；
步骤3：将步骤2中得到的训练数据集输入去噪网络中进行训练，依次更新生成网络权重和辨别网络权重；
步骤4：将需要去除噪声的碑帖数据输入步骤3更新后的辨别网络和生成网络中进行去噪，得到去除噪声后的碑帖图像。
本发明的特点还在于：
步骤1的具体过程为：
收集多张碑帖图像，人工将其分为干净图像和噪声图像两类，最终分别得到m张不配对的带噪声图片和干净图像，即为取样样本。
步骤2的具体过程为：
步骤2.1：对样本进行二值化操作，然后判断图像背景色是否为白色，对于背景色不为白色的二值化图像进行反色操作；
步骤2.2：将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小，得到2m张大小为w×h带噪碑帖图像和干净碑帖图像；
步骤2.3：对步骤2.2中的干净碑帖图像进行噪声模拟，获得与干净碑帖图像配对的带噪图像，形成m对图像对{x，z}，其中x表示干净图像，z表示加有模拟噪声的带噪图像；
步骤2.4：对步骤2.2中的干净碑帖图像进行高斯模糊，得到m张高斯模糊后的干净碑帖图像；
步骤2.5：将步骤2.3与步骤2.4得到的图像一起作为最终训练数据集。
步骤3的具体过程为：
步骤3.1：选取步骤2中任意一个带噪声图像z，输入生成器网络g，带有噪声的碑帖图像z经过生成器网络g的计算，输出一张与输入图像大小相同的干净图像fake_img＝g(z)；
步骤3.2：在步骤2中选取与步骤3.1中带噪图像z配对的干净图像x，将步骤3.1生成的干净图像fake_img和干净图像x同时与选取的带噪图像z配对得到两个图像对，记为：m＝{z，fake_img}和n＝{z，x}，随后将图像对m，n输入辨别网络d0，得到两个概率值d0(m)，d0(n)，建立对抗网络损失函数为公式(1)：
其中
步骤3.3：在步骤2中随机选取一张干净图像x0，将x0和步骤3.1中生成图像fake_img输入辨别网络d1，得到两个概率值d1(x0)，d1(fake_img)，建立对抗网络损失函数为公式(2)：
其中
步骤3.4：在步骤2中选取步骤3.2中干净图像x对应的高斯模糊后的图像w，将干净图像x，步骤3.1中生成的干净图像fake_img和高斯模糊后的图像w输入辨别网络d2，得到三个概率值d2(x)，d2(fake_img)和d2(w)，建立对抗网络损失函数为公式(3)：
ladv2＝e[log(p0(d2(x))) log(1-p1(d2(w))) log(1-p2(d2(g(z))))](3)
其中e表示x服从真实干净数据概率分布期望、w服从真实高斯模糊数据概率分布期望、z服从真实带噪数据分布期望，p0(d2(x))表示辨别网络d2将图像x分类为标签0的概率，p1(d2(w))表示辨别网络d2将图像w分类为标签1的概率，p2(d2(g(z)))表示辨别网络d2将生成图像g(z)分类为标签2的概率；ladv2表示生成器和辨别器d2对应的对抗损失函数；
步骤3.5：将步骤3.2-3.4中三个辨别网络的对抗损失函数结合，得到公式(4)：
ladv＝λladv0 αladv1 βladv2(4)
其中λ，α，β为常数且λ＝10，α＝β＝1，分别表示各个辨别网络在整体去噪模型中所占的权重比例；ladv表示总的生成器和辨别器对应的对抗损失函数；
最终可得到总的损失函数为：
loss(ω,θ)＝ladv ηll1(g)(5)
其中ω和θ分别表示生成器网络和辨别器网络的权重，η表示常数且η＝1000，l表示损失值，l1表示曼哈顿距离，ll1表示l1距离的损失值；loss(ω，θ)表示总的损失函数；ω表示生成器的权重参数；θ表示辨别器的权重参数；
步骤3.6：计算步骤3.5中总的损失函数，使用adam梯度下降方式依次更新生成器与辨别器权重参数：adam(ω,loss,learning_rate)，adam(θ,loss,learning_rate)；
其中learning_rate表示梯度下降学习率，learning_rate＝0.0002，
当d0(n)≈d0(m)，d1(g(z))≈d1(x)，d2(g(z))≈d2(x)，即fake_img≈x时，生成网络g生成的图像与干净图像无线接近时，训练完成。
步骤4的具体过程为：
步骤4.1：对需要去除噪声的碑帖图像进行二值化处理，判断二值化图像背景是否为白色，若不是则进行反色操作；
步骤4.2：将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练更新的生成器网络g中，输出生成图像g(image)即为去除噪声后的碑帖图像。
本发明的有益效果是：
(1)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法在原有的gan网络基础上增加辨别网络个数，提出一种新的生成对抗网络结构；
(2)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法使用一种新的gan网络结构，能够在有效去除碑帖图像噪声的同时保留字体结构，并能够保证生成高质量图像；
(3)本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法能够有效去除碑帖图像上由于历史原因所造成的背景噪声，方便人们对于碑帖图像后续的欣赏保存以及研究。
附图说明
图1是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的训练流程图；
图2是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的生成器网络结构图；
图3是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的生成器网络结构内残差密集模块(rdb)网络结构图；
图4是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的辨别器d0网络结构图；
图5是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的辨别器d1网络结构图；
图6是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的辨别器d2网络结构图；
图7是本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法的实例去噪图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于多辨别器对抗网络的碑帖二值化背景噪声去除方法，如图1所示，包括以下步骤：
步骤1建立取样样本的具体操作为：
收集多张碑帖图像，人工将其分为干净图像和噪声图像两类，最终分别得到m张不配对的带噪声图片和干净图像，即为取样样本；
步骤2中的具体操作为：
步骤2.1，对步骤1中的取样样本进行二值化操作，然后人为判断二值化后的图像背景色是否为白色，对于背景色不为白色的二值化图像进行反色操作，即最终二值化图像＝1-背景部位白色的二值化图像；
步骤2.2，将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小，得到2m张大小为w×h带噪碑帖图像和干净碑帖图像；
步骤2.3，通过现有的噪声模拟模型对步骤2.2中的干净图像进行噪声模拟，最终获得与干净图像配对的带噪图像，形成m对图像对{x，z}，其中x表示干净图像，z表示加有模拟噪声的带噪图像；
步骤2.4，对步骤2.2中的干净图像进行高斯模糊，得到m张高斯模糊后的干净碑帖图像，与步骤2.3得到配对图像一起作为最终训练数据集；
步骤3具体步骤为：
步骤3.1，选取步骤2中任意一个带噪声图像z，输入生成器网络g，带有噪声的碑帖图像z经过生成器网络g的计算，具体为：首先经过两个卷积模块，在经过七层残差密集模块(rdb)，然后经过两个反卷积模块和一个tanh层，输出一张与输入图像大小相同的干净图像fake_img＝g(z)；
如图2所示，在生成器网络结构中，conv，k7n32s1表示一个卷积操作，卷积核大小为7×7，卷积核个数为32个，步长为1；relu表示一个非线性激活函数；conv，k3n64s2表示一个卷积操作，卷积核大小为3×3，卷积核个数为64个，步长为2；inorm表示instancenormalization即实例归一化操作；dropout表示随机丢弃操作，增加输出结果的随机性；deconv，k3n32s2表示一个反卷积操作，卷积核大小为3×3，卷积核个数为32个，步长为1/2；deconv，k7ncs1表示一个反卷积操作，卷积核大小为3×3，卷积核个数为输入图像通道数，步长为1/2；tanh表示一个非线性激活函数。
如图3所示是作为生成器网络中重要部分的残差密集模块(rdb)，在生成器网络中有六个循环的残差密集网络层，每一层残差密集网络层包括九个残差密集模块即rdb0-rdb8，其中每个模块均为一个卷积操作，卷积核大小均为3×3，卷积核个数均为32，且步长均为1；f1表示第一个rdb模块输出的特征图，f2表示第二个rdb模块输出的特征图，fc表示第c个rdb模块输出的特征图，以此类推；每一个残差模块都将前几个模块所得到的特征图相加做为本层的输入：fc 1＝f0 … fc，c＝0,1,…7；
步骤3.2，在步骤2中选取与步骤3.1中带噪图像z配对的干净图像x，将步骤3.1生成的干净图像fake_img和干净图像x同时与选取的带噪图像z配对得到两个图像对，记为：m＝{z，fake_img}和n＝{z，x}，随后将图像对m，n输入辨别网络d0，具体为：首先通过随机裁剪层，从输入图片中随机取80×80大小的块，然后通过四层不同的卷积操作和一个全连接层，最后通过sigmoid激活函数层得到两个概率值d0(m)，d0(n)，建立对抗网络损失函数为公式(1)：
其中
上述损失函数可分为两个操作：
glossadv0＝-log(d0(n))和dlossadv0＝-log(d0(m))-log(1-d0(n))；其中glossadv0表示辨别器d0对应的生成器损失函数，dlossadv0表示辨别器d0的损失函数，该对抗损失函数期望去噪后的生成图像g(z)尽可能接近干净图像x。
步骤3.3，在步骤2中随机选取一张干净图像x0，将x0和步骤3.1中生成图像fake_img输入辨别网络d1，具体计算过程如步骤3.2，最终得到两个概率值d1(x0)，d1(fake_img)，建立对抗网络损失函数为公式(2)：
其中
该对抗损失函数仍可以分为两个操作：
glossadv1＝-log(d1(g(z)))和dlossadv1＝-log(d1(x))-log(1-d1(g(z)))，其中glossadv1表示辨别器d1所对应的生成器损失函数，dlossadv1表示辨别器d1的损失函数，该对抗损失函数的目标是最大限度的将正确标签分配给生成图像g(z)，最终期望生成图像g(z)上的噪声尽可能的少。
步骤3.4，在步骤2中选取步骤3.2中干净图像x对应的高斯模糊后的图像w，将干净图像x，步骤3.1中生成的干净图像fake_img和高斯模糊后的图像w输入辨别网络d2，具体操作为：首先经过随机裁剪层取出输入图像80×80大小的块，然后经过四层不同的卷积操作和一个全连接层，最终通过softmax激活函数得到三个概率值d2(x)，d2(fake_img)和d2(w)，建立对抗网络损失函数为公式(3)：
ladv2＝e[log(p0(d2(x))) log(1-p1(d2(w))) log(1-p2(d2(g(z))))](3)
其中e表示x服从真实干净数据概率分布期望、w服从真实高斯模糊数据概率分布期望、z服从真实带噪数据分布期望，p0(d2(x))表示辨别网络d2将图像x分类为标签0的概率，p1(d2(w))表示辨别网络d2将图像w分类为标签1的概率，p2(d2(g(z)))表示辨别网络d2将生成图像g(z)分类为标签2的概率；ladv2表示生成器和辨别器d2对应的对抗损失函数。
同上述步骤公式(3)对抗损失函数可分为：glossadv2＝-log(p2(d2(x)))和dlossadv2＝-log(p0(d2(x)))-log(1-p1(d2(w)))-log(1-p2(d2(g(z))))，其中glossadv2表示辨别器d2对应的生成器损失函数，dlossadv2表示辨别器d2的损失函数，该对抗损失函数期望辨别网络最大限度的将真实图像标签匹配至生成图像，最终生成质量更高的去噪图像。
如图4、图5、图6所示，randomcrop80x80是随机裁剪层，表示从输入图像中随机取出80×80大小的块作为辨别器网络输入；conv，k5n64s2表示卷积层操作，卷积核大小为5×5，卷积核个数为64个，步长为2；lrelu表示一个leakeyrelu非线性激活函数；conv，k5n128s2表示卷积层操作，卷积核大小为5×5，卷积核个数为128个，步长为2；inorm表示instancenormalization即实例归一化操作；conv，k5n256s2表示卷积层操作，卷积核大小为5×5，卷积核个数为256个，步长为2；conv，k5n512s2表示卷积层操作，卷积核大小为5×5，卷积核个数为512个，步长为2；fc表示一个全连接层。
步骤3.5，将步骤3.2-3.4中三个辨别网络的对抗损失函数结合，得到公式(4)：
ladv＝λladv0 αladv1 βladv2(4)
其中λ，α，β为常数且λ＝10，α＝β＝1，分别表示各个辨别网络在整体去噪模型中所占的权重比例；
最终可得到总的损失函数为：
loss(ω,θ)＝ladv ηll1(g)(5)
其中ω和θ分别表示生成器网络和辨别器网络的权重，η表示常数且η＝1000，l表示损失值，l1表示曼哈顿距离，ll1表示l1距离的损失值；loss(ω，θ)表示总的损失函数；ω表示生成器的权重参数；θ表示辨别器的权重参数。
由上述步骤最终可得总的生成器损失函数和辨别器损失函数为：
gloss＝λglossadv0 αglossadv1 βglossadv2 ηll1，
dloss＝λdlossadv0 αdlossadv1 βdlossadv2。
步骤3.6，计算步骤3.5中总的损失函数，使用adam梯度下降方式依次更新生成器与辨别器权重参数：adam(ω，gloss，learning_rate)，adam(θ，dloss，learning_rate)；
其中learning_rate表示梯度下降学习率，learning_rate＝0.0002，
当d0(n)≈d0(m)，d1(g(z))≈d1(x)，d2(g(z))≈d2(x)，即fake_img≈x时，生成网络g生成的图像与干净图像无限接近时，训练完成。
步骤4具体步骤为：
步骤4.1，对需要去除噪声的碑帖图像进行二值化处理，得到二值化碑帖图像image_bw，人为判断二值化图像image_bw背景是否为白色，若不是则进行反色操作即image＝1-image_bw；
步骤4.2，将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练更新的生成器网络g中，输出生成图像g(image)即为去除噪声后的碑帖图像。
如图7所示是将两张噪声图像输入训练完成后的生成器网络中所得到的的去噪碑帖图像。
本发明基于多辨别器对抗网络的碑帖二值化背景噪声杂点去除方法在普通gan网络的基础上增加辨别器个数，提出了一种新的碑帖图像去噪网络模型。同时本方法在保留原有字体结构的情况下有效去除了图像背景噪声，并且能够保证生成的去噪图像的质量和字体细节，为碑帖图像进一步保存和使用提供了有效的数据预处理方法，具有较高的实用性。
1.基于多辨别器对抗网络的碑帖二值化背景噪声去除方法，其特征在于，包括如下步骤：
步骤1：建立取样样本；
步骤2：根据步骤1中的取样样本，进行预处理，作为最终训练数据集；
步骤3：将步骤2中得到的训练数据集输入去噪网络中进行训练，依次更新生成网络权重和辨别网络权重；
步骤4：将需要去除噪声的碑帖数据输入步骤3更新后的辨别网络和生成网络中进行去噪，得到去除噪声后的碑帖图像。
2.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法，其特征在于，所述步骤1的具体过程为：
收集多张碑帖图像，人工将其分为干净图像和噪声图像两类，最终分别得到m张不配对的带噪声图片和干净图像，即为取样样本。
3.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法，其特征在于，所述步骤2的具体过程为：
步骤2.1：对样本进行二值化操作，然后判断图像背景色是否为白色，对于背景色不为白色的二值化图像进行反色操作；
步骤2.2：将经过步骤2.1处理过后的碑帖图像随机裁剪成w×h大小，得到2m张大小为w×h带噪碑帖图像和干净碑帖图像；
步骤2.3：对步骤2.2中的干净碑帖图像进行噪声模拟，获得与干净碑帖图像配对的带噪图像，形成m对图像对{x，z}，其中x表示干净图像，z表示加有模拟噪声的带噪图像；
步骤2.4：对步骤2.2中的干净碑帖图像进行高斯模糊，得到m张高斯模糊后的干净碑帖图像；
步骤2.5：将步骤2.3与步骤2.4得到的图像一起作为最终训练数据集。
4.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法，其特征在于，所述步骤3的具体过程为：
步骤3.1：选取步骤2中任意一个带噪声图像z，输入生成器网络g，带有噪声的碑帖图像z经过生成器网络g的计算，输出一张与输入图像大小相同的干净图像fake_img＝g(z)；
步骤3.2：在步骤2中选取与步骤3.1中带噪图像z配对的干净图像x，将步骤3.1生成的干净图像fake_img和干净图像x同时与选取的带噪图像z配对得到两个图像对，记为：m＝{z，fake_img}和n＝{z，x}，随后将图像对m，n输入辨别网络d0，得到两个概率值d0(m)，d0(n)，建立对抗网络损失函数为公式(1)：
其中
步骤3.3：在步骤2中随机选取一张干净图像x0，将x0和步骤3.1中生成图像fake_img输入辨别网络d1，得到两个概率值d1(x0)，d1(fake_img)，建立对抗网络损失函数为公式(2)：
其中
步骤3.4：在步骤2中选取步骤3.2中干净图像x对应的高斯模糊后的图像w，将干净图像x，步骤3.1中生成的干净图像fake_img和高斯模糊后的图像w输入辨别网络d2，得到三个概率值d2(x)，d2(fake_img)和d2(w)，建立对抗网络损失函数为公式(3)：
ladv2＝e[log(p0(d2(x))) log(1-p1(d2(w))) log(1-p2(d2(g(z))))](3)
其中e表示x服从真实干净数据概率分布期望、w服从真实高斯模糊数据概率分布期望、z服从真实带噪数据分布期望，p0(d2(x))表示辨别网络d2将图像x分类为标签0的概率，p1(d2(w))表示辨别网络d2将图像w分类为标签1的概率，p2(d2(g(z)))表示辨别网络d2将生成图像g(z)分类为标签2的概率；ladv2表示生成器和辨别器d2对应的对抗损失函数；
步骤3.5：将步骤3.2-3.4中三个辨别网络的对抗损失函数结合，得到公式(4)：
ladv＝λladv0 αladv1 βladv2(4)
其中λ，α，β为常数且λ＝10，α＝β＝1，分别表示各个辨别网络在整体去噪模型中所占的权重比例；ladv表示总的生成器和辨别器对应的对抗损失函数；
最终可得到总的损失函数为：
loss(ω,θ)＝ladv ηll1(g)(5)
其中ω和θ分别表示生成器网络和辨别器网络的权重，η表示常数且η＝1000，l表示损失值，l1表示曼哈顿距离，ll1表示l1距离的损失值；loss(ω，θ)表示总的损失函数；ω表示生成器的权重参数；θ表示辨别器的权重参数；
步骤3.6：计算步骤3.5中总的损失函数，使用adam梯度下降方式依次更新生成器与辨别器权重参数：adam(ω,loss,learning_rate)，adam(θ,loss,learning_rate)；
其中learning_rate表示梯度下降学习率，learning_rate＝0.0002，
当d0(n)≈d0(m)，d1(g(z))≈d1(x)，d2(g(z))≈d2(x)，即fake_img≈x时，生成网络g生成的图像与干净图像无线接近时，训练完成。
5.如权利要求1所述的基于多辨别器对抗网络的碑帖二值化背景噪声去除方法，其特征在于，所述步骤4的具体过程为：
步骤4.1：对需要去除噪声的碑帖图像进行二值化处理，判断二值化图像背景是否为白色，若不是则进行反色操作；
步骤4.2：将经过步骤4.1处理后的碑帖图像image输入经过步骤3训练更新的生成器网络g中，输出生成图像g(image)即为去除噪声后的碑帖图像。
技术总结