本发明涉及传统扎染工艺、艺术染整领域,具体涉及基于深度学习与数字图像处理的数字扎染图案生成方法。
背景技术:
扎染图案典型的艺术特点是色晕和图案的“唯一性”。扎染工艺独特的艺术效果,丰富了现代产品的特色,一直受到时尚界的热爱,广泛应用于纺织品、服装、家居领域。
因扎染的核心工艺(对织物的捆扎、扎结等处理)环节必须由经验丰富的人工操作,同时,织物的成分、厚薄等特性对捆扎、扎结后艺术效果的影响明显,使得扎染产品的生产管理及其在产业化发展的道路上呈现出成本高、次品率高、较难大规模、批量化生产、产品单一化等多方面的问题。近年来,科技飞速发展、电子信息化技术的普及,“计算机思维”逐渐渗入扎染的设计创作中,利用计算机辅助设计扎染图案已经成为扎染图案设计的主流。
目前,比较有效的数字化扎染图案生成技术基于计算机辅助方法,理论上分形技术能模拟出多种扎染效果,故设计人员一般应用apophysis、ultrafractal等分形软件和photoshop等平面设计软件对扎染图案进行仿真模拟。总结这些应用不难发现,单纯采用传统的基于图形学的方法在生成扎染图案的种类与效果上存在缺陷,需要为每种图案研究出适合的数学计算公式,设置复杂的参数,而且要购买昂贵的设计软件,这是较困难的。理论上条件深度卷积对抗生成网络通过训练生成图案,也可以区分图案类别,但成功率有待提高。数字扎染图案一般包含数以百千计的花形图和背景图,一旦出现错误,将会影响生产生成次品,故生成网络的准确性是非常重要的。为了提高网络生成正确类别图案的几率,有必要对其改进。而且,大量不同颜色的花形图和背景图融合也是个难点。总的来说,如果能提供一种方法只需要设计人员提供简单图形轮廓即可生成复杂、大型的、不重样、无色彩差异的扎染图案,将会大大提高工作效率。
技术实现要素:
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供基于深度学习与数字图像处理的数字扎染图案生成方法,包括如下步骤:
步骤1,构建ici-acdcgan网络;
步骤2,对ici-acdcgan网络进行训练,得到训练好的生成网络ici-acdcgan;
步骤3,输入图形框架图;
步骤4,利用训练好的生成网络ici-acdcgan生成花形图和背景图,基于校色与关键区域拼贴对图形框架图进行处理,输出图形框架图为生成扎染图。
步骤1中ici-acdcgan网络包括生成网络g和判别网络d,生成网络g用于根据输入随机噪声生成模拟图片,判别网络d用于判断生成模拟图片是否为真实的,并输出图为真的概率和图片类别。
步骤1中,所述生成网络g有5层,输入100维随机向量和m维的类标签向量,m是网络能生成的图形类数,生成网络g第一层是全连接层,大小4×4×1024;第二层反卷积层中卷积核大小为5×5输出512维大小为8×8的特征映射,步长strides为2;第三层反卷积层中卷积核大小为5×5输出256维大小为16×16的特征映射,步长strides为2;第四层反卷积层中卷积核大小为5×5输出128维大小为32×32的特征映射,步长strides为2;第五层反卷积层中卷积核大小为5×5输出3维大小为64×64的特征映射,步长strides为2。
步骤1中,所述判别网络d有6层,其输入是生成网络g输出的三通道rgb图像大小为64×64矩阵,判别网络d的第一层卷积层中卷积核大小为5×5输出64维大小为32×32的特征映射,strides为2;第二层卷积层中卷积核大小为5×5输出128维大小为16×16的特征映射,strides为2;第三层卷积层中卷积核大小为5×5输出256维大小为8×8的特征映射,strides为2;第四层卷积层中卷积核大小为5×5输出512维大小为4×4的特征映射,strides为2;第五层卷积层中卷积核大小为3×3输出1024维大小为4×4的特征映射,然后判别网络d分支成两个同级输出层:一个连接大小为1024全连接层,输出图为真的概率;另一个连接集成分类网络,所述集成分类网络包括k个并行同结构子网分类器,子网分类器连接两个1024和512大小全连接层,输出m个类别softmax概率估计,最后将m个类别判断送入投票器,投票器判断得票最多的类为生成图片类别。
步骤2包括:
步骤2-1,采集扎染花形图、背景图组成数据集z,按比例λ随机抽取数据集z中一部分样本组成k个新数据集,定义训练目标函数:
ls=e[lnp(s=real|xreal)] e[lnp(s=fake|xfake)]
其中,ls表示正确图像源的对数似然,
步骤2-2,训练k次ici-acdcgan网络,i=1,2…k,每次用第i个新的数据集训练整个网络和第i个子网分类器,同时固定其余k-1个子网分类器两个1024和512大小全连接层的参数。参考文献:odenaa.,olahc.,shlensj.(2017).conditionalimagesynthesiswithauxiliaryclassifiergans.proceedingsofthe34thinternationalconferenceonmachinelearning,sydney,australia,pmlr70.
步骤4包括:
步骤4-1,获取图形框架图宽高值w和h,使用区域连通算法(参考文献:robertmharalick,lindagshapiro.com-puterandrobotvision[m].boston:addiso-nwesleylongmanpublishingco.,inc,199-2:22-48.)提取出图形框架图中所有圆,记录下圆个数n,圆最小相邻间隔距离t,第i个圆中心坐标(xi,yi),i=1,2,…n,将所有圆设置为白色,图形框架图区域称为画布图像;
步骤4-2,设置每个ici-acdcgan网络生成方形扎染小图案边长len=rnd()/3 2/3,以产生大小各异的艺术效果,rnd()为0-1间的随机数;
步骤4-3,将图形框架图均分成p=roundup(w/len)×roundup(h/len)个区域,roundup()为小数向上取整函数;用训练好的ici-acdcgan网络生成p个背景图,背景图大小缩放至len×len,进行校色操作:
步骤4-4,校色后,遍历图形框架图中p个区域,分别将p个校色后背景图复制到p个区域;在rgb三通道采用大小为5*5的滤波窗口进行中值滤波消除相邻图像边缘线;
步骤4-5,用训练好的ici-acdcgan网络生成n个rgb扎染花形图,花形图大小缩放至len×len;
步骤4-6,对扎染花形图做校色处理,剔除花形图案的蓝底部分,通过关键区域拼贴算法解决花形校色及与背景融合的问题;
步骤4-7,输出图形框架图为生成扎染图案。
步骤4-3中,所述校色操作包括:计算所有背景图rgb三通道均值,再单独计算每个背景图rgb均值,选择单图rgb均值与所有背景图rgb三通道欧氏均值距离最近者为参考图像,其它背景图为待校色图像,颜色按下式计算调整:
pdiff=pr_mean-pd_mean,
p′=pd pdiff×ρ,
式中,p表示框架图rgb三通道分量,pr_mean表示参考图像rgb三个通道的平均亮度值;pd_mean表示待校色图像rgb三个通道的平均亮度值;pdiff表示待校色图像与参考图像rgb三个通道平均亮度差值;ρ表示待校色图像三个通道的亮度调节因子;pd表示待校色图像中一像素点rgb三个通道的当前亮度值;pmax和pmin分别是待校色图像rgb三个通道的最大值和最小值;p′表示待校色图像中一像素点rgb三个通道校正后的亮度值。
步骤4-6包括:所述通过关键区域拼贴算法解决花形校色及与背景融合的问题,包括:基于otsu分割算法分别提取出n个rgb扎染花形图的体现花形特征的白色花形区域,对n个白色花形区域按步骤4-3的方法进行校色处理,将校色后每个白色花形区域直接复制到画布坐标(xi,yi)处替换相同区域背景色,最后在画布图像rgb三通道采用大小为3*3的滤波窗口进行均值滤波(参考文献:贾永红.数字图像处理[m].2003.),消除关键区域与背景间边缘影响;
有益效果:本发明方法按数字扎染图案生成流程的要求,用计算机设计好布局图后,可以根据ici-acdcgan图案源的特点,自由地设计调整工艺变化组合,能够快速地生成出多样的扎染图案。图中各小块图片间无明显色差,边缘区域过渡均匀,图中扎染花形图花形区域保存完好,与背景连接区域无边缘效应。从图案的艺术效果来看,蓝白色彩层次丰富,对比鲜明,每一个小点都体现了扎染工艺的特点且不重样,点与点之间的疏密关系,比例协调恰当,整幅图案呈现出自然灵动的观感,达到了高度仿真的艺术效果。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明方法流程图。
图2是ici-acdcgan生成模型结构示意图。
图3是扎染图案花形平面布局图示例。
图4是花形框架图。
图5是背景拼贴融合图。
图6是生成的扎染图案。
具体实施方式
本发明方法的构建与训练能生成不重样扎染图案花形、背景图的集成分类改进辅助分类器深度卷积对抗生成网络(integratedclassificationimprovedauxiliaryclassifierdeepconvolutionalgenerativeadversarialnetworks,简称ici-acdcgan)备用。生成数字扎染图案时首先由设计人员基于绘图软件绘出扎染图案平面布局点框架图,用区域连通算法提取出图中所有圆中心位置和花形类别信息,然后用ici-acdcgan生成背景图填充布局图,将ici-acdcgan生成的扎染花形图关键区域复制到圆所在区域,最后对整图做均值滤波处理获得最终的数字扎染图案。
如图1和图2所示,本发明提供了基于深度学习与数字图像处理的数字扎染图案生成方法,包括如下内容:
(1)构建ici-acdcgan
ici-acdcgan是一种有监督学习方法,利用“对抗”的思想来学习生成新图像。构建两个串联网络:生成网络g(generator)和判别网络d(discriminator),g负责根据输入随机噪声生成模拟图片,d判断这张图片是否为真实的,输出图为真的概率和图片类别。
ici-acdcgan特点体现在判别网络d络结构和网络训练及类别决策策略上(如图2所示)。首先判别网络d络在通过最后一个卷积层后分支成两个同级输出层:一个连接大小为1024全连接层,输出图为真的概率;另一个连接集成分类网络,由k个并行同结构子网分类器组成,子网分类器连接两个1024和512大小全连接层,输出m个类别softmax概率估计,将m个类别判断送入投票器,投票器判断得票最多的类为生成图片类别。
ici-acdcgan生成网络g有5层,输入100维随机向量和m维的类标签向量,m是网络能生成的图形类数,第一层是全连接层,大小4×4×1024,第二层反卷积层中卷积核大小为5×5输出512维大小为8×8的特征映射,strides为2,第三层反卷积层中卷积核大小为5×5输出256维大小为16×16的特征映射,strides为2,第四层反卷积层中卷积核大小为5×5输出128维大小为32×32的特征映射,strides为2,第五层反卷积层中卷积核大小为5×5输出3维大小为64×64的特征映射,strides为2;
判别网络d有6层,其输入是生成网络g输出的三通道rgb图像大小为64×64矩阵,第一层卷积层中卷积核大小为5×5输出64维大小为32×32的特征映射,strides为2,第二层卷积层中卷积核大小为5×5输出128维大小为16×16的特征映射,strides为2,第三层卷积层中卷积核大小为5×5输出256维大小为8×8的特征映射,strides为2,第四层卷积层中卷积核大小为5×5输出512维大小为4×4的特征映射,strides为2,第五层卷积层中卷积核大小为3×3输出1024维大小为4×4的特征映射,然后网络分支成两个同级输出层:一个连接大小为1024全连接层,输出图为真的概率;另一个连接集成分类网络,由k个并行同结构子网分类器组成,子网分类器连接两个1024和512大小全连接层,输出m个类别softmax概率估计,最后将m个类别判断送入投票器,投票器判断得票最多的类为生成图片类别。
(2)训练ici-acdcgan网络
采集每一类扎染花形图2000张、背景图2000张组成数据集z,按比例λ=4/5随机抽取数据集z中一部分样本组成k个新数据集,定义训练目标函数:
ls=e[lnp(s=real|xreal)] e[lnp(s=fake|xfake)]
其中,ls表示正确图像源的对数似然,
具体训练过程:训练k次ici-acdcgan网络,i=1,2…k,每次用第i个数据集训练整个网络和第i个子网分类器,同时固定其余k-1个子网分类器两个1024和512大小全连接层的参数。
(3)由设计师或使用人员通过绘图软件在一张纯白色图中画间隔近似均等的实心圆作为输入图形框架图,图中不同颜色圆标记代表不同类别的花形图案,组合在一起呈现出几何造型。图3中,一幅拼贴而成的扎染图案由位于直角坐标平面xy上的一块矩形区域内的若干图元拼接构成,将图形框架图区域称为“画布”。比如红、蓝、绿、紫和黄色的圆分别代表1-5号类别花形,平面布局图包含画布大小、花形图位置坐标和花形类别信息。画布上拼贴的图元分为花形图及背景图两种,花形图关键区域填充圆区域,背景图按z字形循环填充白色区域。
(4)获取图形框架图宽高值w和h,使用区域连通算法提取出图形框架图中所有圆,记录下个数n,圆最小相邻间隔距离t,圆中心坐标(xi,yi),i=1,2,…n。将所有圆设置为白色。
(5)设置每个ici-acdcgan网络生成方形扎染小图案边长len=rnd()/3 2/3,以产生大小各异的艺术效果,rnd()为0-1间的随机数。
(6)将图形框架图均分成p=roundup(w/len)×roundup(h/len)个区域,roundup()为小数向上取整函数。用训练好的ici-acdcgan网络生成p个背景图,背景图大小缩放至len×len,为了消除p个背景图颜色差异,接着做下面校色操作:计算所有背景图rgb三通道均值,再单独计算每个背景图rgb均值,选择单图rgb均值与所有背景图rgb三通道欧氏均值距离最近者为参考图像,其它图为待校色图,颜色按下式计算调整:
pdiff=pr_mean-pd_mean
p′=pd pdiff×ρ
式中,p表示框架图rgb三分量,pr_mean表示参考图像三个通道的平均亮度值;pd_mean表示校色图像三个通道的平均亮度值;pdiff表示校色图像与参考图像三个通道平均亮度差值;ρ表示校色图像三个通道的亮度调节因子;pd表示校色图像中某一像素点三个通道的当前亮度值;pmax和pmin分别是校色图像三个通道的最大值和最小值;p′表示校色图像中某一像素点三个通道校正后的亮度值。
(7)校色后,遍历框架图中p个区域,分别将p个校色后背景图复制到p个区域。在rgb三通道采用大小为5*5的滤波窗口进行中值滤波消除相邻图像边缘线。
(8)用训练好的ici-acdcgan生成n个rgb扎染花形图,花形图大小缩放至len×len。
(9)扎染花形图也是颜色不一致,所以要对各张图做校色处理。另外,背景图与花形图间颜色也不一致。与背景图不同,花形图颜色信息丰富,由白色花形区域与蓝底组成,白色花形区域会影响背景图与花形图间的校色。如果直接与背景图校色与拼接,花形图的蓝底颜色与周围背景颜色反差较大。所以剔除花形图案的蓝底部分,提出关键区域拼贴算法解决花形校色及与背景融合问题,首先基于otsu分割算法提取出体现花形特征的白色花形区域,对n张白色花形区域按第6步校色算法校色,将校色后每个区域直接复制到画布坐标(xi,yi)处替换相同区域背景色,最后在画布图像rgb三通道采用大小为3*3的滤波窗口进行均值滤波,消除关键区域与背景间边缘影响。
(10)输出图形框架图为生成扎染图案。
实施例
采集扎染捆扎和缝绞工艺中最常见的点与圈形状造型五类各2000张共一万张,均为蓝底白花;采集蓝色背景图片两千张。
(1)训练生成网络ici-acdcgan。k=9,λ=4/5,输入生成网络g随机数符合(0,1)的正态分布,类标签向量维数m=6,将采集到扎染花形图案和蓝色背景图像的分别送入ici-acdcgan训练并保存网络权重参数。训练使用adam调整超参数,学习率=0.0002(参考文献kingmad,baj.adam:amethodforstochasticoptimization[j].computerscience,2014.)。
(2)使用人员通过画图软件在一张纯白色图中画间隔几乎均等的实心有色圆作为输入图形框架图。
(3)获取框架图4宽高值w和h。使用区域连通算法提取出圆点个数n,圆最小相邻间隔距离t,圆中心坐标(xi,yi),i=1,2,…n。将所有圆设置为白色。
(4)设置后续每个方形扎染小图案边长len=rnd()/3 2/3,rnd()为0-1间的随机数。
(5)将框架均分成p=roundup(w/len)×roundup(h/len)个区域,roundup()为小数向上取整函数。用训练好的ici-acdcgan生成p个背景图,接着做下面校色操作:计算所有背景图rgb三通道均值,再单独计算每个背景图rgb均值,选择单图rgb均值与所有背景图rgb三通道欧氏均值距离最近者为参考图像,其它图为校色图,颜色按下式计算调整:
pdiff=pr_mean-pd_mean
p′=pd pdiff×ρ
式中,p表示框架图rgb三分量,pr_mean表示参考图像三个通道的平均亮度值;pd_mean表示校色图像三个通道的平均亮度值;pdiff表示校色图像与参考图像三个通道平均亮度差值;ρ表示校色图像三个通道的亮度调节因子;pd表示校色图像中某一像素点三个通道的当前亮度值;pmax和pmin分别是校色图像三个通道的最大值和最小值;p′表示校色图像中某一像素点三个通道校正后的亮度值。
(6)校色后,遍历框架图中p个区域,分别将p个校色后背景图复制到p个区域。在rgb三通道采用大小为5*5的滤波窗口进行中值滤波消除相邻图像边缘线,生成图5。
(7)用训练好的ici-acdcgan生成n个rgb扎染花形图。
(8)用关键区域拼贴算法解决花形校色及与背景融合问题,首先基于otsu分割算法提取出体现花形特征的白色花形区域,对n张白色花形区域按第5步校色算法校色,将校色后每个区域直接复制到画布坐标(xi,yi)处替换相同区域背景色,最后在画布图像rgb三通道采用大小为3*3的滤波窗口进行均值滤波,消除关键区域与背景间边缘影响。
(9)输出图形框架图为生成扎染图案图6。
本发明提供了基于深度学习与数字图像处理的数字扎染图案生成方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
1.基于深度学习与数字图像处理的数字扎染图案生成方法,其特征在于,包括如下步骤:
步骤1,构建ici-acdcgan网络;
步骤2,对ici-acdcgan网络进行训练,得到训练好的生成网络ici-acdcgan;
步骤3,输入图形框架图;
步骤4,利用训练好的生成网络ici-acdcgan生成花形图和背景图,基于校色与关键区域拼贴对图形框架图进行处理,输出图形框架图为生成扎染图。
2.根据权利要求1所述的方法,其特征在于,步骤1中ici-acdcgan网络包括生成网络g和判别网络d,生成网络g用于根据输入随机噪声生成模拟图片,判别网络d用于判断生成模拟图片是否为真实的,并输出图为真的概率和图片类别。
3.根据权利要求2所述的方法,其特征在于,步骤1中,所述生成网络g有5层,输入100维随机向量和m维的类标签向量,m是网络能生成的图形类数,生成网络g第一层是全连接层,大小4×4×1024;第二层反卷积层中卷积核大小为5×5输出512维大小为8×8的特征映射,步长strides为2;第三层反卷积层中卷积核大小为5×5输出256维大小为16×16的特征映射,步长strides为2;第四层反卷积层中卷积核大小为5×5输出128维大小为32×32的特征映射,步长strides为2;第五层反卷积层中卷积核大小为5×5输出3维大小为64×64的特征映射,步长strides为2。
4.根据权利要求3所述的方法,其特征在于,步骤1中,所述判别网络d有6层,其输入是生成网络g输出的三通道rgb图像大小为64×64矩阵,判别网络d的第一层卷积层中卷积核大小为5×5输出64维大小为32×32的特征映射,strides为2;第二层卷积层中卷积核大小为5×5输出128维大小为16×16的特征映射,strides为2;第三层卷积层中卷积核大小为5×5输出256维大小为8×8的特征映射,strides为2;第四层卷积层中卷积核大小为5×5输出512维大小为4×4的特征映射,strides为2;第五层卷积层中卷积核大小为3×3输出1024维大小为4×4的特征映射,然后判别网络d分支成两个同级输出层:一个连接大小为1024全连接层,输出图为真的概率;另一个连接集成分类网络,所述集成分类网络包括k个并行同结构子网分类器,子网分类器连接两个1024和512大小全连接层,输出m个类别softmax概率估计,最后将m个类别判断送入投票器,投票器判断得票最多的类为生成图片类别。
5.根据权利要求4所述的方法,其特征在于,步骤2包括:
步骤2-1,采集扎染花形图、背景图组成数据集z,按比例λ随机抽取数据集z中一部分样本组成k个新数据集,定义训练目标函数:
ls=e[lnp(s=real|xreal)] e[lnp(s=fake|xfake)]
其中,ls表示正确图像源的对数似然,
步骤2-2,训练k次ici-acdcgan网络,i=1,2…k,每次用第i个新的数据集训练整个网络和第i个子网分类器,同时固定其余k-1个子网分类器两个1024和512大小全连接层的参数。
6.根据权利要求5所述的方法,其特征在于,步骤4包括:
步骤4-1,获取图形框架图宽高值w和h,使用区域连通算法提取出图形框架图中所有圆,记录下圆个数n,圆最小相邻间隔距离t,第i个圆中心坐标(xi,yi),i=1,2,…n,将所有圆设置为白色,图形框架图区域称为画布图像;
步骤4-2,设置每个ici-acdcgan网络生成方形扎染小图案边长len=rnd()/3 2/3,rnd()为0-1间的随机数;
步骤4-3,将图形框架图均分成p=roundup(w/len)×roundup(h/len)个区域,roundup()为小数向上取整函数;用训练好的ici-acdcgan网络生成p个背景图,背景图大小缩放至len×len,进行校色操作:
步骤4-4,校色后,遍历图形框架图中p个区域,分别将p个校色后背景图复制到p个区域;在rgb三通道采用大小为5*5的滤波窗口进行中值滤波消除相邻图像边缘线;
步骤4-5,用训练好的ici-acdcgan网络生成n个rgb扎染花形图,花形图大小缩放至len×len;
步骤4-6,对扎染花形图做校色处理,剔除花形图案的蓝底部分,通过关键区域拼贴算法解决花形校色及与背景融合的问题;
步骤4-7,输出图形框架图为生成扎染图案。
7.根据权利要求6所述的方法,其特征在于,步骤4-3中,所述校色操作包括:计算所有背景图rgb三通道均值,再单独计算每个背景图rgb均值,选择单图rgb均值与所有背景图rgb三通道欧氏均值距离最近者为参考图像,其它背景图为待校色图像,颜色按下式计算调整:
pdiff=pr_mean-pd_mean,
p′=pd pdiff×ρ,
式中,p表示框架图rgb三通道分量,pr_mean表示参考图像rgb三个通道的平均亮度值;pd_mean表示待校色图像rgb三个通道的平均亮度值;pdiff表示待校色图像与参考图像rgb三个通道平均亮度差值;ρ表示待校色图像三个通道的亮度调节因子;pd表示待校色图像中一像素点rgb三个通道的当前亮度值;pmax和pmin分别是待校色图像rgb三个通道的最大值和最小值;p′表示待校色图像中一像素点rgb三个通道校正后的亮度值。
8.根据权利要求7所述的方法,其特征在于,步骤4-6包括:所述通过关键区域拼贴算法解决花形校色及与背景融合的问题,包括:基于otsu分割算法分别提取出n个rgb扎染花形图的体现花形特征的白色花形区域,对n个白色花形区域按步骤4-3的方法进行校色处理,将校色后每个白色花形区域直接复制到画布坐标(xi,yi)处替换相同区域背景色,最后在画布图像rgb三通道采用大小为3*3的滤波窗口进行均值滤波,消除关键区域与背景间边缘影响。
技术总结