本申请属于图像处理技术领域，具体地，涉及一种基于肖像照片的简笔画生成方法、系统及存储介质。
背景技术：
随着机器视觉相关技术的不断发展，肖像绘制在虚拟现实、增强现实以及机器人肖像绘制系统等多媒体、个性化娱乐以及互联网等有广泛应用。随着人工智能的发展，越来越多人开始研究人工智能与艺术的结合，即计算艺术。我们可以通过数学和统计学，将艺术中包含的规律量化为数学关系，例如，黄金分割具有严格的比例性，艺术性和和谐性，并且具有丰富的审美价值。同时，这些数学关系成为计算艺术理论基础的一部分。当绘画涉及到人物的表达时，有许多不同形式的绘画艺术。肖像画包括了夸张肖像漫画，素描，卡通画和简笔画等。
拍摄的照片中，阴影有助于为图像中的内容创造深度，包括视觉和色彩上的深度以及精神意义上的深度，因此无论是证件照、生活照还是专业摄影出的照片正面面部都会存在阴影。除此之外，由于缺乏相关专业摄影技术，人们往往会拍出过曝光或是欠曝光的肖像照片。无论是阴影还是曝光问题，这都归结于光照的作用。然而，在肖像转简笔画的任务中，现有的方法非常容易受光照影响导致会产生很多突兀且不必要的线条，合成效果并不具备鲁棒性。
因此，肖像照片在不同区域、不同姿态下的光照上存在较大差异，现有的简笔画生成方法中，通常采用全局合成策略，即利用全局的表达方式进行简笔画生成，但是现有简笔画生成方法仍难以兼顾一张照片中不同的光照及姿态而出现的合成效果差的问题。
技术实现要素：
本发明提出了一种基于肖像照片的简笔画生成方法、系统及存储介质，旨在解决现有技术的简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。
根据本申请实施例的第一个方面，提供了一种基于肖像照片的简笔画生成方法，包括以下步骤：
根据肖像照片进行图像预处理得到预处理肖像图像；
根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；
根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像。
可选地，在根据光照处理图像进行简笔画融合得到简笔画图像后，还包括：
根据简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像。
可选地，在根据光照处理图像进行简笔画融合得到简笔画图像后，还包括：
根据简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，后处理包括高斯模糊处理以及自适应二值化处理。
可选地，根据肖像照片进行图像预处理得到预处理肖像图像，图像预处理具体包括：
根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
根据面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
根据人脸对齐肖像图像得到肖像照片解析掩码图；
根据肖像照片解析掩码图得到去背景的肖像图像。
可选地，根据预处理肖像图像进行光照属性检测及处理得到光照处理图像，光照属性检测及处理具体包括：
根据预处理肖像图像通过光照属性类别分类器得到肖像照片的光照属性，光照属性包括过曝光、欠曝光、阴影以及正常；
根据肖像照片的光照属性通过光照归一化模型得到消除光照影响的光照处理图像。
可选地，根据光照处理图像进行简笔画融合得到简笔画图像，简笔画融合具体包括：
根据光照处理图像通过姿态属性类别分类器得到带有姿态属性的图像，姿态属性包括正脸及侧脸；
根据侧脸图像以及简笔画风格照片通过全局生成器得到侧脸肖像的简笔画图像；
根据正脸图像以及简笔画风格照片通过局部生成器以及全局生成器得到正脸肖像的简笔画图像。
可选地，全局生成器具体包括：
采用adain网络结构作为全局生成器模型，
将celeba数据、celeba-hq数据以及简笔画风格照片作为adain网络结构的训练集；
加入内容损失函数、风格损失函数以及一致性损失函数优化adain网络结构，一致性损失函数为：
lcon(q)＝||g(q)-q||1
其中，g(·)表示adain网络结构，||·||1表示计算两者之间的欧式距离，欧式距离使全局生成器生成图和简笔画风格照片像素相一致。
根据本申请实施例的第二个方面，提供了一种基于肖像照片的简笔画生成系统，具体包括：
肖像照片预处理模块：用于根据肖像照片进行图像预处理得到预处理肖像图像；
光照属性检测及处理模块：用于根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；
简笔画融合模块：用于根据光照处理图像以及风格照片进行简笔画融合得到简笔画图像。
可选地，肖像照片预处理模块包括：
人脸关键点检测模型：用于根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
人脸对齐单元：用于根据面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
人脸解析模型：用于根据人脸对齐肖像图像得到肖像照片解析掩码图；
图像去背景单元：用于根据肖像照片解析掩码图得到去背景的肖像图像。
根据本申请实施例的第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于肖像照片的简笔画生成方法。
采用本申请实施例中的基于肖像照片的简笔画生成方法、系统及存储介质，通过根据肖像照片进行图像预处理得到预处理肖像图像；然后根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；最后根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像，解决了现有简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的一种基于肖像照片的简笔画生成方法的步骤流程图；
图2中示出了根据本申请实施例的光照及姿态检测处理流程示意图；
图3中示出了根据本申请实施例的侧脸简笔画生成流程示意图；
图4中示出了根据本申请实施例的正脸简笔画生成流程示意图；
图5中示出了根据本申请实施例的正脸简笔画生成流程的局部生成器示意图；
图6示出了根据本申请实施例的一种基于肖像照片的简笔画生成系统的结构示意图；
图7中示出了根据本申请另一实施例的一种基于肖像照片的简笔画生成系统的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现随着机器视觉相关技术的不断发展，肖像绘制在虚拟现实、增强现实以及机器人肖像绘制系统等多媒体、个性化娱乐以及互联网等有广泛应用。在肖像转简笔画的任务中，现有的方法非常容易受光照影响导致会产生很多突兀且不必要的线条，存在难以兼顾一张照片中不同的光照及姿态而出现的合成效果差的问题。
针对上述问题，本申请实施例中提供了一种基于肖像照片的简笔画生成方法，通过根据肖像照片进行图像预处理得到预处理肖像图像；然后根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；最后根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像，解决了现有简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。
本申请旨在首先检测照片不同区域光照之间的差异性，使其在光照上保持一致且消除过曝光、欠曝光、阴影的光照问题并通过不同姿态构建一种鲁棒的人物肖像简笔画生成方法，合成出线条干净、身份一致的高质量肖像简笔画。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的一种基于肖像照片的简笔画生成方法的步骤流程图。
如图1所示，本实施例的基于肖像照片的简笔画生成方法具体包括以下步骤：
s101：根据肖像照片进行图像预处理得到预处理肖像图像；
s102：根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；
s103：根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像。
s101中，根据肖像照片进行图像预处理得到预处理肖像图像，图像预处理具体包括：
1)根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标。
具体的，对于给定的肖像照片，通过人脸关键点预测模型进行面部框图以及关键点检测，得到肖像照片的面部边界框信息以及五官关键点相应的位置坐标。五官关键点为左眼中心、右眼中心、鼻尖以及嘴角。
2)根据面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像。
这步属于人脸对齐步骤，通过人脸关键点中的左右眼中心的位置坐标经过仿射变换操作以人脸对齐。
具体的，首先，通过纵轴坐标的值计算两眼中心的水平偏差角度，旋转图像使两眼中心保持水平；然后，通过缩放使两眼之间距离保持固定。
本申请实施例中将两眼间距设为150，最终得到对齐后的肖像照片sh×w×c,其中h,w,c分别为照片的高度、宽度以及通道数。
3)根据人脸对齐肖像图像得到肖像照片解析掩码图。
具体的，通过现有的人脸解析模型对肖像照片解析得到肖像照片解析掩码(mask)图pimageh×w×c，肖像照片掩码图尺寸与肖像照片一致，掩码图的解析成分由背景、面部、左眼、右眼、鼻子、嘴巴、颈部、衣服等19个部分组成，其类别标签由n∈{0,1,...,18}表示。
4)根据肖像照片解析掩码图得到去背景的肖像图像。
这步中，利用掩码中类别为背景的区域，将肖像照片在其区域内的颜色变为白色以达到肖像照片去背景操作。
s102中，根据预处理肖像图像进行光照属性检测及处理得到光照处理图像，光照属性检测及处理具体包括：
首先，根据预处理肖像图像通过光照属性类别分类器得到肖像照片的光照属性，光照属性包括过曝光、欠曝光、阴影以及正常；
然后，根据肖像照片的光照属性通过光照归一化模型得到消除光照影响的光照处理图像。
具体的，光照检测及处理步骤中，通过将肖像照片输入光照属性类别分类器进行光照检测。
关于光照属性类别分类器：本申请实施例从cmumulti-pie数据集中随机挑选出具有不同光照属性的肖像照片si，并将其打上标签li：
li＝p,p∈{0,1,2,3}
其中，标签分为4类属性：过曝光、欠曝光、阴影以及正常；标签p＝0代表图片具有过曝光的属性，p＝1,2,3分别代表图片具有欠曝光、阴影以及正常的属性。
将照片及标签组成二元组{si,l}，并以8：2的比例划分数据，然后分别作为光照属性类别分类器的训练集和测试集。
光照属性类别分类器通过交叉损失函数进行模型优化。
最终将s101中得到的预处理肖像图像输入光照属性类别分类器得到肖像照片的光照属性，光照属性包括过曝光、欠曝光、阴影以及正常。
进一步的，若光照属性得出肖像图像具有过曝光、欠曝光或阴影的属性结果，则输入生成对抗网络中进行光照归一化。
光照归一化模型从cmumulti-pie数据集中挑选出具有欠曝光、过曝光、阴影光照问题的肖像照片
本申请实施例采用生成对抗网络作为光照归一化模型，加入生成判别损失函数、判别损失函数和重建损失函数以优化模型参数。
测试时，将具有欠曝光、过曝光、阴影光照问题的肖像图像输入光照归一化模型中以消除光照对肖像简笔画图像生成的影响。
本申请实施例的生成对抗网络结构、生成判别损失函数、判别损失函数和重建损失函数均为现有技术，本申请将不再赘述。本申请其它实施例中涉及现有技术的网络结构以及常见函数模型，也将不一一进行赘述。本申请中采用的神经网络结构并不仅仅包括实施例中所述的，其它可实现同样功能结构的网路结构也在本申请实施例范围之内。
s103中，根据光照处理图像进行简笔画融合得到简笔画图像，简笔画融合具体包括：
1、根据光照处理图像通过姿态属性类别分类器得到带有姿态属性的图像，姿态属性包括正脸及侧脸。
具体的，将s102得到的光照处理图像输入姿态属性类别分类器进行姿态检测。
姿态属性类别分类器：本申请实施例从cmumulti-pie数据集中挑选出具有不同姿态属性肖像照片，并将其打上标签lp：
lp＝p,p∈{0,1}
其中，标签分为2类属性：正脸以及侧脸；标签p＝0代表正脸，p＝1代表侧脸。
将具有不同姿态属性肖像照片及标签组成二元组，并以8：2的比例划分数据分别作为姿态属性类别分类器的训练集和测试集。
然后，通过加入交叉损失函数进行模型优化。
测试时，将s102得到的光照处理图像输入姿态属性类别分类器得到肖像照片的姿态属性，得到带有姿态属性的图像。
图2中示出了根据本申请实施例的光照及姿态检测处理流程示意图；
如图2所示，通过s102的光照属性类别费分类器进行光照属性检测及处理得到光照处理图像，然后通过s103的姿态属性类别分类器得到带有正脸或者侧脸姿态属性的图像。
下一步的，根据正脸或者侧脸分别采用不同方法进行简笔画融合，具体的：
2、根据侧脸图像以及简笔画风格照片通过全局生成器得到侧脸肖像的简笔画图像。
具体的，当姿态属性类别分类器得到肖像照片的姿态属性为侧脸时，采用全局生成器进行简笔画融合。
具体的，全局生成器具体包括：
采用adain网络结构作为全局生成器模型；
将celeba数据、celeba-hq数据以及简笔画风格照片作为adain网络结构的训练集；
加入内容损失函数、风格损失函数以及一致性损失函数优化adain网络结构，一致性损失函数为：
lcon(q)＝||g(q)-q||1
其中，g(·)表示adain网络结构，||·||1表示计算两者之间的欧式距离，欧式距离使全局生成器生成图和简笔画风格照片像素相一致。
图3中示出了根据本申请实施例的侧脸简笔画生成流程示意图。
如图3所示，若姿态检测分类结果图像为侧脸，本申请实施例采用adain作为全局生成器。全局生成器由编码器、自适应实例化模块及解码器三部分组成，编码器的模型参数为预训练好的vgg-face模型参数。
将celeba和celeba-hq作为训练集的内容图像p，通过网络搜索挑选具有简笔画风格的图片作为训练集的风格图像q，adain的损失函数包括内容损失函数、风格损失以及一致性损失函数。
测试时，将侧脸图像以及简笔画风格照片同时输入全局生成器中，得到简笔画图像结果。可选地，再对生成结果做高斯模糊以及自适应二值化处理得到最终简笔画图像。
3、根据正脸图像以及简笔画风格照片通过局部生成器以及全局生成器得到正脸肖像的简笔画图像。
具体的，当姿态属性类别分类器得到肖像照片的姿态属性为正脸时，采用全局生成器加局部生成器进行简笔画融合。
图4中示出了根据本申请实施例的正脸简笔画生成流程示意图。
鉴于，adain对肖像姿态为侧脸的简笔画生成效果优于正脸，但pix2pix对侧脸生成效果却缺乏鲁棒性。因此，本实施例中，若姿态检测分类图像结果为正脸，则采用全局生成器和局部生成器进行融合得到最终简笔画。
本实施例中采用adain网络结构作为全局生成器，采用pix2pix网络结构作为局部生成器。
全局生成器与姿态为侧脸的全局生成器相同。首先，将正脸图像输入全局生成器中得到全局生成简笔画。
其次，将正脸图像的眉毛、眼睛、鼻子及嘴巴分别输入对应的局部生成器，局部生成器包括眉毛生成器、眼睛生成器、鼻子生成器及嘴巴生成器，得到眉毛简笔画画像、眼睛简笔画画像、鼻子简笔画画像及嘴巴简笔画画像。
最后将全局生成简笔画与眉毛简笔画画像、眼睛简笔画画像、鼻子简笔画画像及嘴巴简笔画画像进行融合，得到最后的正脸图像的简笔画。
具体的，局部生成器的训练集由apdrawinggan的数据集组成，将apdrawinggan的数据构成二元组{su,tu}，通过人脸关键点检测出二元组的左右眉、左右眼、鼻子、嘴巴并基于其关键点裁剪出对应的区域
通过生成判别损失函数、判别损失函数、重建损失函数优化模型参数分别得到训练好的眉毛、嘴巴、鼻子以及嘴巴的局部生成器。
图5中示出了根据本申请实施例的正脸简笔画生成流程的局部生成器示意图。
如图5所示，局部生成器包括编码器和解码器。测试时，通过人脸关键点检测中的眉毛、眼睛、鼻子、嘴巴关键点裁剪出四个相应的局部区域块，然后输入对应的局部生成器得到局部简笔画画像。
最后，基于s101中得到的肖像照片解析掩码图，将局部生成器生成的眉毛、眼睛、鼻子、嘴巴区域覆盖在全局生成器生成的简笔画相应区域，得到融合后的肖像简笔画画像。
实施例2
本实施例2在实施例1的s103中根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像之后，增加了以下步骤：
s104：根据简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像。
s105：根据简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，后处理包括高斯模糊处理以及自适应二值化处理。
具体的，s104中，采用生成对抗网络作为精炼图像模型，具体包括；
首先，找到专家基于肖像照片绘制的专家绘制简笔画图像，将s103得到的简笔画图像以及专家绘制简笔画图像构成二元组，作为精炼图像模型的训练集。
其次，加入生成判别损失函数、判别损失函数、重建损失函数以及强精炼损失函数优化精炼模型得到最优最终的精炼图像模型；
最后，测试时.将简笔画图像以及专家绘制简笔画图输入到精炼图像模型中得到更鲁棒细节更丰富的精炼简笔画图像。
具体的，s105中，所述简笔画后处理步骤，具体如下：
首先，通过将s101中人脸对齐后得到的肖像照片sh×w×c的人脸解析掩码图pimageh×w×c，将中面部区域的类别标签改为1，其余区域类别标签为0，得到一个新的面部部件掩码pfaceh×w×c；
其次，将新的面部部件掩码pfaceh×w×c经过腐蚀操作，然后映射到s104得到的精炼简笔画图像中，使简笔画的面部区域为白色，其余区域不变。
最后做图像二值化处理。将简笔画图像经过均值滤波操作达到图像模糊，即每个方形区域中的中心像素值为这个方形区域像素值总和的平均值。
之后，将模糊化图像经过sigmoid函数后，像素范围映射到0,1之间，达到二值化效果，二值化公式如下：
其中，e表示自然常数，x为模糊化图像。
实施例3
图6示出了根据本申请实施例的一种基于肖像照片的简笔画生成系统的结构示意图。
如图6所示，一种基于肖像照片的简笔画生成系统，具体包括：
肖像照片预处理模块10：用于根据肖像照片进行图像预处理得到预处理肖像图像；
光照属性检测及处理模块20：用于根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；
简笔画融合模块30：用于根据光照处理图像以及风格照片进行简笔画融合得到简笔画图像。
具体的，肖像照片预处理模块10包括：
人脸关键点检测模型：用于根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
人脸对齐单元：用于根据面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
人脸解析模型：用于根据人脸对齐肖像图像得到肖像照片解析掩码图；
图像去背景单元：用于根据肖像照片解析掩码图得到去背景的肖像图像。
图7中示出了根据本申请另一实施例的一种基于肖像照片的简笔画生成生成系统的结构示意图。
如图7所示实施例的基于肖像照片的简笔画生成系统，增加了精炼简笔画模块及简笔画后处理模块。
具体的，精炼简笔画模块根据简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像。
具体的，简笔画后处理模块根据简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，后处理包括高斯模糊处理以及自适应二值化处理。
本申请实施例中的基于肖像照片的简笔画生成方法及系统，通过根据肖像照片进行图像预处理得到预处理肖像图像；然后根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；最后根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像，解决了现有简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。
首先检测照片不同区域光照之间的差异性，使其在光照上保持一致且消除过曝光、欠曝光、阴影的光照问题并通过不同姿态构建一种鲁棒的人物肖像简笔画生成方法，合成出线条干净、身份一致的高质量肖像简笔画。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行以实现如上任一内容所提供的基于肖像照片的简笔画生成方法。
基于同一发明构思，本申请实施例中还提供了一种计算机程序产品，由于该计算机程序产品解决问题的原理与本申请实施例一所提供的方法相似，因此该计算机程序产品的实施可以参见方法的实施，重复之处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
1.一种基于肖像照片的简笔画生成方法，其特征在于，包括以下步骤：
根据肖像照片进行图像预处理得到预处理肖像图像；
根据所述预处理肖像图像进行光照属性检测及处理得到光照处理图像；
根据所述光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像。
2.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，在所述根据所述光照处理图像进行简笔画融合得到简笔画图像后，还包括：
根据所述简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像。
3.根据权利要求1或2任一项所述的基于肖像照片的简笔画生成方法，其特征在于，在所述根据所述光照处理图像进行简笔画融合得到简笔画图像后，还包括：
根据所述简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，所述后处理包括高斯模糊处理以及自适应二值化处理。
4.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，所述根据肖像照片进行图像预处理得到预处理肖像图像，所述图像预处理具体包括：
根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
根据所述面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
根据所述人脸对齐肖像图像得到肖像照片解析掩码图；
根据所述肖像照片解析掩码图得到去背景的肖像图像。
5.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，所述根据所述预处理肖像图像进行光照属性检测及处理得到光照处理图像，所述光照属性检测及处理具体包括：
根据所述预处理肖像图像通过光照属性类别分类器得到肖像照片的光照属性，所述光照属性包括过曝光、欠曝光、阴影以及正常；
根据所述肖像照片的光照属性通过光照归一化模型得到消除光照影响的光照处理图像。
6.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，所述根据所述光照处理图像进行简笔画融合得到简笔画图像，所述简笔画融合具体包括：
根据所述光照处理图像通过姿态属性类别分类器得到带有姿态属性的图像，所述姿态属性包括正脸及侧脸；
根据所述侧脸图像以及简笔画风格照片通过全局生成器得到侧脸肖像的简笔画图像；
根据所述正脸图像以及简笔画风格照片通过局部生成器以及全局生成器得到正脸肖像的简笔画图像。
7.根据权利要求6所述的基于肖像照片的简笔画生成方法，其特征在于，所述全局生成器具体包括：
采用adain网络结构作为全局生成器模型；
将celeba数据、celeba-hq数据以及简笔画风格照片作为所述adain网络结构的训练集；
加入内容损失函数、风格损失函数以及一致性损失函数优化所述adain网络结构，所述一致性损失函数为：
lcon(q)＝||g(q)-q||1
其中，g(·)表示adain网络结构，||·||1表示计算两者之间的欧式距离，所述欧式距离使全局生成器生成图和简笔画风格照片像素相一致。
8.一种基于肖像照片的简笔画生成系统，其特征在于，具体包括：
肖像照片预处理模块：用于根据肖像照片进行图像预处理得到预处理肖像图像；
光照属性检测及处理模块：用于根据所述预处理肖像图像进行光照属性检测及处理得到光照处理图像；
简笔画融合模块：用于根据所述光照处理图像以及风格照片进行简笔画融合得到简笔画图像。
9.根据权利要求1所述的基于肖像照片的简笔画生成系统，其特征在于，所述肖像照片预处理模块包括：
人脸关键点检测模型：用于根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
人脸对齐单元：用于根据所述面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
人脸解析模型：用于根据所述人脸对齐肖像图像得到肖像照片解析掩码图；
图像去背景单元：用于根据所述肖像照片解析掩码图得到去背景的肖像图像。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的基于肖像照片的简笔画生成方法。
技术总结