人脸图像编辑方法、装置和存储介质与流程

专利2022-06-28  71


本发明涉及计算机视觉技术领域,具体涉及一种人脸图像编辑方法、装置和存储介质。



背景技术:

随着计算机视觉技术和图形学的快速发展,图像因其表示直观、传递便捷,逐渐成为人们日常信息交流的主要载体。而人脸作为人体上蕴含差异化信息最多的部分,在信息交流中受到广大用户的偏爱。

目前,相关技术中存在对人脸图像的编辑方案,可以对人脸图像进行编辑,即对人脸图像中的各要素如鼻子、嘴巴、眼睛等进行调整,生成新的人脸图像。但是这些编辑方案对人脸的人脸属性理解不足,不能很好地调整人脸尤其是真实人脸的人脸属性。



技术实现要素:

本发明实施例提供一种人脸图像编辑方法、装置和存储介质,可以提升人脸图像的隐变量在隐变量空间的准确性,提升对人脸的编辑效果。

本发明实施例提供一种人脸图像编辑方法,该人脸图像编辑方法包括:

展示图像编辑页面,其中,所述图像编辑页面包括待编辑的人脸图像;

响应于针对所述人脸图像的属性编辑操作,确定所述人脸图像中待编辑的目标人脸属性和所述目标人脸属性的编辑信息;

基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像,所述第一隐变量为所述人脸图像在隐变量空间中的初始隐变量;

基于所述模拟人脸图像与所述人脸图像之间的图像差异信息,对所述第一隐变量进行调整,得到调整后隐变量;

获取在所述隐变量空间中调整后隐变量的变化,与所述目标人脸属性的变化之间的关联关系,基于所述关联关系和所述编辑信息,对所述调整后隐变量进行调整,得到目标隐变量;

基于所述目标隐变量生成所述目标人脸属性对应的编辑后人脸图像,展示所述编辑后人脸图像。

本发明实施例还提供一种人脸图像编辑装置,该人脸图像编辑装置包括:

编辑页面展示单元,用于展示图像编辑页面,其中,所述图像编辑页面包括待编辑的人脸图像;

获取单元,用于响应于针对所述人脸图像的属性编辑操作,确定所述人脸图像中待编辑的目标人脸属性和所述目标人脸属性的编辑信息;

模拟单元,用于基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像,所述第一隐变量为所述人脸图像在隐变量空间中的初始隐变量;

第一调整单元,用于基于所述模拟人脸图像与所述人脸图像之间的图像差异信息,对所述第一隐变量进行调整,得到调整后隐变量;

第二调整单元,用于获取在所述隐变量空间中调整后隐变量的变化,与所述目标人脸属性的变化之间的关联关系,基于所述关联关系和所述编辑信息,对所述调整后隐变量进行调整,得到目标隐变量;

图像展示单元,用于基于所述目标隐变量生成所述目标人脸属性对应的编辑后人脸图像,展示所述编辑后人脸图像。

本发明实施例还提供一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如上所述人脸图像编辑方法的步骤。

本发明实施例还提供一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上所述人脸图像编辑方法的步骤。

本发明实施例提供了一种人脸图像编辑方法、装置、计算机设备和存储介质,可以展示图像编辑页面;响应于针对人脸图像的属性编辑操作,确定人脸图像中待编辑的目标人脸属性和目标人脸属性的编辑信息;基于第一隐变量,对人脸图像中的人脸进行模拟,生成模拟人脸图像,其中,第一隐变量为人脸图像在隐变量空间中的初始隐变量;基于模拟人脸图像与人脸图像之间的图像差异信息,对第一隐变量进行调整,得到调整后隐变量;由此,人脸图像可以准确地映射到隐变量空间中,提升隐变量空间中调整后隐变量对人脸图像的人脸信息的表达准确性,尤其对于真实人脸而言,通过本方式获取的真实人脸图像的隐变量在隐变量空间中的位置更加准确;之后,通过获取在隐变量空间中调整后隐变量的变化,与目标人脸属性的变化之间的关联关系,可以基于关联关系和编辑信息,对调整后隐变量进行调整,得到人脸图像编辑后对应的目标隐变量;由此,编辑后的人脸图像在隐变量空间的准确性得到保证,所以基于目标隐变量生成的编辑后人脸图像,在目标人脸属性上的调整更加准确和真实,提升了人脸图像的编辑效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的人脸图像编辑方法的场景示意图;

图2是本发明实施例提供的一种人脸图像编辑方法的流程图;

图3a是本发明实施例中人脸属性编辑的一种示意图;

图3b是本发明实施例中人脸属性编辑的一种示意图;

图3c是本发明实施例中人脸属性编辑的一种示意图;

图3d是本发明实施例中人脸属性编辑的一种示意图;

图3e是本发明实施例中模仿目标模仿图像实现的人脸属性编辑的一种示意图;

图4是本发明实施例中生成器的结构框图;

图5a是本发明实施例提供中隐变量的方向向量的获取方法的流程示意图;

图5b是本发明实施例提供的基于二分类确定方向向量的示意图;

图5c是采用本发明实施例的方法,设置“笑”的不同程度得到的不同笑脸的示意图;

图5d是本发明实施例提供的基于方向向量的编辑后人脸图像的获取流程示意图;

图6是本发明实施例提供的一种人脸图像编辑装置的结构示意图;

图7是本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供一种人脸图像编辑方法、装置、计算机设备和存储介质。具体地,本实施例提供适用于人脸图像编辑装置的人脸图像编辑方法,该人脸图像编辑装置可以集成在计算机设备中。

该计算机设备可以为终端等设备,例如可以为手机、平板电脑、笔记本电脑、台式电脑等。

该计算机设备还可以为服务器等设备,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器,但并不局限于此。

本实施例的人脸图像编辑方法,可以由终端实现,也可以由终端和服务器共同实现。

下面以终端和服务器共同实现该人脸图像编辑方法为例,对人脸图像编辑方法进行说明。

参考图1,本发明实施例提供的人脸图像编辑系统包括终端10和服务器20等;终端10与服务器20之间通过网络连接,比如,通过有线或无线网络连接等,其中,终端侧的人脸图像编辑装置可以以客户端的形式集成在终端中。

其中,终端10,可以用于展示图像编辑页面,其中,图像编辑页面包括待编辑的人脸图像;响应于针对人脸图像的属性编辑操作,确定人脸图像中待编辑的目标人脸属性和目标人脸属性的编辑信息,向服务器20发送编辑信息和人脸图像,触发服务器基于编辑信息和人脸图像,得到人脸图像对应的编辑后人脸图像,并向终端发送编辑后人脸图像。

其中,服务器20可以用于接收编辑信息和人脸图像,基于第一隐变量,对人脸图像中的人脸进行模拟,生成模拟人脸图像,第一隐变量为人脸图像在隐变量空间中的初始隐变量;基于模拟人脸图像与人脸图像之间的图像差异信息,对第一隐变量进行调整,得到调整后隐变量;获取在隐变量空间中调整后隐变量的变化,与目标人脸属性的变化之间的关联关系,基于关联关系和编辑信息,对调整后隐变量进行调整,得到目标隐变量;基于目标隐变量生成目标人脸属性对应的编辑后人脸图像,向终端10发送编辑后人脸图像。

终端10还可以用于接收服务器发送的编辑后人脸图像,展示编辑后人脸图像。

在一个示例中,上述服务器20获取编辑后人脸图像的方案,可以由终端10完成。

以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。

本发明实施例将从人脸图像编辑装置的角度进行描述,该人脸图像编辑装置具体可以集成在终端中。例如以客户端的形式,或者以客户端的服务模块的形式集成在终端中。其中,该服务模块可以理解为实现本实施例的人脸图像编辑方法的代码构成的组件。本实施例的人脸图像编辑方法可以由终端的处理器执行。或者人脸图像编辑装置的一部分可以集成在终端中,一部分可以集成在服务器中。例如实现基于编辑信息和人脸图像得到编辑后人脸图像的部分可以集成在服务器中,其他的部分,例如实现获取人脸图像,获取编辑信息,展示编辑后人脸图像等功能的部分,可以集成在终端中。

本发明实施例提供了一种人脸图像编辑方法,该方法涉及计算机视觉技术(computervision,cv)中的人脸识别(facerecognition)技术,更具体的,涉及人脸识别技术中的人脸属性识别(faceattributerecognition)技术。

计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(opticalcharacterrecognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。本实施例中的人脸图像编辑方法可基于人脸识别技术,尤其是人脸属性识别技术,对人脸图像的人脸属性进行编辑。

如图2所示,本实施例的人脸图像编辑方法的流程可以如下:

201、展示图像编辑页面,其中,图像编辑页面包括待编辑的人脸图像;

可选的,本实施例的图像编辑页面可以是由客户端展示的图像编辑页面,或者也可以是通过web端的网页展示的图像编辑页面,本实施例对此没有限制,其中,客户端可以是任意类型的客户端,例如视频客户端以及即时通讯客户端等等。

本实施例的图像编辑页面中人脸图像可以是生成的虚拟人脸图像,也可以是真实人脸图像。该真实人脸图像可以是通过实时拍摄获取的,也可以是从终端的图像集合中获取的,或者可以是从网上下载的。其中,该图像集合可以是相册,或者客户端对应的缓存图像的集合,该图像集合可以是终端本地存储的图像集合,也可以是终端的用户在云存储平台上存储的图像集合,本实施例对此没有限制。

可以理解的是,对于不同的客户端,图像编辑页面的触发方式不同,在一个示例中,客户端为即时通讯客户端,步骤“展示图像编辑页面”,可以包括:

展示即时通讯客户端的聊天会话页面;

响应于针对聊天会话页面的图像发送触发操作,展示图像获取页面;

响应于针对图像获取页面的图像获取操作,展示即时通讯客户端的图像编辑页面,图像编辑页面中待编辑的人脸图像为通过图像获取操作获取的图像。

其中,聊天会话页面可以是群聊页面或单聊页面,本实施例对此没有限制。

一个示例中,聊天会话页面包括信息发送触发控件,图像获取页面为图像选择页面,步骤“响应于针对聊天会话页面的图像发送触发操作,展示图像获取页面”,可以包括:

基于针对信息发送触发控件的触发操作,展示发送信息选择子页面,发送信息选择子页面包括已有图像选择控件;

基于针对已有图像选择控件的触发操作,显示终端的图像选择页面,图像选择页面中包括来自于终端的图像集合的候选图像。

上述针对控件的触发操作可以是点击,滑动,双击等触控操作。

对应的,步骤“响应于针对图像获取页面的图像获取操作,展示即时通讯客户端的图像编辑页面”,可以包括:

响应于针对图像选择页面中候选图像的选定操作,展示即时通讯客户端的图像编辑页面,图像编辑页面中待编辑的人脸图像为被选中的候选图像。

上述针对候选图像的选定操作可以是针对候选图像的点击、长按、双击,指关节点击等触控操作。

可选的,在另一个示例中,聊天会话页面包括信息发送触发控件,图像获取页面为图像拍摄页面,步骤“响应于针对聊天会话页面的图像发送触发操作,展示图像获取页面”,可以包括:

基于针对信息发送触发控件的触发操作,展示发送信息选择子页面,发送信息选择子页面包括图像拍摄控件;

基于针对图像拍摄控件的触发操作,显示终端的图像拍摄页面,图像拍摄页面包括图像拍摄控件。

上述针对控件的触发操作可以是点击,滑动,双击等触控操作。

对应的,步骤“响应于针对图像获取页面的图像获取操作,展示即时通讯客户端的图像编辑页面”,可以包括:

响应于针对图像拍摄控件的拍摄操作,展示即时通讯客户端的图像编辑页面,图像编辑页面中待编辑的人脸图像为基于拍摄操作拍摄的图像。

上述的拍摄操作可以是针对图像拍摄控件的点击等触控操作等,本实施例对此没有限制。

202、响应于针对人脸图像的属性编辑操作,确定人脸图像中待编辑的目标人脸属性和目标人脸属性的编辑信息;

本实施例中的人脸属性可以表征人脸特征的一系列生物特性,人脸属性具有很强的自身稳定性和个体差异性,其标识了人的身份。人脸属性包括但不限于性别、肤色、年龄、表情、人种、发色、胡须等等属性。

其中,不同属性下还可以包括不同的子属性,例如,表情属性包括笑、哭、喜、悲、怒、惊等等。人中属性可以包括黄色人种,黑色人种和白色人种等等,黄色人种中还可以包括中国人、韩国人、日本人等等更小的属性。本实施例中的目标人脸属性可以是上述的大范围的属性,也可以是小范围的属性,本实施例对此没有限制。

本实施例中,步骤202中的编辑操作可以是一系列触控操作组合而成的操作。

本实施例中,通过编辑操作,可以在客户端提供的多个人脸属性中选择目标人脸属性,以及设置对目标人脸属性的编辑信息,

可选的,图像编辑页面包括第一属性编辑控件,步骤“响应于针对人脸图像的属性编辑操作,确定人脸图像中待编辑的目标人脸属性和目标人脸属性的编辑信息”,可以包括:

基于针对第一属性编辑控件的触发操作,展示人脸图像的属性编辑页面,属性编辑页面包括人脸图像,以及候选人脸属性;

基于针对候选人脸属性中目标人脸属性的选择操作,展示目标人脸属性的编辑控件;

响应于针对编辑控件的设置操作,获取目标人脸属性的编辑信息。

其中,属性编辑页面可以是在图像编辑页面中切换显示候选人脸属性得到的页面。

本实施例的候选人脸属性包括但不限于年龄,性别,表情,人种,肤色等等。

可选的,本实施例中,对于不同的人脸属性,编辑控件的内容和对应的设置操作可以不同,例如对于表情属性,编辑控件的设置操作可以是一系列触控操作的组合。

例如,参考图3a,图3a中301为图像编辑页面,该页面包括终端的用户a的自拍照(即待编辑的人脸图像),该图像编辑页面中包括针对图像进行不同编辑的控件,例如针对图像的人脸属性进行编辑的第一属性编辑控件,如名为“属性编辑”的控件。当检测到针对301指示的页面中“属性编辑”控件的点击操作,展示如图3a中302指示的属性编辑页面,该属性编辑页面包括户a的自拍照,以及候选人脸属性如表情、年龄、性别,人种等等人脸属性。

当检测到针对302指示的页面中“表情”属性的选择操作时,展示303页面中“表情”属性的编辑控件3031;该编辑控件3031包括各个表情子控件30311以及对应于表情子控件的变化程度选择控件30312和确认控件30313,其中,表情子控件对应显示有表情属性的子属性名称,例如3031中的“笑”,“怒”,“悲”等表情子控件。如30312所示,变化程度选择控件可以以条状控件的形式表示,用户针对条状控件的滑动操作可以改变定位点在条状控件中的位置,以确定子表情的变化程度。例如,当用户选择30311中“笑”的表情子控件时,30312中a点表示用户a的照片在“笑”属性的初始属性信息,例如“笑”的程度为“不笑”,当检测到用户针对变化程度选择控件的选择操作时,例如针对条状控件的滑动操作时,确定定位点的变化量,从而确定用户a的照片在“笑”属性上的编辑信息,例如在30312上从a点滑动到b点表示从用户a的照片在“笑”属性上的属性信息从“不笑”,变为“微笑”。当30312的定位点位于b点时,若在3031页面上检测到针对名为“完成”的确认控件的触发操作,开始基于编辑信息对用户a的照片进行编辑,在编辑完成后,显示304所示页面,该页面中用户a的“笑”属性相较于303中从“不笑”变为了“微笑”。可以理解的是,b点在进度条上的位置不同,则304中“笑”的程度也不同,例如,若b在b1的位置上,304中“笑”的幅度比“微笑”更大。

本实施例的编辑信息中包含可以体现编辑前后目标人脸属性的变化方向和变化程度的信息,该变化方向包括但不限于正向变化和反向变化。例如,对于“笑”属性,变化方向包括“笑”幅度的增大方向和减小方向,变化程度是“笑”的变化幅度。

例如,编辑信息可以包括人脸图像在目标人脸属性上的原始属性信息,以及人脸属性编辑后,人脸图像在目标人脸属性上的目标属性信息。以原始属性信息和目标属性信息体现编辑前后目标人脸属性的变化方向和变化程度。比如,还是以“笑”为例,编辑信息可以包括“笑”属性的原始属性信息“微笑”,以及目标属性信息“大笑”。

除了笑之外,本实施例还可以对其他人脸属性进行编辑,例如,假设用户a的照片为图3b中前两个页面中的照片,若在305中的编辑控件3031选择的目标人脸属性为“怒”,c表示照片在目标人脸属性上的原始属性信息为不怒,c1表示编辑后目标人脸属性上的目标属性信息为“怒”,编辑后人脸图像可以如图3b的306页面所示。

例如,参考图3c,若在307所示页面中选择目标人脸属性为“惊”,d表示照片的目标人脸属性为不惊,d1表示编辑后目标人脸属性为“惊”,编辑后人脸图像可以如图3c的308页面所示。

例如,参考图3d,若在309所示页面中选择目标人脸属性为“胡须”,f表示照片的“胡须”较少,f1表示编辑后“胡须”增加。编辑后人脸图像可以如图3d的310页面所示。

为避免肖像权问题,本实施例中图3a-3d中的人脸图像示例采用的是生成的虚拟人脸,但是在实际使用中,页面中的人脸图像可以是用户利用前置摄像头拍摄的自拍照等真实人脸图像。

本实施例的人脸属性编辑方法还可以应用于人脸属性模仿场景中,通过编辑操作,可以选择某模仿对象如某明星的目标模仿图像,终端以目标模仿图像中的某些人脸属性作为目标人脸属性,对人脸图像进行编辑,使得用户可以基于自己的人脸图像得到模仿该模仿对象的人脸图像。

可选的,本实施例的图像编辑页面包括第二属性编辑控件,步骤“响应于针对人脸图像的属性编辑操作,确定人脸图像中待编辑的目标人脸属性和目标人脸属性的编辑信息”,可以包括:

基于针对第二属性编辑控件的触发操作,展示人脸图像的属性编辑页面,属性编辑页面包括人脸图像,以及模仿控件;

基于针对模仿控件的触发操作,显示模仿图像选择页面,其中,模仿图像选择页面包括候选模仿图像;

响应于针对候选模仿图像中目标模仿图像的模仿触发操作,获取目标模仿图像的被模仿人脸属性,作为人脸图像的目标人脸属性;

获取目标模仿图像中目标人脸属性的属性信息,基于属性信息确定人脸图像中目标人脸属性的编辑信息。

本实施例中,被模仿人脸属性可以是预先设置的人脸属性,例如“表情”属性,或“人种”属性,或“年龄”属性等等。被模仿人脸属性的数量可以为多个。

其中,可以利用人脸属性识别技术对目标模仿图像中的人脸进行属性识别,得到被模仿人脸属性的属性信息。

在一个示例中,还可以先对目标模仿图像进行人脸属性识别,获取目标模仿图像在多个(例如40个)预设人脸属性上的属性信息,基于该属性信息选择目标模仿图像的被模仿人脸属性。

例如可以预先为每个预设人脸属性设置基于属性信息的选择条件,例如,设置笑的选择条件为属性信息为“大笑”,以此选择出目标模仿图像在人脸属性上表现突出的属性作为被模仿人脸属性。

本实施例中的候选模仿图像可以是客户端提供的,也可以用户提前存储至图像集合中的,本实施例对此没有限制。

本实施例的第一属性编辑控件和第二属性编辑控件可以是同一控件。

例如,参考图3e,图3e中311为图像编辑页面,该页面包括终端的用户b的自拍照(即待编辑的人脸图像),该图像编辑页面中包括针对图像进行不同编辑的控件,例如针对图像的人脸属性进行编辑的第二属性编辑控件,如名为“属性编辑”的控件。当检测到针对311指示的页面中“属性编辑”控件的点击操作,展示如图3e中312指示的属性编辑页面,该属性编辑页面包括用户b的自拍照,以及模仿控件如312中名为“人脸模仿”的控件,当检测到针对“人脸模仿”控件的触发操作时,显示313指示的模仿图像选择页面,其中,模仿图像选择页面包括候选模仿图像。当检测到针对目标模仿图像的属性模仿选择操作如点击操作时,确定目标模仿图像的被模仿人脸属性例如“笑”,作为用户b的自拍照的目标人脸属性;获取目标模仿图像中目标人脸属性的属性信息例如笑的程度为“大笑”,基于该属性信息确定人脸图像中目标人脸属性的编辑信息,例如编辑信息为将用户b的自拍照的“笑”属性调整到“大笑”的程度。

203、基于第一隐变量,对人脸图像进行模拟,生成模拟人脸图像,第一隐变量为人脸图像在隐变量空间中的初始隐变量;

204、基于模拟人脸图像与人脸图像之间的图像差异信息,对第一隐变量进行调整,得到调整后隐变量;

本实施例的初始隐变量可以理解为在隐变量空间中对人脸图像的初始描述,在一个示例中,不同人脸图像可以使用同一个初始隐变量,在另一个示例中,可以基于某种特定的人脸属性,对在该特定人脸属性上表现出不同属性信息的人脸图像设置对应的初始隐变量,该特定人脸属性可以为性别,年龄,人种等等。如,该特定人脸属性为性别,则可以针对属性信息为男性和女性的人脸图像设置对应的初始隐变量,又例如,该特定人脸属性为年龄,则可以针对属性信息为不同年龄阶段的人脸图像设置对应的初始隐变量。

本实施例中,可以基于生成对抗网络(generativeadversarialnetwork,简称gan)实现对调整后隐变量的获取。生成对抗网络是非监督式学习的一种方法,至少包括一个生成器网络(generatornetwork)与一个判别器网络(discriminatornetwork)。

本实施例中,生成器网络可以用于基于隐变量生成模拟人脸图像,判别器网络可以用于确定模拟人脸图像与步骤201中待编辑的人脸图像的差异。

本实施例使用的生成对抗网络可以是在高清人脸图像数据(如分辨率1024*1024的人脸图像)上训练得到的网络,该网络中的生成器可以视为高清人脸生成器。该基于高清人脸图像数据的生成器,能够处理高清人脸,生成的新表情能够保持分辨率。在训练生成对抗网络时,可以利用生成器网络基于随机变量生成模拟人脸的模拟图像,将模拟图像和真实的人脸图像输入判别器网络,由判别器网络基于输入的两种类型的图像确定模拟图像中人脸是否“真实”,基于判别器网络的判别结果,调整生成器网络和判别器网络,实现生成对抗网络的训练。

本实施例中,步骤“基于第一隐变量,对人脸图像进行模拟,生成模拟人脸图像”,可以包括:

通过生成对抗网络中的生成器网络,基于第一隐变量对人脸图像中进行模拟,生成模拟人脸图像。

对应的,步骤“基于模拟人脸图像与人脸图像之间的图像差异信息,对第一隐变量进行调整,得到调整后隐变量”,可以包括:

通过生成对抗网络中的判别器网络,对模拟人脸图像和人脸图像进行比较,得到模拟人脸图像与人脸图像的图像差异信息;

基于图像差异信息和人脸图像,对第一隐变量进行调整,得到调整后隐变量。

根据前述的描述可知,本实施例中可以基于某种特定的人脸属性,对在该人脸属性表现不同属性信息的人脸图像,设置对应的初始隐变量,所以本实施例在需要获取初始隐变量的时,可以基于待编辑的人脸图像在某特定人脸属性表现的属性信息,选择对应的初始隐变量作为人脸图像的第一隐变量,以提升基于第一隐变量生成与待编辑的真实人脸图像相似度较高的模拟人脸图像的速度,降低获取调整后隐变量所需时间。

可选的,步骤“基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像”前,还可以包括:识别待编辑的人脸图像在某特定人脸属性上表现的实际属性信息,基于所述实际属性信息选择所述实际属性信息对应的初始隐变量作为第一隐变量。

例如,考虑到人种属性对面部肌肉的影响,可以基于人种属性设置初始隐变量,对不同的人种设置不同的初始隐变量。在生成模拟人脸图像前,识别待编辑的人脸图像在人种属性上表现出的真实人种属性信息,选择该真实人种属性信息对应的初始隐变量作为第一隐变量。

当然,在另一些示例中,输入生成器网络的隐变量,还可以是随机变量,在该示例中,生成器网络生成与待编辑的人脸图像相似的模拟人脸图像所需的时间会较多一点。

在一个示例中,生成对抗网络还可以包括映射网络(mappingnetwork),映射网络与本实施例的生成器网络连接,用于将输入的变量编码为中间变量即本实施例的隐变量,将该隐变量输入生成器网络,以生成模拟人脸图像。可以理解的是,本实施例中,隐变量中包含了控制不同人脸属性的元素,本实施例中也是通过对隐变量的调整,实现对待编辑的人脸图像上的人脸属性的调整,实际中,在调整人脸属性时,希望人脸图像中只有被调整的人脸属性发生变化,其他的人脸属性保持不变,例如,调整头发颜色的人脸属性时,不希望调整眉毛的浓度这一人脸属性,所以隐变量中,不同人脸属性在隐变量中的特征相关性越少越好,即特征纠缠越少越好,映射网络的使用,可以降低隐变量中不同人脸属性的特征纠缠。

本实施例的隐变量可以是由映射网络基于随机变量映射而成的中间变量。本实施例的生成对抗网络使用的网络结构不限,可以是cgan(conditionalgenerativeadversarialnetwork,条件生成式对抗网络),pgan(predictiongenerativeadversarialnetwork,预测生成对抗网络),stylegan,biggan等等。

参考图4,图4示出了基于stylegan网络结构实现的生成网络的网络框架,生成的图像image=generator(w),w=mapping(z)。

其中,generator表示图4中的生成器网络,mapping表示图4中的映射网络,z为输入映射网络的随机变量,映射网络用于将随机变量z编码为用于生成图像的隐变量w。参考图4,随机变量z可以为维度一定(例如为512维)的随机变量。

本实施例中,人脸图像的初始隐变量可以是基于映射网络实时映射得到的,步骤“基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像”之前,还可以包括:基于生成对抗网络中的映射网络将随机变量映射为隐变量,将该隐变量作为待编辑的人脸图像对应的第一隐变量。

在另一个示例中,可以基于映射网络预先获取一些模拟人脸图像的隐变量并存储至特定存储空间,如存储在人脸图像编辑装置所属区块链的共享账本中,在触发对待编辑的人脸图像进行人脸属性编辑时,可以从预存的隐变量中获取合适的隐变量作为初始隐变量使用。例如可以从预存的隐变量中随机获取,或者可以确定待编辑的人脸图像在特定人脸属性上表现的实际属性信息,从预存的隐变量中选择该实际属性信息对应的隐变量作为待编辑的人脸图像的初始隐变量。

一个示例中,在生成模拟人脸图像时,可以以初始隐变量替代随机变量输入映射网络,通过映射网络的映射以及生成器网络的处理得到模拟人脸图像。

本实施例中,在隐变量中人脸属性的解耦程度即人脸属性在隐变量中的特征相关性越低越好,考虑到在stylegan中,通过映射网络,隐变量w中各种人脸属性解耦得比较好,所以本实施例中可以采用stylegan的生成器网络,作为生成对抗网络中的生成器网络。

本实施例中,可以采用优化的方法去求解人脸图像对应的调整后隐变量w。以下对采用求解调整后隐变量w*的算法流程进行描述。其中,以i表示待编辑的人脸图像,g表示高清生成器,w*表示调整后隐变量,表示第一隐变量,其中,可以先给一个合适的初始化,初始化可以使用平均隐变量

调整后隐变量w*的求解步骤如下:

1、将输入高清生成器,得到模拟人脸图像g();

2、计算损失函数loss(g(),i);

3、基于损失函数,采用bp(errorbackpropagation,误差反向传播)算法,将通过损失函数计算得到的误差在生成器网络中反向传播,采用梯度下降法求解隐变量的调整量,从而得到调整后隐变量w*=

4、将调整后隐变量w*输入高清生成器,得到模拟人脸图像g(w*);

5、计算损失函数loss(g(w*),i),在损失函数未满足收敛条件时,继续执行步骤6,在损失函数满足收敛条件时,以该调整后隐变量w*作为最终使用的调整后隐变量;

6、基于损失函数,采用bp(errorbackpropagation,误差反向传播)算法,将通过损失函数计算得到的误差在生成器网络中反向传播,再采用梯度下降法以得到隐变量的调整量,从而得到调整后隐变量w*=,返回执行步骤4。

其中收敛条件可以为,损失函数收敛至预设损失阈值以下。或者模拟人脸图像的生成次数超过预设最低次数阈值。

本实施例中第一隐变量与调整后隐变量和目标隐变量的维度是相同的。本实施例中采用bp算法和梯度下降算法优化隐变量时,对于生成器网络的权重可以不进行调整。

其中,假设w为n维变量,n维的变量w*表示为[w1,w2,w3,···,wn],上述的也是n维的变量。

在一个示例中,可以将模拟人脸图像对应的损失作为隐变量一侧的损失,,公式中,loss表示上述的loss(g(),i),或者loss(g(w*),i)。

在另一个示例中,可以基于bp算法将损失反向传输至隐变量一侧后,可以得到隐变量中每个维度的元素对应的损失,即基于bp算法得到loss1-lossn(即w1-wn对应的损失),则

上述方案中,为调整权重参数,可以根据实际需要设置为任意数值,例如设置为0-1之间的任意数值。

通过上述方案可以使得由w*生成的模拟人脸图像g(w*)与人脸图像i的差距最小。

本实施例中,可以采用现有任意可用的损失函数衡量w*生成的模拟人脸图像g(w*)与人脸图像i的图像差异。在一个示例中,可以使用lpips(learnedperceptualimagepatchsimilarity,学习感知图像块相似性)损失函数,作为衡量w*生成的模拟人脸图像g(w*)与人脸图像i的差距的损失函数。其中,loss=lpips(g(w*),i)。

损失函数的损失值可以作为图像差异信息使用,可以理解的是,第一隐变量的调整次数可能有多次,在第一隐变量调整结束后,基于调整后隐变量生成的模拟人脸图像与人脸图像的损失值,小于预设损失阈值。

在实际中,可以设置第一隐变量的迭代调整次数如1000次(可以是其他数值),将1000次迭代后得到的隐变量作为最终的调整后隐变量。

205、获取在隐变量空间中调整后隐变量的变化,与目标人脸属性的变化之间的关联关系,基于关联关系和编辑信息,对调整后隐变量进行调整,得到目标隐变量;

本实施例中,通过高清生成器,建立起了调整后隐变量与人脸图像之间的联系,且调整后隐变量可以在隐变量空间中对人脸图像进行准确的表示。

可选的,步骤“基于关联关系和编辑信息,对调整后隐变量进行调整,得到目标隐变量”,可以包括:

基于人脸图像中目标人脸属性的编辑信息,确定人脸图像的目标人脸属性在编辑前后的属性变化信息;

基于属性变化信息和关联关系,确定在隐变量空间中调整后隐变量的目标变化量;

基于目标变化量与调整后隐变量,得到目标隐变量。

本实施例的属性变化信息指的是可以描述编辑前后目标人脸属性的属性信息的变化信息,包括但不限于编辑前后目标人脸属性的属性变化方向和属性变化程度。

在一个示例中,编辑信息中可以包括该属性变化信息,基于人脸图像中目标人脸属性的编辑信息,确定人脸图像的目标人脸属性在编辑前后的属性变化信,包括,从编辑信息中直接提取人脸图像的目标人脸属性在编辑前后的属性变化信息。例如该属性变化信息可以描述为“笑”属性的属性信息从“微笑”变为“大笑”。

在一个示例中,编辑信息中可以包括:人脸图像在目标人脸属性上的编辑后属性信息,例如编辑信息中可以包括:人脸图像在“笑”属性上的编辑后属性信息为“大笑”等等。

本实施例用户可以自由设置编辑信息,实现对目标人脸属性的变化程度的灵活调整。

可选的,一个示例中,上述目标人脸属性的变化,与调整后隐变量在隐变量空间的变化的关联关系包括:目标人脸属性的变化,与调整后隐变量在隐变量空间的变化方向和变化程度之间的关联关系;

步骤“基于属性变化信息和关联关系,确定在隐变量空间中调整后隐变量的目标变化量”,可以包括:

基于属性变化信息以及关联关系,确定在目标人脸属性编辑前后,在隐变量空间中调整后隐变量的目标变化方向和目标变化程度;

基于调整后隐变量的目标变化方向和目标变化程度,确定在隐变量空间中调整后隐变量的目标变化量。

本实施例中,该目标人脸属性的变化,与调整后隐变量在隐变量空间的变化方向和变化程度之间的关联关系,可以包括:调整后隐变量在隐变量空间上的目标方向向量,以及目标人脸属性的变化程度与调整后隐变量在目标方向向量指示的方向上的变化程度的对应关系;其中,针对目标方向向量,若调整后隐变量沿目标方向向量指示的方向发生变化,则人脸图像在目标人脸属性上发生变化(即目标人脸属性的属性信息发生变化)。

步骤“基于属性变化信息以及关联关系,确定在目标人脸属性编辑前后,在隐变量空间中调整后隐变量的目标变化方向和目标变化程度”,可以包括:

基于属性变化信息确定目标人脸属性的属性变化方向和属性变化程度;

基于属性变化方向和关联关系获取调整后隐变量的目标方向向量,其中,目标方向向量指示的方向为调整后隐变量的目标变化方向;

基于属性变化程度和关联关系,获取调整后隐变量沿目标方向向量的目标变化程度。

本实施例中,目标方向向量可以为单位向量,该目标变化程度可以理解为该单位向量的系数。

例如,以目标人脸属性为“笑”属性为例。假设在关联关系中,调整后隐变量的方向向量为,沿着该方向向量指示的方向对调整后隐变量调整,则“笑”的幅度会增大,假设属性变化信息表示“笑”属性从“大笑”变为“微笑”,则笑属性的属性变化方向为“笑”幅度降低的方向,“笑”的属性变化程度为“大笑”变为“微笑”的变化程度。则调整隐变量的目标方向向量为,其目标变化程度为“大笑”变为“微笑”对应的系数。

在一个示例中,关联关系包括目标人脸属性的变化,与调整后隐变量在隐变量空间的变化量的关联关系;步骤“基于属性变化信息和关联关系,确定在隐变量空间中调整后隐变量的目标变化量”,可以包括:

基于关联关系,确定属性变化信息对应的变化量;

将确定出的变化量,作为人脸图像的调整后隐变量在隐变量空间的目标变化量。

在该示例中,关联关系中可以直接包括目标人脸属性的变化如目标人脸属性的属性变化信息,与调整后隐变量在隐变量空间的变化量的对应关系,其中该对应关系可以以表格或键值对等的形式存在。可以理解的是,对于目标人脸属性的不同变化,目标变化量不同。

其中,可以设置单位变化量,以及与该单位变化量对应的目标人脸属性的单位变化程度,基于属性变化信息确定目标人脸属性的实际变化程度,基于该实际变化程度与单位变化程度的比值,确定单位变化量的调整系数,以该调整系数与单位变化量的乘积作为人脸图像的调整后隐变量在隐变量空间的目标变化量。

例如,还是以目标人脸属性为“笑”为例,“笑”属性的单位变化量为,目标人脸属性的单位变化程度为1,假设属性变化信息为“微笑”到“大笑”,对应的变化程度为6,则该属性变化信息对应的目标变化量为6

206、基于目标隐变量生成目标人脸属性对应的编辑后人脸图像,展示编辑后人脸图像。

本实施例中可以采用上述的高清生成器基于目标隐变量生成目标人脸属性对应的编辑后人脸图像。

若客户端为即时通讯客户端,用户通过在即时通讯客户端的聊天会话页面发起针对编辑后人脸图像的获取,步骤“展示编辑后人脸图像”,可以包括:

向聊天会话页面的会话对象发送编辑后人脸图像,以在聊天会话页面展示编辑后人脸图像。

例如,假设图3a中用户a是通过即时通讯客户端上与用户b的聊天页面,触发上述编辑后人脸图像的获取步骤,则获取编辑后人脸图像后,在用户a与用户b的单聊页面中,显示用户a发送的编辑后人脸图像。

在一个实施例中,目标人脸属性的数量为多个,编辑信息还包括多个目标人脸属性对应的编辑后人脸图像的组合顺序,步骤“展示编辑后人脸图像”,可以包括:

基于组合顺序对编辑后人脸图像进行组合,得到表情变化动态图;

展示表情变化动态图。

在一个示例中,同一目标人脸属性下还可以设置不同属性信息,例如设置用户的笑的多个幅度。

在一个示例中,在模仿人脸图像的场景下,编辑后人脸图像可以进一步提升与目标模仿图像的相似度。

可选的,步骤“展示编辑后人脸图像”,可以包括:

获取编辑后人脸图像中的人脸,以人脸替换目标模仿图像中的人脸,得到新的编辑后人脸图像;

展示新的编辑后人脸图像。

本实施例中,通过高清生成器,建立起了隐变量与图像之间的联系,而图像具有一些人脸属性,比如年龄、性别、表情等等,若能探究了隐变量在隐变量空间的变化与目标人脸属性的变化之间准确的关联关系,通过调整隐变量可以对人脸属性进行编辑和操作。

可选的,本实施例中,步骤“获取在隐变量空间中调整后隐变量的变化,与目标人脸属性的变化之间的关联关系前”,还可以包括:

获取人脸样本图像的实际隐变量,和人脸样本图像在目标人脸属性上的属性信息,实际隐变量为人脸样本图像在隐变量空间中的隐变量;

基于属性信息和实际隐变量,生成目标人脸属性对应的属性样本,属性样本包含实际隐变量,属性样本的样本标签包括实际隐变量对应的属性信息;

基于属性样本在隐变量空间的分布,确定在隐变量空间中实际隐变量的变化,与目标人脸属性的变化之间的关联关系。

本实施例中,上述人脸样本图像的实际隐变量和待编辑的人脸图像的调整后隐变量的作用是相同的,可以分别用来生成与人脸样本图像和待编辑的人脸图像十分相似的模拟人脸图像。

上述在隐变量空间中实际隐变量的变化,与目标人脸属性的变化之间的关联关系,可以用来作为待编辑的人脸图像的调整后隐变量在隐变量空间中的变化,与目标人脸属性的变化之间的关联关系。

本实施例的人脸图像样本可以是生成器生成的虚拟人脸图像,该实际隐变量可以直接采用生成虚拟人脸图像的隐变量。在一个示例中,该人脸图像样本还可以是人脸图像。

可选的,步骤“获取人脸样本图像的实际隐变量”,可以包括:

获取人脸样本图像,人脸样本图像中包括人脸;

基于第二隐变量,对人脸样本图像进行模拟,生成模拟样本图像,第二隐变量为人脸样本图像在隐变量空间中的初始隐变量;

基于模拟样本图像与人脸样本图像之间的图像差异信息,对第二隐变量进行调整,得到调整后的隐变量作为人脸样本图像的实际隐变量。

本实施例中,人脸样本图像中的人脸可以为虚拟人脸或者是真实人脸。

其中,模拟样本图像的生成也可以基于生成器实现。可以通过生成对抗网络中的生成器网络,基于第二隐变量对人脸样本图像进行模拟,生成模拟样本图像。通过生成对抗网络中的判别器网络,对拟样本图像和人脸样本图像进行比较,得到模拟样本图像与人脸样本图像之间的图像差异信息;基于图像差异信息和人脸样本图像,对第二隐变量进行调整,得到调整后隐变量作为人脸样本图像的实际隐变量。本实施例中,基于调整后隐变量生成的模拟样本图像与对应的人脸样本图像的图像差异小于一定程度。本实施例可以用损失函数衡量图像差异,损失函数的损失值为图像差异信息,调整后隐变量生成的模拟样本图像与对应的人脸样本图像的损失值,小于预设损失阈值。

可选的,一个示例中,关联关系包括目标人脸属性的变化,与实际隐变量在隐变量空间的变化方向和变化程度之间的关联关系;属性样本包括属性正样本和属性负样本,属性正样本和属性负样本对应的属性信息不同;

步骤“基于属性样本在隐变量空间的分布,确定在隐变量空间中实际隐变量的变化,与目标人脸属性的变化之间的关联关系”,可以包括:

基于属性正样本和属性负样本在隐变量空间的分布,确定不同属性信息的实际隐变量在隐变量空间中的分布;

基于不同属性信息的实际隐变量在隐变量空间中的分布,确定目标人脸属性的变化,与实际隐变量在隐变量空间的变化方向和变化程度的关联关系。

本实施例的属性正样本和属性负样本的属性信息可以根据需要设置,本实施例对此没有限制,例如,以“笑”为例,属性负样本的属性信息为“不笑”,属性正样本的属性信息为“笑”。在一个示例中,属性负样本的属性信息可以用于描述属性样本不具有目标人脸属性。

本实施例中,基于不同属性信息的实际隐变量在隐变量空间中的分布,可以确定属性信息由一属性信息变化为另一属性信息时,实际隐变量在隐变量空间的变化方向和变化程度,由此,得到目标人脸属性的变化,与实际隐变量在隐变量空间的变化方向和变化程度的关联关系。

一个示例中,目标人脸属性的变化,与调整后隐变量在隐变量空间的变化方向和变化程度之间的关联关系,可以包括:调整后隐变量在隐变量空间上的目标方向向量,以及目标人脸属性的变化程度与调整后隐变量在目标方向向量指示的方向上的变化程度的对应关系。

下面以目标人脸属性为“笑”为例,对方向向量的获取方案进行描述。

图5a展示了从统计角度,分析隐变量的变化与人脸属性的变化之间的关联关系的流程图。可以先利用人脸识别得到大量有标签的真实人脸数据作为人脸样本图像,标签中包括人脸属性的属性信息,如“笑”,“不笑”,“哭”,“不哭”等等。

然后可以进行数据删选,删掉置信度低的数据,对剩余的人脸样本图像求解器实际的隐变量。

从人脸样本图像中提取两类样本,一类为笑的属性正样本,一类是不笑的属性负样本。属性正样本中每条隐变量都代表着笑脸,负属性样本每条隐变量都代表着不是笑脸。

参考图5b,可以从统计角度,分析隐变量的变化与笑脸的变化之间的关联关系。

一个示例中,可以基于对二分类问题的求解方式确定隐变量从“不笑”到“笑”方向向量。

可选的,可以使用svm(supportvectormachines,支持向量机)分类求解此二分类问题,求出的正负样本的分割平面的法向量,作为隐变量的调整方向。例如,以图5b中的正负样本在隐变量空间的分布示意图为例,图5b中黑点代表负样本,白点代表正样本,直线代表正负样本的分割平面,带箭头的方向线表示法向量的方向。

本实施例中,svmloss可以为:

其中,i表示第i个样本,为样本i的隐变量,表示样本i的标签,为系数。

本实施例中,求解完“笑”属性对应的方向向量后,沿着方向向量改变输入图像的隐变量,就可以调整输入图像的笑属性。

其中,为待编辑的人脸图像的调整后隐变量,为目标隐变量,是目标人脸属性“笑”对应的方向向量的调整幅度(即上述的目标变化程度),其可以基于编辑信息确定,本实施例中,经过调整的输入生成器,便能生成属性调整过的高清人像。如图5c所示,图5c是对“笑”的方向向量设置不同调整幅度得到的笑脸变化示意图。可以理解的是,若编辑信息指示“笑”的幅度不是增大而是减小,则

通过上述方案,可以获取各个人脸属性对应的方向向量,这些方向向量可以预先存储以便后续使用。编辑后人脸图像的获取方法可以参考图5d所示的流程,在获取待编辑的人脸图像如用户头像,以及编辑信息后,可以求解用户头像的隐变量(即上述示例中的调整后隐变量),基于编辑信息确定目标人脸属性的方向向量,以及向量的系数,以及前的计算符号(假设为 ),基于公式,得到目标隐变量,将目标隐变量输入高清生成器,得到编辑后人脸图像。

可选的,另一个示例中,关联关系包括目标人脸属性的变化,与实际隐变量在隐变量空间的变化量的对应关系,属性样本的属性信息为至少两种;步骤“基于属性样本在隐变量空间的分布,确定在隐变量空间中实际隐变量的变化,与目标人脸属性的变化之间的关联关系”,可以包括:

基于属性样本的属性信息,确定各属性信息对应的属性样本在隐变量空间的分布;

对于各属性信息对应的属性样本,分别计算实际隐变量的平均隐变量;

基于各属性信息之间平均隐变量的变化,确定目标人脸属性的变化,与实际隐变量在隐变量空间的变化量的对应关系。

在确定对应关系时,将各属性信息的平均隐变量,作为该属性信息对应的人脸图像的标准隐向量,基于目标人脸属性在不同属性信息之间变化时,标准隐向量之间的变化量,可以确定目标人脸属性的变化,与实际隐变量在隐变量空间的变化量的对应关系。

例如,以“笑”为例,属性样本的属性信息包括“笑”和“不笑”,基于“笑”和“不笑”的属性样本,分别计算“笑”样本的实际隐变量的平均隐变量w1;以及不笑样本的实际隐变量的平均隐变量w2,计算“笑”和“不笑”的平均隐变量的变化,以该作为“不笑”到“笑”的目标人脸属性的变化,对应的实际隐变量在隐变量空间的变化量。

其中,为了精细调节,还可以对目标人脸属性的变化程度与隐变量的变化程度设置对应关系,例如基于设置单位变化量,如设置为,设置与该单位变化量对应的目标人脸属性的单位变化程度,基于属性变化信息确定目标人脸属性的实际变化程度,基于该实际变化程度与单位变化程度的比值,确定单位变化量的调整系数,以该调整系数与单位变化量的乘积作为人脸图像的调整后隐变量在隐变量空间的目标变化量。

采用本实施例的方案,可展示图像编辑页面;响应于针对人脸图像的属性编辑操作,确定人脸图像中待编辑的目标人脸属性和目标人脸属性的编辑信息;基于第一隐变量,模拟人脸图像生成模拟人脸图像;基于两图像的差异得到第一隐变量的调整后隐变量;由此,人脸图像可准确地映射到隐变量空间中,实现调整后隐变量对人脸图像的准确表达;通过获取调整后隐变量与目标人脸属性的变化之间的关联关系,可基于关联关系和编辑信息对调整后隐变量进行调整,得到目标隐变量,基于目标隐变量生成编辑后人脸图像;目标隐变量可编辑后的人脸图像在隐变量空间进行准确表示,有利于保证对人脸图像的编辑效果。

为了更好地实施以上方法,相应的,本发明实施例还提供一种人脸图像编辑装置,该人脸图像编辑装置具体可以集成在终端中,例如以客户端的形式集成在终端中。

参考图6,该人脸图像编辑装置包括:

编辑页面展示单元601,用于展示图像编辑页面,其中,所述图像编辑页面包括待编辑的人脸图像;

获取单元602,用于响应于针对所述人脸图像的属性编辑操作,确定所述人脸图像中待编辑的目标人脸属性和所述目标人脸属性的编辑信息;

模拟单元603,用于基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像,所述第一隐变量为所述人脸图像在隐变量空间中的初始隐变量;

第一调整单元604,用于基于所述模拟人脸图像与所述人脸图像之间的图像差异信息,对所述第一隐变量进行调整,得到调整后隐变量;

第二调整单元605,用于获取在所述隐变量空间中调整后隐变量的变化,与所述目标人脸属性的变化之间的关联关系,基于所述关联关系和所述编辑信息,对所述调整后隐变量进行调整,得到目标隐变量;

图像展示单元606,用于基于所述目标隐变量生成所述目标人脸属性对应的编辑后人脸图像,展示所述编辑后人脸图像。

可选的,图像编辑页面包括第一属性编辑控件,所获取单元,用于:

基于针对第一属性编辑控件的触发操作,展示人脸图像的属性编辑页面,属性编辑页面包括人脸图像,以及候选人脸属性;

基于针对候选人脸属性中目标人脸属性的选择操作,展示目标人脸属性的编辑控件;

响应于针对编辑控件的设置操作,获取目标人脸属性的编辑信息。

可选的,图像编辑页面包括第二属性编辑控件,获取单元,用于:

基于针对第二属性编辑控件的触发操作,展示人脸图像的属性编辑页面,属性编辑页面包括人脸图像,以及模仿控件;

基于针对模仿控件的触发操作,显示模仿图像选择页面,其中,模仿图像选择页面包括候选模仿图像;

响应于针对候选模仿图像中目标模仿图像的模仿触发操作,获取目标模仿图像的被模仿人脸属性,作为人脸图像的目标人脸属性,获取目标模仿图像中目标人脸属性的属性信息,基于属性信息确定人脸图像中目标人脸属性的编辑信息。

可选的,模拟单元,用于通过生成对抗网络中的生成器网络,基于第一隐变量对人脸图像中进行模拟,生成模拟人脸图像;

第一调整单元,用于通过生成对抗网络中的判别器网络,对模拟人脸图像和人脸图像进行比较,得到模拟人脸图像与人脸图像的图像差异信息;基于图像差异信息和人脸图像,对第一隐变量进行调整,得到调整后隐变量。

可选的,第二调整单元,用于:

基于人脸图像中目标人脸属性的编辑信息,确定人脸图像的目标人脸属性在编辑前后的属性变化信息;

基于属性变化信息和关联关系,确定在隐变量空间中调整后隐变量的目标变化量;

基于目标变化量与调整后隐变量,得到目标隐变量。

可选的,关联关系包括目标人脸属性的变化,与调整后隐变量在隐变量空间的变化方向和变化程度之间的关联关系;

第二调整单元,用于:

基于属性变化信息以及关联关系,确定在目标人脸属性编辑前后,在隐变量空间中调整后隐变量的目标变化方向和目标变化程度;

基于调整后隐变量的目标变化方向和目标变化程度,确定在隐变量空间中调整后隐变量的目标变化量。

可选的,关联关系包括目标人脸属性的变化,与调整后隐变量在隐变量空间的变化量的关联关系;

第二调整单元,用于:

基于关联关系,确定属性变化信息对应的变化量;

将确定出的变化量,作为人脸图像的调整后隐变量在隐变量空间的目标变化量。

可选的,本实施例的装置还包括关联关系建立模块,用于在第二调整单元获取在隐变量空间中调整后隐变量的变化,与目标人脸属性的变化之间的关联关系前,获取人脸样本图像的实际隐变量,和人脸样本图像在目标人脸属性上的属性信息,实际隐变量为人脸样本图像在隐变量空间中的隐变量;基于属性信息和实际隐变量,生成目标人脸属性对应的属性样本,属性样本包含实际隐变量,属性样本的样本标签包括实际隐变量对应的属性信息;基于属性样本在隐变量空间的分布,确定在隐变量空间中实际隐变量的变化,与目标人脸属性的变化之间的关联关系。

可选的,关联关系建立模块,用于获取人脸样本图像,人脸样本图像中包括人脸;基于第二隐变量,对人脸样本图像进行模拟,生成模拟样本图像,第二隐变量为人脸样本图像在隐变量空间中的初始隐变量;基于模拟样本图像与人脸样本图像之间的图像差异信息,对第二隐变量进行调整,得到调整后的隐变量作为人脸样本图像的实际隐变量。

可选的,关联关系包括目标人脸属性的变化,与实际隐变量在隐变量空间的变化方向和变化程度之间的关联关系;属性样本包括属性正样本和属性负样本,属性正样本和属性负样本对应的属性信息不同;

关联关系建立模块,用于基于属性正样本和属性负样本在隐变量空间的分布,确定不同属性信息的实际隐变量在隐变量空间中的分布;基于不同属性信息的实际隐变量在隐变量空间中的分布,确定目标人脸属性的变化,与实际隐变量在隐变量空间的变化方向和变化程度的关联关系。

可选的,关联关系包括目标人脸属性的变化,与实际隐变量在隐变量空间的变化量的对应关系,属性样本的属性信息为至少两种;

关联关系建立模块,用于基于属性样本的属性信息,确定各属性信息对应的属性样本在隐变量空间的分布;对于各属性信息对应的属性样本,分别计算实际隐变量的平均隐变量;基于各属性信息之间平均隐变量的变化,确定目标人脸属性的变化,与实际隐变量在隐变量空间的变化量的对应关系。

可选的,本实施例的客户端为即时通讯客户端,编辑页面展示单元,用于:

展示即时通讯客户端的聊天会话页面;

响应于针对聊天会话页面的图像发送触发操作,展示图像获取页面;

响应于针对图像获取页面的图像获取操作,展示即时通讯客户端的图像编辑页面,图像编辑页面中待编辑的人脸图像为通过图像获取操作获取的图像;

图像展示单元,用于:

向聊天会话页面的会话对象发送编辑后人脸图像,以在聊天会话页面展示编辑后人脸图像。

可选的,在一个示例中,目标人脸属性的数量为多个,编辑信息还包括多个目标人脸属性对应的编辑后人脸图像的组合顺序,图像展示单元,用于:基于组合顺序对编辑后人脸图像进行组合,得到表情变化动态图;展示表情变化动态图。

采用本实施例的方案,可展示图像编辑页面;响应于针对人脸图像的属性编辑操作,确定人脸图像中待编辑的目标人脸属性和目标人脸属性的编辑信息;基于第一隐变量,模拟人脸图像生成模拟人脸图像;基于两图像的差异得到第一隐变量的调整后隐变量;由此,人脸图像可准确地映射到隐变量空间中,实现调整后隐变量对人脸图像的准确表达;通过获取调整后隐变量与目标人脸属性的变化之间的关联关系,可基于关联关系和编辑信息对调整后隐变量进行调整,得到目标隐变量,基于目标隐变量生成编辑后人脸图像;目标隐变量可编辑后的人脸图像在隐变量空间进行准确表示,有利于保证对人脸图像的编辑效果。

此外,本发明实施例还提供一种计算机设备,该计算机设备可以为终端或者服务器,如图7所示,其示出了本发明实施例所涉及的计算机设备的结构示意图,具体来讲:

该计算机设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解,图7中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器701是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器702内的软件程序和/或模块,以及调用存储在存储器702内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器701可包括一个或多个处理核心;优选的,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。

存储器702可用于存储软件程序以及模块,处理器701通过运行存储在存储器702的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器701对存储器702的访问。

计算机设备还包括给各个部件供电的电源703,优选的,电源703可以通过电源管理系统与处理器701逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元704,该输入单元704可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器701会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中,并由处理器701来运行存储在存储器702中的应用程序,从而实现各种功能,如下:

展示图像编辑页面,其中,所述图像编辑页面包括待编辑的人脸图像;

响应于针对所述人脸图像的属性编辑操作,确定所述人脸图像中待编辑的目标人脸属性和所述目标人脸属性的编辑信息;

基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像,所述第一隐变量为所述人脸图像在隐变量空间中的初始隐变量;

基于所述模拟人脸图像与所述人脸图像之间的图像差异信息,对所述第一隐变量进行调整,得到调整后隐变量;

获取在所述隐变量空间中调整后隐变量的变化,与所述目标人脸属性的变化之间的关联关系,基于所述关联关系和所述编辑信息,对所述调整后隐变量进行调整,得到目标隐变量;

基于所述目标隐变量生成所述目标人脸属性对应的编辑后人脸图像,展示所述编辑后人脸图像。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本发明实施例还提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的人脸图像编辑方法。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本发明实施例所提供的人脸图像编辑方法中的步骤,因此,可以实现本发明实施例所提供的人脸图像编辑方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上对本发明实施例所提供的一种人脸图像编辑方法、装置、计算机设备和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。


技术特征:

1.一种人脸图像编辑方法,其特征在于,包括:

展示图像编辑页面,其中,所述图像编辑页面包括待编辑的人脸图像;

响应于针对所述人脸图像的属性编辑操作,确定所述人脸图像中待编辑的目标人脸属性和所述目标人脸属性的编辑信息;

基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像,所述第一隐变量为所述人脸图像在隐变量空间中的初始隐变量;

基于所述模拟人脸图像与所述人脸图像之间的图像差异信息,对所述第一隐变量进行调整,得到调整后隐变量;

获取在所述隐变量空间中调整后隐变量的变化,与所述目标人脸属性的变化之间的关联关系,基于所述关联关系和所述编辑信息,对所述调整后隐变量进行调整,得到目标隐变量;

基于所述目标隐变量生成所述目标人脸属性对应的编辑后人脸图像,展示所述编辑后人脸图像。

2.据权利要求1所述的人脸图像编辑方法,其特征在于,所述图像编辑页面包括第一属性编辑控件,所述响应于针对所述人脸图像的属性编辑操作,确定所述人脸图像中待编辑的目标人脸属性和所述目标人脸属性的编辑信息,包括:

基于针对所述第一属性编辑控件的触发操作,展示所述人脸图像的属性编辑页面,所述属性编辑页面包括所述人脸图像,以及候选人脸属性;

基于针对所述候选人脸属性中目标人脸属性的选择操作,展示所述目标人脸属性的编辑控件;

响应于针对所述编辑控件的设置操作,获取所述目标人脸属性的编辑信息。

3.根据权利要求1所述的人脸图像编辑方法,其特征在于,所述图像编辑页面包括第二属性编辑控件,所述响应于针对所述人脸图像的属性编辑操作,确定所述人脸图像中待编辑的目标人脸属性和所述目标人脸属性的编辑信息,包括:

基于针对所述第二属性编辑控件的触发操作,展示所述人脸图像的属性编辑页面,所述属性编辑页面包括所述人脸图像,以及模仿控件;

基于针对所述模仿控件的触发操作,显示模仿图像选择页面,其中,所述模仿图像选择页面包括候选模仿图像;

响应于针对所述候选模仿图像中目标模仿图像的模仿触发操作,获取所述目标模仿图像的被模仿人脸属性,作为所述人脸图像的目标人脸属性,获取所述目标模仿图像中所述目标人脸属性的属性信息,基于所述属性信息确定所述人脸图像中所述目标人脸属性的编辑信息。

4.根据权利要求1所述的人脸图像编辑方法,其特征在于,所述基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像,包括:

通过生成对抗网络中的生成器网络,基于第一隐变量对所述人脸图像进行模拟,生成模拟人脸图像;

所述基于所述模拟人脸图像与所述人脸图像之间的图像差异信息,对所述第一隐变量进行调整,得到调整后隐变量,包括:

通过所述生成对抗网络中的判别器网络,对所述模拟人脸图像和所述人脸图像进行比较,得到所述模拟人脸图像与人脸图像的图像差异信息;

基于所述图像差异信息和所述人脸图像,对所述第一隐变量进行调整,得到调整后隐变量。

5.根据权利要求1所述的人脸图像编辑方法,其特征在于,所述基于所述关联关系和所述编辑信息,对所述调整后隐变量进行调整,得到目标隐变量,包括:

基于所述人脸图像中目标人脸属性的编辑信息,确定所述人脸图像的目标人脸属性在编辑前后的属性变化信息;

基于所述属性变化信息和所述关联关系,确定在所述隐变量空间中所述调整后隐变量的目标变化量;

基于所述目标变化量与所述调整后隐变量,得到目标隐变量。

6.根据权利要求5所述的人脸图像编辑方法,其特征在于,所述关联关系包括所述目标人脸属性的变化,与所述调整后隐变量在所述隐变量空间的变化方向和变化程度之间的关联关系;

所述基于所述属性变化信息和所述关联关系,确定在所述隐变量空间中所述调整后隐变量的目标变化量,包括:

基于所述属性变化信息以及所述关联关系,确定在所述目标人脸属性编辑前后,在所述隐变量空间中所述调整后隐变量的目标变化方向和目标变化程度;

基于所述调整后隐变量的目标变化方向和目标变化程度,确定在所述隐变量空间中所述调整后隐变量的目标变化量。

7.根据权利要求5所述的人脸图像编辑方法,其特征在于,所述关联关系包括所述目标人脸属性的变化,与所述调整后隐变量在所述隐变量空间的变化量的关联关系;

所述基于所述属性变化信息和所述关联关系,确定在所述隐变量空间中所述调整后隐变量的目标变化量,包括:

基于所述关联关系,确定所述属性变化信息对应的变化量;

将确定出的所述变化量,作为所述人脸图像的调整后隐变量在所述隐变量空间的目标变化量。

8.根据权利要求1-7任一项所述的人脸图像编辑方法,其特征在于,所述获取在所述隐变量空间中调整后隐变量的变化,与所述目标人脸属性的变化之间的关联关系前,还包括:

获取人脸样本图像的实际隐变量,和所述人脸样本图像在所述目标人脸属性上的属性信息,所述实际隐变量为所述人脸样本图像在所述隐变量空间中的隐变量;

基于所述属性信息和实际隐变量,生成所述目标人脸属性对应的属性样本,所述属性样本包含实际隐变量,所述属性样本的样本标签包括实际隐变量对应的属性信息;

基于所述属性样本在所述隐变量空间的分布,确定在所述隐变量空间中所述实际隐变量的变化,与所述目标人脸属性的变化之间的关联关系。

9.根据权利要求8所述的人脸图像编辑方法,其特征在于,所述获取人脸样本图像的实际隐变量,包括:

获取人脸样本图像,所述人脸样本图像中包括人脸;

基于第二隐变量,对所述人脸样本图像进行模拟,生成模拟样本图像,所述第二隐变量为所述人脸样本图像在所述隐变量空间中的初始隐变量;

基于所述模拟样本图像与所述人脸样本图像之间的图像差异信息,对所述第二隐变量进行调整,得到调整后的隐变量作为所述人脸样本图像的实际隐变量。

10.根据权利要求8所述的人脸图像编辑方法,其特征在于,所述关联关系包括所述目标人脸属性的变化,与所述实际隐变量在所述隐变量空间的变化方向和变化程度之间的关联关系;所述属性样本包括属性正样本和属性负样本,所述属性正样本和属性负样本对应的所述属性信息不同;

所述基于所述属性样本在所述隐变量空间的分布,确定在所述隐变量空间中所述实际隐变量的变化,与所述目标人脸属性的变化之间的关联关系,包括:

基于所述属性正样本和属性负样本在所述隐变量空间的分布,确定不同属性信息的实际隐变量在所述隐变量空间中的分布;

基于不同属性信息的实际隐变量在所述隐变量空间中的分布,确定所述目标人脸属性的变化,与所述实际隐变量在所述隐变量空间的变化方向和变化程度的关联关系。

11.根据权利要求8所述的人脸图像编辑方法,其特征在于,所述关联关系包括所述目标人脸属性的变化,与所述实际隐变量在所述隐变量空间的变化量的对应关系,所述属性样本的属性信息为至少两种;

所述基于所述属性样本在所述隐变量空间的分布,确定在所述隐变量空间中所述实际隐变量的变化,与所述目标人脸属性的变化之间的关联关系,包括:

基于所述属性样本的属性信息,确定各属性信息对应的属性样本在所述隐变量空间的分布;

对于各属性信息对应的属性样本,分别计算实际隐变量的平均隐变量;

基于各属性信息之间平均隐变量的变化,确定目标人脸属性的变化,与所述实际隐变量在所述隐变量空间的变化量的对应关系。

12.根据权利要求1-7任一项所述的人脸图像编辑方法,其特征在于,所述展示图像编辑页面包括:

展示即时通讯客户端的聊天会话页面;

响应于针对所述聊天会话页面的图像发送触发操作,展示图像获取页面;

响应于针对所述图像获取页面的图像获取操作,展示所述即时通讯客户端的图像编辑页面,所述图像编辑页面中待编辑的人脸图像为通过所述图像获取操作获取的图像;

所述展示所述编辑后人脸图像,包括:

向所述聊天会话页面的会话对象发送所述编辑后人脸图像,以在所述聊天会话页面展示所述编辑后人脸图像。

13.根据权利要求1-7任一项所述的人脸图像编辑方法,其特征在于,所述目标人脸属性的数量为多个,所述编辑信息还包括多个目标人脸属性对应的编辑后人脸图像的组合顺序,所述展示所述编辑后人脸图像,包括:

基于所述组合顺序对所述编辑后人脸图像进行组合,得到表情变化动态图;

展示所述表情变化动态图。

14.一种人脸图像编辑装置,其特征在于,包括:

编辑页面展示单元,用于展示图像编辑页面,其中,所述图像编辑页面包括待编辑的人脸图像;

获取单元,用于响应于针对所述人脸图像的属性编辑操作,确定所述人脸图像中待编辑的目标人脸属性和所述目标人脸属性的编辑信息;

模拟单元,用于基于第一隐变量,对所述人脸图像进行模拟,生成模拟人脸图像,所述第一隐变量为所述人脸图像在隐变量空间中的初始隐变量;

第一调整单元,用于基于所述模拟人脸图像与所述人脸图像之间的图像差异信息,对所述第一隐变量进行调整,得到调整后隐变量;

第二调整单元,用于获取在所述隐变量空间中调整后隐变量的变化,与所述目标人脸属性的变化之间的关联关系,基于所述关联关系和所述编辑信息,对所述调整后隐变量进行调整,得到目标隐变量;

图像展示单元,用于基于所述目标隐变量生成所述目标人脸属性对应的编辑后人脸图像,展示所述编辑后人脸图像。

15.一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-13任一项所述方法的步骤。

技术总结
本发明公开了一种人脸图像编辑方法、装置和存储介质,可展示图像编辑页面;响应于针对人脸图像的属性编辑操作,确定人脸图像中待编辑的目标人脸属性和目标人脸属性的编辑信息;基于第一隐变量,模拟该人脸图像生成模拟人脸图像;基于两图像的差异得到第一隐变量的调整后隐变量;由此,人脸图像可被准确地映射到隐变量空间中,实现调整后隐变量对人脸图像的准确表达;通过获取调整后隐变量与目标人脸属性的变化之间的关联关系,可基于关联关系和编辑信息对调整后隐变量进行调整,得到目标隐变量,基于目标隐变量生成编辑后人脸图像;目标隐变量可对编辑后的人脸图像在隐变量空间进行准确表示,有利于保证对人脸图像的编辑效果。

技术研发人员:朱飞达;邰颖;汪铖杰;李季檩
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2020.04.27
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-9365.html

最新回复(0)