本发明涉及gan网路和语义分割网络领域，具体提供一种gan隐藏层单元与生成图像中物体相关性的方法及系统。
背景技术：
生成对抗网络(generativeadversarialnetwork，简称gan)是一种非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。
gan网路是由一个生成网络和一个判别网络组成。生成网络从潜在空间(latentspace)中随机取样作为输入，其输出结果需要尽量模仿训练集中的正样本，判别网络的输入则为真实样本或生成网络的输出，最终目的是使判别网络无法判断生成网络的输出结果是否真实。
图像的语义分割是将输入图像中的每一个像素分配一个语义类别c，以得到像素化的密集分类。一般的语义分割架构可以被认为是一个编码器-解码器网络。编码器通常是一个预训练的分类网络，然后是一个解码网络。不同的架构的区别主要在于解码网络。解码器的任务是将编码器学习到的可判别特征从语义投影到像素空间，以获得一副图像中对于像素点在类别上的密集分类。
目前的gan网络大多数只能随机生成图像，人们无法了解gan网络是根据什么机制生成的图片，因此也就无法控制gan网络生成出特定的、定制化的图片。如何将gan网络与图像语义分割相结合，来解决生成层中的隐藏单元与生成物体间的关系问题，是本领域技术人员亟需解决的问题。
技术实现要素：
本发明是针对上述现有技术的不足，提供一种实用性强的gan隐藏层单元与生成图像中物体相关性的方法。
本发明进一步的技术任务是提供一种安全适用的gan隐藏层单元与生成图像中物体相关性系统。
本发明解决其技术问题所采用的技术方案是：
一种gan隐藏层单元与生成图中物体相关性的方法，分为以下步骤：
s01、获取gan网络中的生成网络；
s02、利用语义分割网络对gan网络输出的生成图片指定类别进行识别和分割，得到类别的区域sc；
s03、从gan网络的生成网络的中间层中得到特征图featuremap；
s04、利用信息质量比计算featuremap中的阈值，通过阈值找到featuremap中的指定类别区域；
s05、计算步骤s02与步骤s04两个区域的交并比，通过交并比来表示隐藏单元与生成图像中对应物体的相关性。
进一步的,在步骤s02中，利用语义分割网络对gan生成的图像进行语义分割，将gan网络生成的图像作为输入传入语义分割网络中，语义分割网络将会输出图像中各个像素点的类别，得到某一类别物体在图像中的分布坐标与区域sc。
作为优选,所述的语义分割网络为fcn、segnet、pspnet或mask-rcnn。
进一步的,在步骤s03中，生成网络有多层隐藏层，每一层隐藏有多个卷积核，生成网络每一层的输出为featuremap，每个featuremap由多个通道构成，即卷积核输出的结果对应为featuremap中的channel，将channel定义为隐藏层单元ui。
进一步的,在步骤s04中，利用ui的信息质量比，确定特征图中与生成图中对应类别相关区域，公式如下：
其中，i表示互信息，h表示联合熵，t为阈值常数；
ui大于t的部分为在特征图通道上对应区域。
进一步的,计算步骤s02与不中s04两个区域的交并比，通过交并比表示隐藏单元与生成图像中对应物体的相关性，计算公式如下：
一种gan隐藏层单元与生成图中物体相关性的系统，包括gan网络生成图模块、语义分割网络模块、检测物体区域模块、特征图模块、特征图通道模块和交并比模块，所述gan网络生成图模块、语义分割网络模块、检测物体区域模块和交并比模块依次连接，所述gan网络生成图模块、特征图模块、特征图通道模块和交并比模块依次连接；
所述gan网络生成图模块用于获取gan网络中生成网络；
所述语义分割网络模块用于对gan网络输出的生成图片中指定类别进行识别和分割；
所述检测物体区域模块用于将语义分割网络模块进行识别和分割的区域定义为类别区域sc；
所述特征图模块用于在gan的生成网络的中间层中得到特征图featuremap；
所述特征图通道模块用于利用信息质量比计算featuremap中的阈值，通过阈值找到featuremap中指定类别区域；
交并比模块用于计算检测物体区域模块与特征图通道模块的交并比。
进一步的,在特征图通道模块通道的隐藏层单元定义为ui，利用ui的信息质量比，确定特征图中与生成图中对应类别相关区域，公式如下：
其中，i表示互信息，h表示联合熵，t为阈值常数；
ui大于t的部分为在特征图通道上对应区域。
进一步的,交并比模块中计算交并比的计算公式为：
作为优选,所述语义分割网络模块为fcn、segnet、pspnet或mask-rcnn。
本发明的一种gan隐藏层单元与生成图像中物体相关性的方法及系统和现有技术相比，具有以下突出的有益效果：
本发明提供了一种帮助人们理解gan网络如何生成图片的方法，在一定程度上揭示了gan网络中隐藏层单元与生成图中各个语义之间的关系，使人们可以通过激活和抑制特定隐藏层单元来生成特定的、定制化的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种gan隐藏层单元与生成图像中物体相关性的方法的流程框图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，本实施例中的gan隐藏层单元与生成图像中物体相关性的方法，分为以下步骤：
s01、获取gan网络中的生成网络；
s02、利用语义分割网络对gan网络输出的生成图片指定类别进行识别和分割，得到类别的区域sc；
s03、从gan网络的生成网络的中间层中得到特征图featuremap；
s04、利用信息质量比计算featuremap中的阈值，通过阈值找到featuremap中的指定类别区域；
s05、计算步骤s02与步骤s04两个区域的交并比，通过交并比来表示隐藏单元与生成图像中对应物体的相关性。
在步骤s02中，利用语义分割网络对gan生成的图像进行语义分割。本实施例中的语义分割网络选用fcn，将生成的图像作为输入传入fcn中，fcn将会输出图像中各个像素点的类别，因此可以得到某一类别物体在图像中的分布坐标与区域sc。比如，一副户外生成图片中树的区域s树。
在步骤s03中，使用步骤s02中生成网络中的特征图featuremap。生成网络通常有多层隐藏层，每一层隐藏有多个卷积核。生成网络每一层的输出叫做featuremap，每个featuremap由多个通道channel构成。即卷积核输出的结果对应为featuremap中channel，定义为隐藏层单元ui。
步骤s04中，利用ui的信息质量比，确定特征图中与生成图中对应类别相关区域，公式如下：
其中，i表示互信息，h表示联合熵，t为阈值常数；
ui大于t的部分为在特征图通道上对应区域。
步骤s05中，计算步骤s02与不中s04两个区域的交并比，通过交并比表示隐藏单元与生成图像中对应物体的相关性，计算公式如下：
运行上述方法的系统包括gan网络生成图模块、fcn模块、检测物体区域模块、特征图模块、特征图通道模块和交并比模块，gan网络生成图模块、fcn模块、检测物体区域模块和交并比模块依次连接，gan网络生成图模块、特征图模块、特征图通道模块和交并比模块依次连接。gan网络生成图模块用于获取gan网络中生成网络；fcn模块用于对gan网络输出的生成图片中指定类别进行识别和分割；检测物体区域模块用于将语义分割网络模块进行识别和分割的区域定义为类别区域sc；特征图模块用于在gan的生成网络的中间层中得到特征图featuremap；特征图通道模块用于利用信息质量比计算featuremap中的阈值，通过阈值找到featuremap中指定类别区域；交并比模块用于计算检测物体区域模块与特征图通道模块的交并比。
其中，在特征图通道模块通道的隐藏层单元定义为ui，利用ui的信息质量比，确定特征图中与生成图中对应类别相关区域，公式如下：
i表示互信息，h表示联合熵，t为阈值常数；
ui大于t的部分为在特征图通道上对应区域。
交并比模块中计算交并比的计算公式为：
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的gan隐藏层单元与生成图像中物体相关性的方法及系统权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
1.一种gan隐藏层单元与生成图中物体相关性的方法，其特征在于，分为以下步骤：
s01、获取gan网络中的生成网络；
s02、利用语义分割网络对gan网络输出的生成图片指定类别进行识别和分割，得到类别的区域sc；
s03、从gan网络的生成网络的中间层中得到特征图featuremap；
s04、利用信息质量比计算featuremap中的阈值，通过阈值找到featuremap中的指定类别区域；
s05、计算步骤s02与步骤s04两个区域的交并比，通过交并比来表示隐藏单元与生成图像中对应物体的相关性。
2.根据权利要求1所述的一种gan隐藏层单元与生成图中物体相关性的方法，其特征在于，在步骤s02中，利用语义分割网络对gan生成的图像进行语义分割，将gan网络生成的图像作为输入传入语义分割网络中，语义分割网络将会输出图像中各个像素点的类别，得到某一类别物体在图像中的分布坐标与区域sc。
3.根据权利要求2所述的一种gan隐藏层单元与生成图中物体相关性的方法，其特征在于，所述的语义分割网络为fcn、segnet、pspnet或mask-rcnn。
4.根据权利要求2所述的一种gan隐藏层单元与生成图中物体相关性的方法，其特征在于，在步骤s03中，生成网络有多层隐藏层，每一层隐藏有多个卷积核，生成网络每一层的输出为featuremap，每个featuremap由多个通道构成，即卷积核输出的结果对应为featuremap中的channel，将channel定义为隐藏层单元ui。
5.根据权利要求4所述的一种gan隐藏层单元与生成图中物体相关性的方法，其特征在于，在步骤s04中，利用ui的信息质量比，确定特征图中与生成图中对应类别相关区域，公式如下：
其中，i表示互信息，h表示联合熵，t为阈值常数；
ui大于t的部分为在特征图通道上对应区域。
6.根据权利要求5所述的一种gan隐藏层单元与生成图中物体相关性的方法，其特征在于，计算步骤s02与不中s04两个区域的交并比，通过交并比表示隐藏单元与生成图像中对应物体的相关性，计算公式如下：
7.一种gan隐藏层单元与生成图中物体相关性的系统，其特征在于，包括gan网络生成图模块、语义分割网络模块、检测物体区域模块、特征图模块、特征图通道模块和交并比模块，所述gan网络生成图模块、语义分割网络模块、检测物体区域模块和交并比模块依次连接，所述gan网络生成图模块、特征图模块、特征图通道模块和交并比模块依次连接；
所述gan网络生成图模块用于获取gan网络中生成网络；
所述语义分割网络模块用于对gan网络输出的生成图片中指定类别进行识别和分割；
所述检测物体区域模块用于将语义分割网络模块进行识别和分割的区域定义为类别区域sc；
所述特征图模块用于在gan的生成网络的中间层中得到特征图featuremap；
所述特征图通道模块用于利用信息质量比计算featuremap中的阈值，通过阈值找到featuremap中指定类别区域；
交并比模块用于计算检测物体区域模块与特征图通道模块的交并比。
8.根据权利要求7所述的一种gan隐藏层单元与生成图中物体相关性的系统，其特征在于，在特征图通道模块通道的隐藏层单元定义为ui，利用ui的信息质量比，确定特征图中与生成图中对应类别相关区域，公式如下：
其中，i表示互信息，h表示联合熵，t为阈值常数；
ui大于t的部分为在特征图通道上对应区域。
9.根据权利要求8所述的一种gan隐藏层单元与生成图中物体相关性的系统，其特征在于，交并比模块中计算交并比的计算公式为：
10.根据权利要求7所述的一种gan隐藏层单元与生成图中物体相关性的系统，其特征在于，所述语义分割网络模块为fcn、segnet、pspnet或mask-rcnn模块。
技术总结