本发明涉及计算机视觉、深度学习领域，具体设涉及一种暗视觉环境下基于卷积神经网络的图像增强方法。
背景技术：
在生活中，为了出行安全或是交通安全，人们在住宅小区和交通枢纽处安装了视频监控设备，捕捉图像，获得信息。但是在恶劣天气或是在暗视觉环境下，拍摄及捕捉到的图像大多具有模糊、噪声和对比度较低等特点，这不仅影响人的视觉系统对所需信息的正常获取，给生活带来诸多不便，同时也会影响后续的图像处理效果，如特征提取、图像分割和图像识别等。因此在暗视觉环境下进行图像增强有很大的实际意义。这可以提升图像的对比度，来使图像实现清晰化，满足人们肉眼观看的要求。使图像中重要的信息凸显出来，而削弱或消除人们不需要或是不关心的信息，来增大原始图像中不同物体特征之间的差异，改善人眼对原始图像的视觉效果，以便于进行后续的相关图像处理。
近年来，人们对暗视觉图像的增强方法进行了大量的研究，现有的图像增强算法主要分为两类，一类是基于图像处理技术的非物理模型算法，例如：直方图均衡化、基于retinex理论的图像增强以及基于人类视觉系统的图像复原算法的方法。另一类是基于物理模型(主要是大气散射模型)的算法。这些方法在许多方面都取得了很好的效果，但是仍然存在不足，例如处理后的图像中存在点光源时，并且算法效率低，无法用于实时处理中，颜色失真严重，计算量过大等问题。
技术实现要素：
为解决以上现有技术的问题，发明了一种暗视觉环境下基于卷积神经网络的图像增强方法，该方法包括：
s1：获取原始图像数据和暗视觉环境下的图像数据；
s2：将获取的数据分为训练集和测试集，采用训练集的数据训练改进的卷积神经网络模型；采用测试集的数据进行卷积神经网络性能测试；
s3：将暗视觉环境下的图像数据输入图像分解网络中，得到分解出的亮度通道图像；
s4：将暗视觉环境下的图像数据和亮度通道图像输入到改进的卷积神经网络模型中，得到暗视觉环境下采集图像的增强图像。
优选的，改进的卷积神经网络包括：图像生成网络以及判别器网络；
图像生成网络采用自编码网络结构，包括编码器和解码器两个部分，共十二个卷积层，编码器和解码器各包含六个卷积层；
判别器网络的结构为卷积层和全连接层相结合的结构；判别器网络包括五个卷积层和四个bn层和一个全连接层。
优选的，编码器的结构包括：编码器第一层为一个卷积层，卷积核个数为3，卷积窗口的大小为9*9，激活函数为relu函数，步长为1；第二层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五、六层卷积核的个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1，其中每个卷积层后均设置有一个bn层。
优选的，解码器的结构包括：解码器的第一、二层卷积核个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第六层卷积层的个数为3个，卷积窗口的大小为1*1，激活函数为relu函数，步长为1，其中每个卷积层后均有一个bn层。
优选的，判别器网络的第一层为卷积层，卷积核个数为48，卷积窗口的大小为11*11，激活函数为lrelu函数；第二层为卷积层，卷积核个数为128，卷积窗口的大小为5*5，激活函数为lrelu函数；第三层为bn层；第四层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第五层为bn层；第六层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第七层为bn层；第八层为卷积层，卷积核个数为128，卷积窗口的大小为3*3，激活函数为lrelu函数；第九层为bn层；第十层为全连接层，激活函数为lrelu函数，输出一个概率值。
优选的，图像生成网络的输入包括获取的暗视觉环境下的图像和提取出的亮通道图像构成，两张图像进行连接后输入到图像生成网络中，其中，由图像生成网络生成的增强图像和正常光照下的图像分别进行高斯模糊操作，构建颜色损失函数；将增强图像与正常光照下的图像转换为灰度图，再输入判别器网络，构建纹理损失函数；将正常光照下的图像和增强图像输入vgg-19网络中，构建内容损失函数；在图像生成网络构建了总体损失函数，加强图像的空间平滑性；整个卷积神经网络的损失函数为上述的损失函数的权重之和，通过求取卷积神经网络的整体损失函数得到暗视觉环境下图像的增强图像。
进一步的，卷积神经网络的整体损失函数的表达式为：
ltotal＝β1lcolor β2lcontent β3ltexture β4ltv
本发明通过对卷积神经网络中的图像生成网络进行改进，优化了暗视觉环境下图像处理的过程，得到更好的暗视觉环境下的图像信息；本发明通过针对图像的不同特征，分别构建不同的损失函数，对图像进行更全面细致的描述和训练。
附图说明
图1为本发明的流程示意图；
图2为本发明的逻辑示意图；
图3为本发明整体模型结构图；
图4为本发明在暗视觉环境下采集到的图像；
图5为本发明进行图像增强后的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种暗视觉环境下基于卷积神经网络的图像增强方法，如图1所示，该方法包括：
s1：获取原始图像数据和暗视觉环境下的图像数据；
s2：将获取的数据分为训练集和测试集，采用训练集的数据训练改进的卷积神经网络模型；采用测试集的数据进行卷积神经网络性能测试；
s3：将暗视觉环境下的图像数据输入图像分解网络中，得到分解出的亮度通道图像；
s4：将暗视觉环境下的图像数据和亮度通道图像输入到改进的卷积神经网络模型中，得到暗视觉环境下采集图像的增强图像。
如图2所示，用图像采集设备分别采集正常光照下的图像和暗视觉环境下的图像，再将暗视觉环境下的图像与它的亮度通道图像输入到生成网络中，最后对输出结果进行保存。
获取原始图像数据和暗视觉环境下的图像数据包括：在夜晚，选择一间避免外界光照干扰的房间，通过开关灯操作模拟正常光照下场景和暗视觉场景，获取相匹配的图像对作为本发明中所需要的图像训练数据集(正常光照下的图像与暗视觉环境下的图像是同一场景下的图像对)；
或者通过图像采集设备获取不同曝光程度的图像对，然后应用图像融合的方法对不同曝光程度的图像进行融合，获取正常光照下的图像，而低曝光的图像用于模拟暗视觉环境下的图像。
对获取的数据进行预处理。所述获取的原始图像数据类型为rgb，将原始图像的像素值归一化到[0,1]之间。
其中，rgb表示彩色图像的类型。
所述卷积神经网络由图像生成网络以及判别器网络组成。
图像生成网络采用自编码网络结构，包括编码器和解码器两个部分，共十二个卷积层，编码器和解码器各包含六个卷积层。
编码器第一层为一个卷积层，卷积核个数为3，卷积窗口的大小为9*9，激活函数为relu函数，步长为1；第二层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五、六层卷积核的个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1，其中每个卷积层后均有一个bn层。
其中，relu表示线性整流函数(rectuifiedlinearunit)，bn表示批量归一化(batchnormalization)。
解码器的第一、二层卷积核个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第六层卷积层的个数为3个，卷积窗口的大小为1*1，激活函数为relu函数，步长为1，其中每个卷积层后均设置有一个bn层。
解码器的第二、三、四、五、六层分别和编码器的第五、四、三、二、一层连接。
判别器网络的结构为卷积层和全连接层相结合的结构；判别器网络包括五个卷积层和四个bn层和一个全连接层：第一层为卷积层，卷积核个数为48，卷积窗口的大小为11*11，激活函数为lrelu函数；第二层为卷积层，卷积核个数为128，卷积窗口的大小为5*5，激活函数为lrelu函数；第三层为bn层；第四层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第五层为bn层；第六层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第七层为bn层；第八层为卷积层，卷积核个数为128，卷积窗口的大小为3*3，激活函数为lrelu函数；第九层为bn层；第十层为全连接层，激活函数为lrelu函数，输出一个概率值，通过概率值判断输入的图像是增强后的图像还是真实的图像(真实的图像是指正常光照下拍摄的图像)。
其中，lrelu表示表示带泄露线性整流函数(leakyrectuifiedlinearunit)。
针对暗视觉环境下的图像特点，结合retinex算法理论，在图像进行增强处理之前，将图像数据分解出亮度通道作为照明(illumination)图像，作为暗视觉图像的亮度通道图像。
如图3所示，将模拟暗视觉环境下的图像和提取出的亮通道图像连接后输入到图像生成网络中，通过图像生成网络生成增强图像；由判别器网络区分出输入图像是增强图像还是正常光照下的的图像。
图像生成网络的输入包括获取的暗视觉环境下的图像和提取出的亮通道图像，两张图像进行连接后输入到图像生成网络中，其中，由图像生成网络生成的增强图像和正常光照下的图像分别进行高斯模糊操作，构建颜色损失函数；将增强图像与正常光照下的图像转换为灰度图，再输入判别器网络，构建纹理损失函数；将正常光照下的图像和增强图像输入vgg-19网络中，构建内容损失函数；在图像生成网络构建总体损失函数，加强图像的空间平滑性；整个卷积神经网络的损失函数为上述的损失函数的权重之和；通过求取卷积神经网络的整体损失函数得到暗视觉环境下图像的增强图像。
其中，vgg-19表示深度卷积神经网络。
在卷积神经网络构建四个损失函数，包括颜色损失函数lcolor、内容损失函数lcontent、纹理损失函数ltexture和总体变化损失函数ltv。
lcolor是分别对增强图像和正常光照下的图像进行高斯模糊，再由两幅图的颜色直方图构建出损失函数，其表达式为：
其中，fw(ib)′和it′分别是增强图像和正常光照下的图像的高斯模糊后的图像，fw(ib)表示将暗视觉环境下的图像输入到生成网络中得到的图像，it表示正常光照下的图像。
lcontent是利用vgg-19网络的特征提取和图像识别功能构建出的内容损失函数，其表达式为：
其中，fw是图像生成网络函数，c、h、w分别是‘conv5_4’的特征映射尺寸，con5_4表示第五个卷积模块的第四个卷积层，tj表示权重。
纹理损失函数ltexture的表达式为：
其中，d是鉴别网络，ib是暗视觉图像，it是正常光照下的图像。
总体变化损失函数ltv的表达式为：
其中，
根据颜色损失函数lcolor、内容损失函数lcontent、纹理损失函数ltexture和总体变化损失函数ltv计算卷积神经网络的整体损失函数为：
ltotal＝β1lcolor β2lcontent β3ltexture β4ltv
其中，β1表示颜色损失函数的权重，β2表示内容损失函数的权重，β3表示纹理损失函数的权重，β4表示总体变化损失函数的权重。
鉴别网络的损失函数的表达式为：
其中，ih表示正常光照下的图像，il表示暗视觉环境下的图像，
如图4所示，图为模拟暗视觉环境下的图像，图中的内容用肉眼已经看不清楚图像的部分细节，也不能辨认图像中部分物体的颜色。
如图5所示，为图4的暗视觉环境下的图像，将图像通过本发明处理后，图中反映出了图4中的图像信息，达到了图像增强的效果。区别于传统的图像增强方法，本方法采用机器学习的方法，通过图像采集设备获取拍摄图像的原始图像数据和暗视觉环境下图像；将获取的暗视觉图像输入到卷积神经网络框架中。其中，网络框架包括图像生成网络和判别器网络，互相训练学习，以达到图像增强的目的，使图像清晰化，满足人们肉眼观看的要求，得到最优的图像。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
1.一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，包括：
s1：获取原始图像数据和暗视觉环境下的图像数据；
s2：将获取的数据分为训练集和测试集；采用训练集的数据训练改进的卷积神经网络模型；采用测试集的数据进行卷积神经网络性能测试；
s3：将暗视觉环境下的图像数据输入图像分解网络中，得到分解出的亮度通道图像；
s4：将暗视觉环境下的图像数据和亮度通道图像输入到改进的卷积神经网络模型中，得到暗视觉环境下采集图像的增强图像。
2.根据权利要求1所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述改进的卷积神经网络包括：图像生成网络以及判别器网络；
图像生成网络采用自编码网络结构，包括编码器和解码器，共十二个卷积层，编码器和解码器各包含六个卷积层；
判别器网络为卷积层和全连接层相结合的结构；判别器网络包括五个卷积层、四个bn层以及一个全连接层；
其中，bn表示批量归一化。
3.根据权利要求2所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述编码器的结构包括：
编码器第一层为一个卷积层，卷积核个数为3，卷积窗口的大小为9*9，激活函数为relu函数，步长为1；第二层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五、六层卷积核的个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1，其中每个卷积层后均有一个bn层；
其中，relu表示线性整流函数。
4.根据权利要求2所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述解码器的结构包括：
解码器的第一、二层卷积核个数均为512个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第三层卷积层的个数为256个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第四层卷积层的个数为128个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第五层卷积层的个数为64个，卷积窗口的大小为3*3，激活函数为relu函数，步长为1；第六层卷积层的个数为3个，卷积窗口的大小为1*1，激活函数为relu函数，步长为1，其中每个卷积层后均设置有一个bn层；
其中，relu表示线性整流函数。
5.根据权利要求2所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述判别器网络的结构包括：
判别器网络的第一层为卷积层，卷积核个数为48，卷积窗口的大小为11*11，激活函数为lrelu函数；第二层为卷积层，卷积核个数为128，卷积窗口的大小为5*5，激活函数为lrelu函数；第三层为bn层；第四层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第五层为bn层；第六层为卷积层，卷积核个数为192，卷积窗口的大小为3*3，激活函数为lrelu函数；第七层为bn层；第八层为卷积层，卷积核个数为128，卷积窗口的大小为3*3，激活函数为lrelu函数；第九层为bn层；第十层为全连接层，激活函数为lrelu函数，输出一个概率值；
其中，lrelu表示带泄露线性整流函数。
6.根据权利要求1所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，所述图像生成网络的输入包括获取的暗视觉环境下的图像和提取出的亮通道图像，两张图像进行连接后输入到图像生成网络中，其中，由图像生成网络生成的增强图像和正常光照下的图像分别进行高斯模糊操作，构建颜色损失函数；将增强图像与正常光照下的图像转换为灰度图，再输入判别器网络，构建纹理损失函数；将正常光照下的图像和增强图像输入vgg-19网络中，构建内容损失函数；在图像生成网络构建总体损失函数，加强图像的空间平滑性；整个卷积神经网络的损失函数为上述的损失函数的权重之和；通过求取卷积神经网络的整体损失函数得到暗视觉环境下图像的增强图像；
其中，vgg-19表示深度卷积神经网络。
7.根据权利要求6所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，卷积神经网络的整体损失函数的表达式为：
ltotal＝β1lcolor β2lcontent β3ltexture β4ltv
其中，β1表示颜色损失函数的权重，β2表示内容损失函数的权重，β3表示纹理损失函数的权重，β4表示总体变化损失函数的权重，lcolor表示颜色损失函数，lcontent表示内容损失函数，ltexture表示纹理损失函数，ltv表示总体变化损失函数。
8.根据权利要求1所述的一种暗视觉环境下基于卷积神经网络的图像增强方法，其特征在于，判别网络的损失函数的表达式为：
其中，ih表示正常光照下的图像，il表示暗视觉环境下的图像，
