本发明涉及数字视频、计算机摄影图像处理领域，特别是涉及一种基于深度学习的动态场景hdr重建方法。
背景技术：
动态范围是指场景中亮度最大值与最小值之比。在真实场景中，从最耀眼的阳光到最暗的星光，动态范围可达10^8，人眼能分辨的亮度范围也高达10^5。但是，普通传感器捕获的动态范围不超过10^3，显示器的动态范围更是只有10^2。正是由于真实场景和普通数码设备动态范围极其不匹配的这种现象，使得成像设备捕获的图像通常会出现过曝、欠曝及细节信息丢失等问题。在实际应用中，hdr图像难以获取，降低了该图像在数字电视、计算机摄影及游戏渲染等应用上发挥的效力。因此，对于hdr图像重建算法的研究具有比较强的实际意义。
目前，hdr图像重建算法主要分为传统图像融合和深度学习两个方向。通过传统图像融合获取hdr图像的方法主要有直接融合法、分块融合法、分层融合法。直接融合法主要包括recoveringhighdynamicrangeradiancemapsfromphotographs，该论文提出不同曝光度图像的亮度值、曝光时间与对应位置像素点光照度有关，据此建立相机相应曲线模型，求解出相机响应函数，再通过逆运算得到真实场景的光照度数值。得到真实场景的光照度数值后将多幅图像融合成一张高动态范围图像，最后通过色调映射显示在普通显示屏上。该方法计算度过于复杂，并且得到的高动态范围图像不能直接显示在普通显示屏上。基于区域的融合方法是首先随图像进行分块，采用信息熵理论。选择包含信息量大的块进行融合。但这种方法对分块边界的处理效果不好，融合图像容易产生明显的分块效应。基于分层融合的方法主要包括exposurefusion，该论文提出基于拉普拉斯金字塔融合的方法，首先将多幅多曝光图像进行尺度分解，然后综合对比度、饱和度、曝光度三个评价指标获取各幅图像的权重图，对其进行平均加权后获得综合金字塔系数，最终重构拉普拉斯金字塔得到融合图像。该方法是目前最有效的融合方法。但该方法也有一定的缺陷，在过亮和过暗区域，图像的细节信息严重丢失。
基于深度学习获取高动态范围图像的方法主要有以下几种，论文hdrimagereconstructionfromasingleexposureusingdeepcnns提出利用自动编码器，将单张ldr图像作为输入，先下采样提取特征，后上采样重建hdr图像，该算法能够有效提升低动态范围图像的色度，同时恢复高光部分细节，但是该算法生成的hdr图像对比度较低。论文robustpatch-basedhdrreconstructionofdynamicscenes，利用一组不同曝光的图像，包括n张过曝图像，n张欠曝图像和一张正常曝光的图像，该论文提出的方法首先利用相机响应函数调整过曝和欠曝图像，使其拥有与正常曝光图像相同的曝光量，然后利用mbds(summarizingvisualdatausingbidirectionalsimilarity)从改变曝光量后的欠曝和过曝图像中选择和正常曝光图像内容最为接近的两张图像，将正常曝光图像和选择出来的两张图像变换到10bit再进行融合，从而得到最终的高动态范围图像。该算法得到的图像对比度提升明显，高光和暗部的细节也得到有效增强，但是当多帧图像中存在微小运动或者相机发生抖动时，该算法得到的高动态范围图像会出现鬼影现象。
技术实现要素：
本发明克服了现有技术中图像处理效果有待改进的问题，提供一种细节丰富和清晰度高的基于深度学习的动态场景hdr重建方法。
本发明的技术解决方案是，提供一种具有以下步骤的基于深度学习的动态场景hdr重建方法：含有以下步骤，
步骤1：在同一静态场景内，用三脚架相机获取相同细节和范围大小的欠曝光、正常曝光和过曝光三幅图像，记录为s1、s2和s3，记录对应图像的曝光时间，利用加权融合算法将其融合得到groundtruth，记为t；
步骤2:在动态场景中，用手持相机获取欠曝光、正常曝光和过曝光三幅图像，记录为d1、d2和d3，并将d2替换为步骤1中所得的图像s2；
步骤3：利用lk光流法对d1、s2和d3进行配准，配准后的图像序列记为r1、r2和r3,和步骤1中得到的groundtruth组成配对的训练集；
步骤4：利用相机相应曲线将r1、r2和r3变换到线性域，将变换后的图像记录为h1、h2和h3；
步骤5：利用对比度算子提取h1、h2和h3图像中的亮度信息，将得到的亮度图像记录为m1、m2和m3；
步骤6：利用梯度算子提取r1、r2和r3图像中的细节信息，将得到的细节图像记录为l1、l2和l3；
步骤7：设计基于resnet的attention模块；
步骤8：构建基于u-net和resnet的hdr重建网络，设计混合结构损失函数；
步骤9：将步骤3得到的图像r1、r2和r3和步骤4得到的图像h1、h2和h3通道合并作为步骤8的输入，步骤5得到的图像m1、m2和m3及步骤6得到的图像l1、l2和l3通道合并起来作为步骤7构建的attention模块的输入，步骤1得到的图像t作为标签，对网络进行训练；
步骤10：对于步骤9训练好的网络模型，将测试图像输入训练好的重建网络中，得到hdr图像；
步骤11：利用reinhard色调映射算法对产生的hdr图像进行色调映射，在8bit显示屏上展示重建图像。
优选地，所述步骤1的具体步骤为：
步骤1-1：对所得的图像s1、s2和s3进行曝光调整，记为l1、l2和l3如下式所示：
步骤1-2：根据简单融合算法将步骤1-1所得的l1、l2和l3融合生成hdr图像，作为groundtruth，具体公式如下所示：
优选地，所述步骤3的具体步骤为：
步骤3-1：对步骤2中所得到的三幅图像d1、s2和d3，进行曝光调整，利用相机的曝光响应曲线将s2的曝光量调整到与d1曝光量相同，记为d2-1，相机的曝光响应曲线为ev＝f(bv,sv)，其中ev是图像的曝光度，由相机的曝光量f和曝光时间t决定，计算方式如下式所示：
步骤3-2：利用harris角点检测法检测d1和d2-1中的特征点；
步骤3-3：利用lk光流法计算d1与d2-1之间的光流矢量；
步骤3-4：利用双三次插值法及步骤3-3中所得到的光流矢量，将d1及d2-1对齐；
步骤3-5：重复步骤3-1相同，利用相机响应曲线将s2的曝光量调整到与d3相同，记为d2-3；
步骤3-6：重复上述步骤3-2、3-3和3-4，将d3与d2-3对齐。
优选地，所述步骤4采用伽马曲线，将图像从线性域转换到非线性域，如下式所示：f＝xγ，其中γ＝2和x为ldr图像，f为变换后得到的hdr域图像。
优选地，所述步骤5利用对比度算子提取步骤4得到的图像h1、h2和h3的亮度信息，具体如下式所示：
优选地，所述步骤6利用梯度算子提取步骤3得到的图像r1、r2和r3的细节信息，如下式所示：
优选地，所述步骤7的具体步骤为：
步骤7-1：将步骤5得到的亮度特征图m1、m2和m3和步骤6得到的细节特征图l1、l2和l3通道合并起来作为attention模块的输入；
步骤7-2：构建attention模块，将步骤7-1得到的输入经过一个resnet模块；
步骤7-3：步骤7-2所得到的输出经过三层卷积层，卷积核的大小为3*3，卷积步长为2，使用的激活函数为relu，激活函数的表达式为：f＝max(0,x)；
步骤7-4：将步骤7-3所得到的特征图经过sigmoid激活函数，记输出特征图为f_a，具体如下式所示：
优选地，所述步骤8的具体步骤为：
步骤8-1：构建编码网络，即下采样网络，该网络由四层卷积块组成，每个卷积块的结构包括卷积层、批量归一化bn层、激活函数relu层；
步骤8-2：将步骤4得到的图像h1、h2和h3分别和步骤3得到的图像r1、r2和r3对应通道合并即concat起来作为编码网络的输入，3组图像分别经过两层卷积块的下采样后，再将三个编码器的输出通道合并起来经过两个卷积块，记输出特征图为f_u；
步骤8-3：将步骤8-2的输出特征图和步骤7-4的输出特征图进行点乘，记输出特征图为f：f＝f_a·f_u；
步骤8-4：将步骤8-3得到的输出特征图和步骤8-2得到的输出特征图相加，记得到的特征图为f_r，f_r＝f f_u；
步骤8-5：构建融合网络，该网络由一个残差块构成，输入为步骤8-4得到的输出特征图；
步骤8-6：构建解码网络，即上采样网络，该网络由四层卷积块组成，与编码网络对称，每个卷积块的结构为bn层，relu层，反卷积层，同时在与编码网络图像尺寸大小相同的对应层之间建立跳跃连接；
步骤8-7：网络的损失函数由两部分组成，包括mse损失和vgg损失，如下所示：mse损失计算的是网络生成的hdr图像经过色调映射后得到的图像
步骤8-8：利用步骤9得到的网络输入及标签训练网络，使其完成hdr的重建过程。
优选地，所述步骤11采用reinhard色调映射算法对步骤10得到的测试图像进行色调映射。
与现有技术相比，本发明基于深度学习的动态场景hdr重建方法具有以下优点：可用于对包含小运动目标的低动态范围(ldr)图像进行重建以得到高动态范围(hdr)图像，本发明对传统的基于图像融合以及现有的基于深度学习的方法在处理动态场景时出现的鬼影以及光晕现象，首先利用光流法对图像进行配准，同时，提取低动态范围图像中的亮度和细节信息，构建基于u-net和resnet的深度学习模型，利用提取的亮度和细节信息辅助训练模型，能使多曝光图像融合后生成的hdr图像含有丰富的细节和较高的对比度。针对现有hdr重建算法高光和暗部细节丢失问题，设计混合结构损失函数以保证细节重建，从而达到发明目的。
该hdr重建算法通过结合动静态场景，在不借助硬件设备的前提下制作可用的数据集及真实hdr图像；设计基于u-resnet框架的cnn网络，利用深度学习融合多帧不同曝光的ldr图像以重建hdr图像；同时设计注意力模块，通过传统图像算法提取ldr图像的细节和亮度信息，作为注意力模块的输入，辅助重建网络的训练。通过设计的算法提升图像的细节和亮度信息，同时扩展图像的动态范围。本发明可以处理场景中具有较大运动的图像，也可以处理饱和区域较多的图像，生成的hdr图像细节丰富，对比度高，同时具有广色域、高动态范围。
附图说明
图1是本发明的网络结构示意图；
图2是本发明中attention模块的网络结构示意图；
图3是本发明仿真测试一中曝光量为-2ev的ldr图像；
图4是本发明仿真测试一中曝光量为0ev的ldr图像；
图5是本发明仿真测试一中曝光量为 2ev的ldr图像；
图6是本发明仿真测试一中采用deep-hdr方法经过色调映射的hdr图像；
图7是本发明仿真测试一中采用expand-hdr方法经过色调映射的hdr图像；
图8是本发明仿真测试一中采用sen方法经过色调映射的hdr图像；
图9是本发明仿真测试一中采用本发明方法经过色调映射的hdr图像；
图10是本发明仿真测试一中groundtruth的图像；
图11是本发明仿真测试二中曝光量为-2ev的ldr图像；
图12是本发明仿真测试二中曝光量为0ev的ldr图像；
图13是本发明仿真测试二中曝光量为 2ev的ldr图像；
图14是本发明仿真测试一中采用deep-hdr方法经过色调映射的hdr图像；
图15是本发明仿真测试一中采用expand-hdr方法经过色调映射的hdr图像；
图16是本发明仿真测试一中采用sen方法经过色调映射的hdr图像；
图17是本发明仿真测试一中采用本发明方法经过色调映射的hdr图像。
图18是本发明仿真测试一中groundtruth的图像；
其中deep-hdr是指论文deephighdynamicrangeimagingwithlargeforegroundmotions中提出的方法；
expand-hdr是指论文expandnet:adeepconvolutionalneuralnetworkforhighdynamicrangeexpansionfromlowdynamicrangecontent.computergraphicsforum中提出的方法；
sen是指论文robustpatch-basedhdrreconstructionofdynamicscenes中提出的方法；
our是指本文中提出的方法；
groudtruth是指真实图像。
具体实施方式
下面结合附图和具体实施方式对本发明基于深度学习的动态场景hdr重建方法作进一步说明：如图所示，本实施例中含有以下步骤，
步骤1：在同一静态场景内，用三脚架相机获取相同细节和范围大小的欠曝光、正常曝光和过曝光三幅图像，记录为s1、s2和s3，记录对应图像的曝光时间，利用加权融合算法将其融合得到groundtruth，记为t；
步骤2:在动态场景中，用手持相机获取欠曝光、正常曝光和过曝光三幅图像，记录为d1、d2和d3，并将d2替换为步骤1中所得的图像s2；
步骤3：利用lk光流法对d1、s2和d3进行配准，配准后的图像序列记为r1、r2和r3,和步骤1中得到的groundtruth组成配对的训练集；
步骤4：利用相机相应曲线将r1、r2和r3变换到线性域，将变换后的图像记录为h1、h2和h3；
步骤5：利用对比度算子提取h1、h2和h3图像中的亮度信息，将得到的亮度图像记录为m1、m2和m3；
步骤6：利用梯度算子提取r1、r2和r3图像中的细节信息，将得到的细节图像记录为l1、l2和l3；
步骤7：设计基于resnet的attention模块；
步骤8：构建基于u-net和resnet的hdr重建网络，设计混合结构损失函数；
步骤9：将步骤3得到的图像r1、r2和r3和步骤4得到的图像h1、h2和h3通道合并作为步骤8的输入，步骤5得到的图像m1、m2和m3及步骤6得到的图像l1、l2和l3通道合并起来作为步骤7构建的attention模块的输入，步骤1得到的图像t作为标签，对网络进行训练；
步骤10：对于步骤9训练好的网络模型，将测试图像输入训练好的重建网络中，得到hdr图像；
步骤11：利用reinhard色调映射算法对产生的hdr图像进行色调映射，在8bit显示屏上展示重建图像。
所述步骤1的具体步骤为：
步骤1-1：对所得的图像s1、s2和s3进行曝光调整，记为l1、l2和l3如下式所示：
步骤1-2：根据简单融合算法将步骤1-1所得的l1、l2和l3融合生成hdr图像，作为groundtruth，具体公式如下所示：
所述步骤3的具体步骤为：
步骤3-1：对步骤2中所得到的三幅图像d1、s2和d3，进行曝光调整，利用相机的曝光响应曲线将s2的曝光量调整到与d1曝光量相同，记为d2-1，相机的曝光响应曲线为ev＝f(bv,sv)，其中ev是图像的曝光度，由相机的曝光量f和曝光时间t决定，计算方式如下式所示：
步骤3-2：利用harris角点检测法检测d1和d2-1中的特征点；
步骤3-3：利用lk光流法计算d1与d2-1之间的光流矢量；
步骤3-4：利用双三次插值法及步骤3-3中所得到的光流矢量，将d1及d2-1对齐；
步骤3-5：重复步骤3-1相同，利用相机响应曲线将s2的曝光量调整到与d3相同，记为d2-3；
步骤3-6：重复上述步骤3-2、3-3和3-4，将d3与d2-3对齐。
所述步骤4采用伽马曲线，将图像从线性域转换到非线性域，如下式所示：f＝xγ，其中γ＝2和x为ldr图像，f为变换后得到的hdr域图像。
所述步骤5利用对比度算子提取步骤4得到的图像h1、h2和h3的亮度信息，具体如下式所示：
所述步骤6利用梯度算子提取步骤3得到的图像r1、r2和r3的细节信息，如下式所示：
所述步骤7的具体步骤为：
步骤7-1：将步骤5得到的亮度特征图m1、m2和m3和步骤6得到的细节特征图l1、l2和l3通道合并起来作为attention模块的输入；
步骤7-2：构建attention模块，将步骤7-1得到的输入经过一个resnet模块；
步骤7-3：步骤7-2所得到的输出经过三层卷积层，卷积核的大小为3*3，卷积步长为2，使用的激活函数为relu，激活函数的表达式为：f＝max(0,x)；
步骤7-4：将步骤7-3所得到的特征图经过sigmoid激活函数，记输出特征图为f_a，具体如下式所示：
所述步骤8的具体步骤为：
步骤8-1：构建编码网络，即下采样网络，该网络由四层卷积块组成，每个卷积块的结构包括卷积层、批量归一化bn层、激活函数relu层；
步骤8-2：将步骤4得到的图像h1、h2和h3分别和步骤3得到的图像r1、r2和r3对应通道合并即concat起来作为编码网络的输入，3组图像分别经过两层卷积块的下采样后，再将三个编码器的输出通道合并起来经过两个卷积块，记输出特征图为f_u；
步骤8-3：将步骤8-2的输出特征图和步骤7-4的输出特征图进行点乘，记输出特征图为f：f＝f_a·f_u；
步骤8-4：将步骤8-3得到的输出特征图和步骤8-2得到的输出特征图相加，记得到的特征图为f_r，f_r＝f f_u；
步骤8-5：构建融合网络，该网络由一个残差块构成，输入为步骤8-4得到的输出特征图；
步骤8-6：构建解码网络，即上采样网络，该网络由四层卷积块组成，与编码网络对称，每个卷积块的结构为bn层，relu层，反卷积层，同时在与编码网络图像尺寸大小相同的对应层之间建立跳跃连接；
步骤8-7：网络的损失函数由两部分组成，包括mse损失和vgg损失，如下所示：mse损失计算的是网络生成的hdr图像经过色调映射后得到的图像
步骤8-8：利用步骤9得到的网络输入及标签训练网络，使其完成hdr的重建过程。
所述步骤11采用reinhard色调映射算法对步骤10得到的测试图像进行色调映射。
下面结合仿真实验对本发明的效果做进一步的描述：
1、仿真实验条件：
发明仿真的硬件环境是：intelcore(tm)i5-4570cpu@3.20ghz×8，gpunvidiageforcegtx10808g运行内存；软件环境：ubuntu16.04，python3.6；实验框架：tensorflow。
2、仿真和实例内容与结果分析
本发明在公开的hdr数据集中选取测试集作为实验样本，将其输入到训练好的网络中进行实验，得到图像经过色调映射算法后对比效果如下所示，输入为三张动态场景中不同曝光的ldr图像，曝光量分别为-2ev，0ev， 2ev，如第一组图为图3-图5，第二组图为图11-图13，输出为一张经过色调映射的hdr图像：
在两组对比结果图中绿色框中标注出来的，我们的算法在高光和暗部的细节处恢复的比现有的算法更优异。由第一组对比结果图6-图10可以看到，deep-hdr，expand-hdr及sen方法在标注的高光区域都出现了溢出现象，而我们的算法完全恢复了高光处的细节，达到了和真实图像相同的效果。由第二组对比结果图14-图18可以看到，现有的算法在高光处的恢复出现错误，尤其是sen方法，而我们的方法恢复的细节与真实场景最为接近。同时在客观指标psnr上相比现有算法平均提高0.1个db。
本发明实施过程中的参考文献：
[1]wu,shangzhe,xu,jiarui,tai,yu-wing,&tang,chi-keung..deephighdynamicrangeimagingwithlargeforegroundmotions.
[2]marnerides,d.,bashford-rogers,t.,hatchett,j.,&debattista,k..expandnet:adeepconvolutionalneuralnetworkforhighdynamicrangeexpansionfromlowdynamicrangecontent.computergraphicsforum,37(2),37-49.
[3]sen,p.,kalantari,n.k.,yaesoubi,m.,darabi,s.,&shechtman,e..(2012).robustpatch-basedhdrreconstructionofdynamicscenes.acmtransactionsongraphics,31(6).
1.一种基于深度学习的动态场景hdr重建方法，其特征在于：含有以下步骤，
步骤1：在同一静态场景内，用三脚架相机获取相同细节和范围大小的欠曝光、正常曝光和过曝光三幅图像，记录为s1、s2和s3，记录对应图像的曝光时间，利用加权融合算法将其融合得到groundtruth，记为t；
步骤2:在动态场景中，用手持相机获取欠曝光、正常曝光和过曝光三幅图像，记录为d1、d2和d3，并将d2替换为步骤1中所得的图像s2；
步骤3：利用lk光流法对d1、s2和d3进行配准，配准后的图像序列记为r1、r2和r3,和步骤1中得到的groundtruth组成配对的训练集；
步骤4：利用相机相应曲线将r1、r2和r3变换到线性域，将变换后的图像记录为h1、h2和h3；
步骤5：利用对比度算子提取h1、h2和h3图像中的亮度信息，将得到的亮度图像记录为m1、m2和m3；
步骤6：利用梯度算子提取r1、r2和r3图像中的细节信息，将得到的细节图像记录为l1、l2和l3；
步骤7：设计基于resnet的attention模块；
步骤8：构建基于u-net和resnet的hdr重建网络，设计混合结构损失函数；
步骤9：将步骤3得到的图像r1、r2和r3和步骤4得到的图像h1、h2和h3通道合并作为步骤8的输入，步骤5得到的图像m1、m2和m3及步骤6得到的图像l1、l2和l3通道合并起来作为步骤7构建的attention模块的输入，步骤1得到的图像t作为标签，对网络进行训练；
步骤10：对于步骤9训练好的网络模型，将测试图像输入训练好的重建网络中，得到hdr图像；
步骤11：利用reinhard色调映射算法对产生的hdr图像进行色调映射，在8bit显示屏上展示重建图像。
2.根据权利要求1所述的基于深度学习的动态场景hdr重建方法，其特征在于：所述步骤1的具体步骤为：
步骤1-1：对所得的图像s1、s2和s3进行曝光调整，记为l1、l2和l3如下式所示：
步骤1-2：根据简单融合算法将步骤1-1所得的l1、l2和l3融合生成hdr图像，作为groundtruth，具体公式如下所示：
3.根据权利要求1所述的基于深度学习的动态场景hdr重建方法，其特征在于：所述步骤3的具体步骤为：
步骤3-1：对步骤2中所得到的三幅图像d1、s2和d3，进行曝光调整，利用相机的曝光响应曲线将s2的曝光量调整到与d1曝光量相同，记为d2-1，相机的曝光响应曲线为ev＝f(bv,sv)，其中ev是图像的曝光度，由相机的曝光量f和曝光时间t决定，计算方式如下式所示：
步骤3-2：利用harris角点检测法检测d1和d2-1中的特征点；
步骤3-3：利用lk光流法计算d1与d2-1之间的光流矢量；
步骤3-4：利用双三次插值法及步骤3-3中所得到的光流矢量，将d1及d2-1对齐；
步骤3-5：重复步骤3-1相同，利用相机响应曲线将s2的曝光量调整到与d3相同，记为d2-3；
步骤3-6：重复上述步骤3-2、3-3和3-4，将d3与d2-3对齐。
4.根据权利要求1所述的基于深度学习的动态场景hdr重建方法，其特征在于：所述步骤4采用伽马曲线，将图像从线性域转换到非线性域，如下式所示：f＝xγ，其中γ＝2和x为ldr图像，f为变换后得到的hdr域图像。
5.根据权利要求1所述的基于深度学习的动态场景hdr重建方法，其特征在于：所述步骤5利用对比度算子提取步骤4得到的图像h1、h2和h3的亮度信息，具体如下式所示：
6.根据权力要求书1所述的基于深度学习的动态场景hdr重建方法，其特征在于：所述步骤6利用梯度算子提取步骤3得到的图像r1、r2和r3的细节信息，如下式所示：
7.根据权利要求1所述的基于深度学习的动态场景hdr重建方法，其特征在于：所述步骤7的具体步骤为：
步骤7-1：将步骤5得到的亮度特征图m1、m2和m3和步骤6得到的细节特征图l1、l2和l3通道合并起来作为attention模块的输入；
步骤7-2：构建attention模块，将步骤7-1得到的输入经过一个resnet模块；
步骤7-3：步骤7-2所得到的输出经过三层卷积层，卷积核的大小为3*3，卷积步长为2，使用的激活函数为relu，激活函数的表达式为：f＝max(0,x)；
步骤7-4：将步骤7-3所得到的特征图经过sigmoid激活函数，记输出特征图为f_a，具体如下式所示：
8.根据权利要求1所述的基于深度学习的动态场景hdr重建方法，其特征在于：所述步骤8的具体步骤为：
步骤8-1：构建编码网络，即下采样网络，该网络由四层卷积块组成，每个卷积块的结构包括卷积层、批量归一化bn层、激活函数relu层；
步骤8-2：将步骤4得到的图像h1、h2和h3分别和步骤3得到的图像r1、r2和r3对应通道合并即concat起来作为编码网络的输入，3组图像分别经过两层卷积块的下采样后，再将三个编码器的输出通道合并起来经过两个卷积块，记输出特征图为f_u；
步骤8-3：将步骤8-2的输出特征图和步骤7-4的输出特征图进行点乘，记输出特征图为f：f＝f_a·f_u；
步骤8-4：将步骤8-3得到的输出特征图和步骤8-2得到的输出特征图相加，记得到的特征图为f_r，f_r＝f f_u；
步骤8-5：构建融合网络，该网络由一个残差块构成，输入为步骤8-4得到的输出特征图；
步骤8-6：构建解码网络，即上采样网络，该网络由四层卷积块组成，与编码网络对称，每个卷积块的结构为bn层，relu层，反卷积层，同时在与编码网络图像尺寸大小相同的对应层之间建立跳跃连接；
步骤8-7：网络的损失函数由两部分组成，包括mse损失和vgg损失，如下所示：mse损失计算的是网络生成的hdr图像经过色调映射后得到的图像
步骤8-8：利用步骤9得到的网络输入及标签训练网络，使其完成hdr的重建过程。
9.根据权利要求1所述的基于深度学习的动态场景hdr重建方法，其特征在于：所述步骤11采用reinhard色调映射算法对步骤10得到的测试图像进行色调映射。
技术总结