本发明属于超分辨成像领域,具体地说涉及一种基于深度学习的远距离目标超分辨成像方法。
背景技术:
对物体的光学成像分辨率受限于成像系统的数值孔径,使得在特定的成像条件下往往无法得到物体的清晰成像。传统的超分辨成像方法采用荧光或结构光等光学方法对显微对象进行照明优化,从而获得细节信息。而对于空天目标成像、卫星遥感成像和长焦显微成像等情况,无法通过照明优化来改善成像条件。因此,现有技术有待于进一步改进和发展。
技术实现要素:
针对如何在既有成像条件下获得目标的细节信息成为目前超分辨成像的重要需求,现提出一种基于深度学习的远距离目标超分辨成像方法。
本发明提供如下技术方案:
一种基于深度学习的远距离目标超分辨成像方法,其中,包括以下步骤:
获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像,并利用所获取图像建立图像数据集;
基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型;
获取当前目标物成像得到的低分辨率图像;
利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像,构建得到当前目标物高分辨率图像。
一种基于深度学习的远距离目标超分辨成像方法,其中,利用高分辨成像系统获取目标物和与目标物同属一类的其余物体的高分辨率图像,利用低分辨成像系统获取目标物和与目标物同属一类的其余物体的低分辨率图像。
一种基于深度学习的远距离目标超分辨成像方法,其中,目标物和与目标物同属一类的其余物体的高分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的高分辨率图像,目标物和与目标物同属一类的其余物体的低分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的低分辨率图像。
一种基于深度学习的远距离目标超分辨成像方法,其中,利用在公开数据集imagenet上训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型。
一种基于深度学习的远距离目标超分辨成像方法,其中,通过低分辨成像系统对当前目标物进行成像,获取当前目标物的低分辨率图像。
一种基于深度学习的远距离目标超分辨成像方法,其中,将同一类物体的高分辨率图像与其相应的低分辨率图像成对组成图像数据集。
一种基于深度学习的远距离目标超分辨成像系统,其中,包括:
图像获取模块,用于获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像;
数据集构建模块,用于利用图像获取模块所获取图像建立图像数据集;
训练模块,用于基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型;
处理模块,用于利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像,得到当前目标物高分辨率图像。
有益效果:
本发明提供了一种基于深度学习的远距离目标超分辨成像方法,成像分辨率不受限于成像系统的数值孔径以及光电耦合器件的像素,不仅适用于“马赛克”图像,也适用于高像素的模糊图像,不同于图像识别,该方法对于在训练集中未出现过的同类物体同样适用。
附图说明
图1是本发明具体实施方式中一种基于深度学习的远距离目标超分辨成像方法流程图;
图2是本发明具体实施方式中一种基于深度学习的远距离目标超分辨成像系统原理框图;
图3是本发明具体实施例1中目标图像数据集构建方法示意图;
图4是本发明具体实施例1中低分辨成像系统示意图。
图中:1-成像目标物、2-半透半反镜、3-反射镜、4-高分辨成像器件、5-低分辨成像器件、6-计算机。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案,下面结合本发明的附图,对本发明的技术方案进行清楚、完整的描述,基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例,都应当属于本申请保护的范围。此外,以下实施例中提到的方向用词,例如“上”“下”“左”“右”等仅是参考附图的方向,因此,使用的方向用词是用来说明而非限制本发明创造。
本发明采用深度学习技术对传统的光学成像结果进行处理,得到超过该光学系统分辨率和像素分辨率的成像结果。
本发明提出的一种基于深度学习的远距离目标超分辨成像方法,其基本原理可参考“脸幻觉”现象,在看到低分辨人脸图像时,成年人会根据经验自动“脑补”其细节,这被称为“脸幻觉”(facehallucination)现象。这种“脸幻觉”现象原理为,成年人脑储存有大量的人脸特征信息,形成人脸“知识库”,在看到低分辨的人脸时,会自动将人脸分解为眼睛、鼻子、嘴巴等关键部件,并提取其尺寸和相对位置信息,并检索其已有的“知识库”,找出吻合的部件,重构清晰图像。
一种基于深度学习的远距离目标超分辨成像方法,如图1所示,包括以下步骤:
s1:获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像,并利用所获取图像建立图像数据集。
进一步的,利用高分辨成像系统获取目标物和与目标物同属一类的其余物体的高分辨率图像,利用低分辨成像系统获取目标物和与目标物同属一类的其余物体的低分辨率图像。
进一步的,目标物和与目标物同属一类的其余物体的高分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的高分辨率图像,目标物和与目标物同属一类的其余物体的低分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的低分辨率图像。
s2:基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型。
进一步的,利用在公开数据集imagenet上训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型。
s3:获取当前目标物成像得到的低分辨率图像。
进一步的,通过低分辨成像系统对当前目标物进行成像,获取当前目标物的低分辨率图像。
s4:利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像,构建得到当前目标物高分辨率图像。
进一步的,将同一类物体的高分辨率图像与其相应的低分辨率图像成对组成图像数据集。
一种基于深度学习的远距离目标超分辨成像系统,其中,如图2所示,包括:
图像获取模块100,用于获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像;
数据集构建模块200,用于利用图像获取模块所获取图像建立图像数据集;
训练模块300,用于基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型;
处理模块400,用于利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像,得到当前目标物高分辨率图像。
本发明利用同一类型的远距离目标有关键部件及细节规律,例如飞行器上的机身、机翼、尾翼、负载等关键部件,将同一类物体的大量高分辨率图像与其相应的低分辨率图像成对组成训练数据集,使用卷积神经网络对该数据集进行学习,得到训练完成的神经网络模型,将新采集的低分辨图像输入该模型,得到相应的高分辨率图像,从而实现目标物体的超分辨成像。
具体实施例1:
以飞行器超分辨成像为例,分为以下步骤:
(1)建立飞行器的图像数据集:如图3所示,搭建光学成像系统,该光学成像系统包括成像目标物1、半透半反镜2、反射镜3、高分辨成像器件4、低分辨成像器件5、计算机6。本具体实施例中成像目标物1为飞行器,对各型号的大量飞行器通过高分辨成像器件4进行高分辨成像和通过低分辨成像器件5进行低分辨成像,每个型号又包括各个角度和距离的成像,成像结果存入计算机6中。
(2)对采集得到的图像进行后处理,对高、低分辨率的图像进行裁切,得到以飞行器位主体的图像,再进行重采样,使得所有图像的像素尺寸相同,必要时进行数据增强,增加训练样本。
(3)构建卷积神经网络,该网络的输入为飞行器的低分辨成像结果,输出为高分辨成像结果。将上述训练数据代入该网络,训练集的高分辨成像结果作为输出,对网络进行训练,得到训练完成的超分辨重构神经网络模型。必要时利用在公开数据集imagenet及其成熟网络模型进行迁移学习。
(4)如图4所示,使用低分辨光学成像系统对任意飞行器进行成像,采集低分辨图像。
(5)将采集的低分辨图像按照训练集的后处理参数进行同样处理后,送入上述神经网络模型作为输入,正向计算神经网络,得到的输出即为超分辨成像结果。
以上已将本发明做一详细说明,以上所述,仅为本发明之较佳实施例而已,当不能限定本发明实施范围,即凡依本申请范围所作均等变化与修饰,皆应仍属本发明涵盖范围内。
1.一种基于深度学习的远距离目标超分辨成像方法,其特征在于,包括以下步骤:
获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像,并利用所获取图像建立图像数据集;
基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型;
获取当前目标物成像得到的低分辨率图像;
利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像,构建得到当前目标物高分辨率图像。
2.根据权利要求1所述的基于深度学习的远距离目标超分辨成像方法,其特征在于,利用高分辨成像系统获取目标物和与目标物同属一类的其余物体的高分辨率图像,利用低分辨成像系统获取目标物和与目标物同属一类的其余物体的低分辨率图像。
3.根据权利要求1所述的基于深度学习的远距离目标超分辨成像方法,其特征在于,目标物和与目标物同属一类的其余物体的高分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的高分辨率图像,目标物和与目标物同属一类的其余物体的低分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的低分辨率图像。
4.根据权利要求1所述的基于深度学习的远距离目标超分辨成像方法,其特征在于,利用在公开数据集imagenet上训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型。
5.根据权利要求2所述的基于深度学习的远距离目标超分辨成像方法,其特征在于,通过低分辨成像系统对当前目标物进行成像,获取当前目标物的低分辨率图像。
6.根据权利要求1所述的基于深度学习的远距离目标超分辨成像方法,其特征在于,将同一类物体的高分辨率图像与其相应的低分辨率图像成对组成图像数据集。
7.一种基于深度学习的远距离目标超分辨成像系统,其特征在于,包括:
图像获取模块,用于获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像;
数据集构建模块,用于利用图像获取模块所获取图像建立图像数据集;
训练模块,用于基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习,得到训练完成的神经网络模型;
处理模块,用于利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像,得到当前目标物高分辨率图像。
技术总结