本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、设备、无人机、系统及存储介质。
背景技术:
随着飞行技术的发展,无人机成为了当前比较热门的研究话题,且被广泛应用于植物保护、航空拍摄、森林火警监控等领域,给人们的生活及工作带来许多便利。
在航空拍摄应用中,通常采用一个摄像头对拍摄对象进行拍摄,实践中发现,这样拍摄所得的图像包括的信息单一,例如,采用红外拍摄镜头对拍摄对象进行拍摄,红外拍摄镜头采用红外探测可以获取拍摄对象的红外辐射信息,该红外辐射信息能够较好地反映拍摄对象的温度信息,但是红外拍摄镜头对拍摄场景的亮度变化不敏感,成像的分辨率较低,拍摄得到的图像不能反映拍摄对象的细节特征信息。再例如,采用可见光拍摄镜头对拍摄对象进行拍摄,可见光拍摄镜头可以获取到较高分辨率的图像,能够反映拍摄对象的细节特征信息,但是可见光拍摄镜头不能获取到拍摄对象的红外辐射信息,拍摄得到的图像不能反映拍摄对象的温度信息。因此,如何获取质量较高、所含信息更加丰富的图像成为了研究的热点。
技术实现要素:
本发明实施例提供了一种图像处理方法、设备、无人机、系统及存储介质,可以获取到较高质量的图像。
第一方面,本发明实施例提供了一种图像处理方法,该方法包括:
获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
第二方面,本发明实施例提供了一种图像处理设备,包括存储器和处理器:
所述存储器,用于存储程序指令;
所述处理器,执行所述存储器存储的程序指令,当程序指令被执行时,所述处理器用于执行如下步骤:
获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
第三方面,本发明实施例提供了一种无人机,包括:
机身;
设置在机身上的动力系统,用于提供飞行动力;
处理器,用于获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
第四方面,本发明实施例提供了一种无人机系统,该系统包括:智能终端、图像拍摄装置和无人机;
所述智能终端,用于发送飞行控制指令,所述飞行控制指令用于指示无人机按照确定的飞行轨迹进行飞行;
所述无人机,用于响应所述飞行控制指令,控制无人机按照所述飞行轨迹进行飞行并控制所述无人机上挂载的所述图像拍摄装置进行拍摄;
所述图像拍摄装置,用于通过图像拍摄装置包括的红外拍摄模块获取第一波段图像,通过图像拍摄装置包括的可见光拍摄模块获取第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;将配准后的第一波段图像和所配准后的第二波段图像直接进行融合处理,得到目标图像。
第五方面,本发明实施例提供一种计算机存储介质,该计算机存储介质存储有计算机程序指令,该计算机程序指令被执行时用于实现上述的第一方面所述的图像处理方法。
本发明实施例中,通过对获取到的第一波段图像和第二波段图像进行配准,然后将配准后的第一波段图像和第二波段图像直接进行融合处理,得到目标图像,该目标图像是第一波段图形和第二波段图像配准后直接进行融合得到的,并未进行其他处理,融合方案简单,节省了图像融合所需时间,从而提高了图像融合的效率。另外,该目标图像中包括了第一波段图像的信息以及第二波段图像的信息,从该目标图像中可以获取到更多信息量,提高了拍摄图像的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种无人机系统的结构示意图;
图2为本发明实施例提供的一种图像处理方法的流程示意图;
图3为本发明实施例提供的另一种图像处理方法的流程示意图;
图4为本发明实施提供的一种获取待融合图像的梯度场的流程示意图;
图5为本发明实施例提供的一种获取待融合图像的梯度场的示意图;
图6为本发明实施例提供的一种计算待融合图像中像素点的颜色值的方法流程示意图;
图7为本发明实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施提出一种图像处理方法,所述图像处理方法可应用在无人机系统中,所述无人机系统中的无人机上挂载有图像拍摄装置,所述图像处理方法对所述拍摄装置所拍摄的第一波段图像和第二波段图像进行配准后,不做其他处理,直接融合得到目标图像,如此可节省图像融合所需的时间,另外,该目标图像中既包括了第一波段图像的信息又包括了第二波段图像的信息,从目标图像中可以获取到更多信息量,提高了拍摄图像的质量。
本发明实施例可以应用于军事国防、遥感探测、环境保护、交通检测或灾情检测等领域,这些领域主要是基于无人机的航拍拍摄得到环境图像,对环境图像进行分析处理得到相应的数据。例如,在环境保护领域中,通过无人机针对某个区域进行拍摄得到该区域的环境图像,如该区域为一个河流所在的区域,对该区域的环境图像进行分析,得到关于该河流水质的数据,根据该河流水质的数据可以判断该河流是否被污染。
为了便于理解本发明实施所述的图像处理方法,首先介绍本发明实施例的一种无人机系统,请参见图1,为本发明实施例提供的一种无人机系统的结构示意图,所述无人机系统包括:智能终端101、无人机102以及图像拍摄装置103。
所述智能终端101可以是无人机的控制终端,具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的一种或多种。所述无人机102可以是旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机。无人机102包括动力系统,动力系统用于为无人机提供飞行动力,其中,动力系统可包括螺旋桨、电机、电调中的一种或多种。
所述图像拍摄装置103用于在接收到拍摄指令时拍摄图像,所述图像拍摄装置配置于所述无人机102上,在一个实施例中,所述无人机102还可以包括云台,所述图像拍摄装置103通过云台挂载于所述无人机102上。所述云台为多轴传动及增稳系统,云台电机通过调整转动轴的转动角度来对图像拍摄装置的拍摄角度进行补偿,并通过设置适当的缓冲机构来防止或减小图像拍摄装置的抖动。
在一个实施例中,所述图像拍摄装置103至少包括红外拍摄模块1031和可见光拍摄模块1032,其中,所述红外拍摄模块1031和可见光拍摄模块1032具有不同的拍摄优势。例如,红外拍摄模块1031可以探测到拍摄对象的红外辐射信息,拍摄得到的图像能够较好的反映拍摄对象的温度信息;可见光拍摄模块1032可以拍摄得到较高分辨率的图像,该图像能够反映拍摄对象的细节特征信息。云台为多轴传动及增稳系统,云台电机通过调整转动轴的转动角度来对成像设备的拍摄角度进行补偿,并通过设置适当的缓冲机构来防止或减小成像设备的抖动。
在一个实施例中,智能终端101还可以配置有用于实现人机交互的交互装置,该交互装置可以是触摸显示屏、键盘、按键、摇杆、波轮中的一种或多种。所述交互装置上可以提供用户界面,在无人机飞行的过程中,用户可以通过该用户界面设置拍摄位置,例如,用户可以在该用户界面上输入拍摄位置信息,或者用户还可以在无人机的飞行轨迹上执行用于设置拍摄位置的触控操作(如点击操作或滑动操作)以设置拍摄位置,具体地智能终端101根据一次触控操作设置一个拍摄位置。在一个实施例中,智能终端101检测到用户输入的拍摄位置信息后,将所述拍摄位置信息发送至所述图像拍摄装置103,当所述无人机102飞行到该拍摄位置时,所述图像拍摄装置103对所述拍摄位置中的拍摄对象进行拍摄。
在一个实施例中,当所述无人机102飞行到该拍摄位置,对拍摄位置中的拍摄对象进行拍摄之前,还可以检测是否所述图像拍摄装置103包括的红外拍摄模块1031和可见光拍摄模块1032是否在位置上处于配准状态:如果处于配准状态时,则所述红外拍摄模块1031和所述可见光拍摄模块1032对拍摄位置中的拍摄对象进行拍摄;如果不是处于配准状态时,可不执行上述拍摄操作,同时可输出提示信息,用于提示将所述红外拍摄模块1031和可见光拍摄模块1032进行配准。
在一个实施例中,红外拍摄模块1031对拍摄位置中的拍摄对象进行拍摄,得到第一波段图像,可见光模块1032对拍摄位置处的拍摄对象进行拍摄,得到第二波段图像,图像拍摄装置103可以对获取到的第一波段图像和第二波段图像进行配准处理,并将配准后的第一波段图像和第二波段图像直接进行融合,得到目标图像。需要说明的是,此处所述配准处理是指对获取到的第一波段图像和第二波段图像进行处理,比如旋转、裁剪等,上述位置上的配准处理是指在拍摄之前对红外拍摄模块1031和可见光拍摄模块1032的物理结构上进行调整。
再一个实施例中,图像拍摄装置103还可以将第一波段图像和第二波段图像发送给智能终端101或者无人机102,所述智能终端101或者无人机执行上述融合操作,得到目标图像。所述目标图像中既包括了第一波段图像的信息又包括了第二波段图像的信息,从所述目标图像中可以获取到更多信息量,提高了拍摄图像的信息多样性,并且对配准后的第一波段图像和第二波段图像不做其他处理,直接融合,节省了图像融合时间,提高了图像融合效率。
请参见图2,为本发明实施例提供的一种图像处理方法,所述图像处理方法可应用在上述无人机系统中,具体应用于图像拍摄装置,所述图像处理方法可以由所述图像拍摄装置执行。图2所示的图像处理方法,可包括:
步骤s201、获取第一波段图像和第二波段图像。
在一个实施例中,所述第一波段图像和所述第二波段图像是由两个不同拍摄模块对包含有同一个物体的拍摄对象进行拍摄所得的,也即所述第一波段图像和所述第二波段图像中包含有相同的图像元素,但所述第一波段图像和所述第二波段图像所能反应的同一图像元素的信息不同,例如第一波段图像侧重反应拍摄对象的温度信息,所述第二波段图像侧重反应拍摄对象的细节特征信息。
在一个实施例中,所述获取第一波段图像和第二波段图像的方法可以是所述图像拍摄装置对拍摄对象进行拍摄得到的,也可以是所述图像拍摄装置接收其他设备发送的。在一个实施例中,所述第一波段图像与所述第二波段图像可以是由能够捕捉多种波段信号的拍摄装置所拍摄。在一个实施例中,所述图像拍摄装置包括红外拍摄模块和可见光拍摄模块,所述第一波段图像可以是所述红外拍摄模块所拍摄的红外图像,所述第二波段图像可以是所述可见光拍摄模块所拍摄的可见光图像。
在一个实施例中,所述红外拍摄模块可以捕捉波长在10-3~7.8×10-7m的红外信号,所述红外拍摄模块可以探测到拍摄对象的红外辐射信息,因此所述第一波段图像能够较好的反映拍摄对象的温度信息;所述可见光拍摄模块可以捕捉波长在(78~3.8)×10-6cm的可见光信号,所述可见光拍摄模块可以拍摄得到较高分辨率的图像,因此第二波段图像能够反映拍摄对象的细节特征信息。
在一个实施例中,为了提高目标图像的质量,图像拍摄装置可以基于第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理。
在一个实施例中,所述基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理的方式可以为:获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;确定所述第一波段图像的特征信息相对所述第二波段图像的特征信息的第一偏移量;根据所述第一偏移量对所述第一波段图像进行调整。
图像拍摄装置可以获取第一波段图像的特征信息,及第二波段图像的特征信息,将第一波段图像的特征信息与第二波段图像的特征信息进行对比,确定第一波段图像的特征信息相对第二波段图像的特征信息的第一偏移量,该第一偏移量主要是指特征点的位置偏移量,根据第一偏移量对第一波段图像进行调整,得到调整后的第一波段图像,例如,根据第一偏移量将第一波段图像进行横向或纵向拉伸,或将第一波段图像进行横向或纵向进行缩进,以实现调整后的第一波段图像与第二波段图像对齐,进一步,将调整后的第一波段图像与第二波段图像进行配准处理后,直接进行融合,得到目标图像。
再一个实施例中,所述基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理的方式还可以为:获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;确定所述第二波段图像的特征信息相对所述第一波段图像的特征信息的第二偏移量;根据所述第二偏移对所述第二波段图像进行调整。
图像拍摄装置可以获取第一波段图像的特征信息,及第二波段图像的特征信息,将第一波段图像的特征信息与第二波段图像的特征信息进行对比,确定第二波段图像的特征信息相对第一波段图像的特征信息的第二偏移量,该第二偏移量主要是指特征点的位置偏移量,根据第二偏移量对第二波段图像进行调整,得到调整后的第二中间图像,例如,根据第一偏移量将第二波段图像进行横向或纵向拉伸,或将第二波段图像进行横向或纵向进行缩进,得到第二中间图像,以实现调整后的第一波段图像与第二波段图像对齐,进一步,将调整后的第一波段图像与第二波段图像进行配准处理后,直接进行融合,得到目标图像。
步骤s202、对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述第一波段图像和所述第二波段图像分别是由红外拍摄模块和可见光拍摄模块拍摄得到的,由于红外拍摄模块和可见光拍摄模块在位置上,和/或在拍摄参数上的不同导致所述第一波段图像和所述第二波段存在差异,比如两个图像的大小不同、两个图像的分辨率不相同等,因此为了保证图像融合的准确性,在进行图像融合之前,需要对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述对第一波段图像和所述第二波段图像进行配准,包括:基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。所述标定参数包括拍摄模块的内参、外参以及畸变参数,所述内参是指与拍摄模块自身特性相关的参数,包括拍摄模块的焦距、像素大小等,所述外参是指拍摄模块在世界坐标系中的参数,包括拍摄模块的位置、旋转方向等。
所述标定参数是在红外拍摄模块和可见光拍摄模块进行拍摄之前,为所述红外拍摄模块和所述可见光拍摄模块标定的。本发明实施例中,对所述红外拍摄模块和所述可见光拍摄模块分别进行参数标定的方式可以包括:获取用于标定参数的样本图像;所述红外拍摄模块和所述可见光拍摄模块对所述样本图像进行拍摄,分别得到红外图像和可见光图像;分析处理所述红外图像和所述可见光图像,当所述红外图像和所述可见光图像之间满足配准规则时,基于所述红外图像和所述可见光图像计算所述红外拍摄模块和所述可见光拍摄模块的参数,并将参数作为各自的标定参数。
当所述红外图像和所述可见光图像之间不满足配准规则时,可调整红外拍摄模块和可见光拍摄模块的拍摄参数,重新对样本图像进行拍摄,直到所述红外图像和所述可见光图像之间满足配准规则。其中,所述配准规则可以是指所述红外图像和所述可见光图像的分辨率相同,且同一拍摄对象在所述红外图像和所述可见光图像中的位置相同。
可以理解的,上述只是本发明实施例提供的一种可行为红外拍摄模块和可见光拍摄模块标定参数的方法,在其他实施例中,图像拍摄装置还可以通过其他方式设置所述红外拍摄模块和所述可见光拍摄模块的标定参数。
在一个实施例中,为所述红外拍摄模块以及可见光拍摄模块设定了标定参数后,所述图像拍摄装置可以存储红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数,以便于后续利用所述两者的标定参数对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述步骤s202的实施方式可以为:获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
其中,所述根据红外拍摄模块的标定参数对所述第一波段图像进行调整操作,可包括:获取红外拍摄模块的标定参数中包括的内参矩阵以及畸变系数,根据所述内参矩阵和所述畸变系数计算得到第一波段图像的旋转向量和平移向量,以所述第一波段图像的旋转向量和平移向量对所述第一波段进行旋转或者平移。类似的,所述根据可见光拍摄模块的标定参数对所述第二波段图像进行调整操作也采用与上述相同的方法实现对第二波段图像的调整操作。可选的,基于所述红外拍摄模块的标定参数和所述可见光模块的标定参数对分别对所述第一步波段图像和所述第二波段图像进行配准,可使得配准后的第一波段图像和第二波段图像的分辨率相同,且同一拍摄对象在配准后的第一波段图像和第二波段图像中的位置相同,如此可保证后续基于所述第一波段图像和所述第二波段图像得到的融合图像的质量较高。
在其他的实施例中,为了确保将第一波段图像和第二波段图像进行融合得到的目标图像的准确性以及融合过程的便捷性,除了对获取到的第一波段图像和第二波段图像进行配准之外,还可以在红外拍摄模块和可见光拍摄模块进行拍摄之前,将红外拍摄模块和可见光拍摄模块在物理结构上进行配准。
步骤s203、将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
本发明实施例中对配准后的第一波段图像和配准后的第二波段图像不做其他处理,直接进行融合,该融合方案简单,节省图像融合时间,还能够使得融合得到的目标图像中同时包括红外效果和可见光效果。
在一个实施例中,可采用泊松融合算法对配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。在其他实施例中,也可以通过基于加权平均的融合方法、基于绝对值取大的融合算法等配准后的第一波段图像和的第二波段图像进行融合。
在一个实施例中,所述将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像,包括:将所述配准后的第一波段图像和所述配准后的第二波段图像进行叠加处理,得到待融合图像;获取所述待融合图像中每个像素点的颜色值;基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
在一个实施例中,如果采用泊松融合算法将配准后的第一波段图像和配准后的第二波段图像进行融合处理,所述获取所述待融合图像中每个像素点的颜色值的一般步骤是计算待融合图像每个像素点的散度值,再根据每个像素点的散度值以及待融合图像的系数矩阵计算待融合图像中每个像素点的颜色值。因为每个像素点的颜色值是根据待融合图像的一些特征信息得到的,待融合图像中集成了第一波段图像的特征信息和第二波段图像的特征信息,因此以每个像素点的颜色值对待融合图像进行渲染便可以得到既包括第一波段图像的信息又包括第二波段图像的信息的融合图像。
本发明实施例中,本发明实施例中,通过对获取到的第一波段图像和第二波段图像进行配准,然后将配准后的第一波段图像和第二波段图像直接进行融合处理,得到目标图像,该目标图像是第一波段图形和第二波段图像配准后直接进行融合得到的,并未进行其他处理,融合方案简单,节省了图像融合所需时间,从而提高了图像融合的效率。另外,该目标图像中包括了第一波段图像的信息以及第二波段图像的信息,从该目标图像中可以获取到更多信息量,提高了拍摄图像的质量。
请参考图3,为本发明实施例提供的另一种图像处理方法的流程示意图,所述图像处理方法可以应用在图1所示的无人机系统中,在一个实施例中,所述无人机系统中包括图像拍摄装置,所述图像拍摄装置包括红外拍摄模块和可见光拍摄模块,所述红外拍摄模块拍摄所得的图像为第一波段图像,所述可见光拍摄模块拍摄所得的图像为可见光图像。图3所示的图像处理方法中,第一波段图像为红外图像,可包括:
步骤s301、基于红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光拍摄模块进行配准。
本发明实施中,为了确保将第一波段图像和第二波段图像进行融合得到的目标图像的准确性以及融合过程的便捷性,可以在红外拍摄模块和可见光拍摄模块进行拍摄之前,将红外拍摄模块和可见光拍摄模块在物理结构上进行配准。所述将红外拍摄模块和可见光模块在物理结构上进行配准,包括基于红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光模块进行配准。
在一个实施例中,确定红外拍摄模块与所述可见光拍摄模块在物理结构上已经配准的准则是:红外拍摄模块与可见光拍摄模块之间满足中心水平分布,红外拍摄模块与可见光拍摄模块之间的位置差值小于预设位置差值。可以理解的,红外拍摄模块与可见光拍摄模块之间的位置差值小于预设位置差值是为了保证红外拍摄模块的视场角(fieldofview,fov)能够覆盖到可见光拍摄模块的fov,且红外拍摄模块的fov与可见光拍摄模块的fov相互之间不存在干扰。
在一个实施例中,所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准,包括:根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述位置差值小于所述预设位差值。
再一个实施例中,所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准,还包括:判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
综上所述,基于所述红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光拍摄模块进行配准,即检测该图像拍摄装置上的该红外拍摄模块与该可见光拍摄模块之间是否满足中心水平分布条件,和/或该红外拍摄模块与该可见光拍摄模块在该图像拍摄装置上的相对位置是否小于或等于预设位置差值。当检测到该图像拍摄装置上的该红外拍摄模块与该可见光拍摄模块之间不满足中心水平分布条件,和/或该红外拍摄模块与该可见光拍摄模块在该图像拍摄装置上的相对位置大于预设位置差值时,表明红外拍摄模块和可见光拍摄模块在结构上未配准,需要对红外拍摄模块和/或可见光拍摄模块进行调整。
在一个实施例中,当检测到红外拍摄模块和可见光拍摄模块在结构上未配准时,可以输出提示信息,该提示信息可以包括对红外拍摄模块或/和可见光拍摄模块的调整方式,如提示信息包括将红外拍摄模块向左调整5mm,该提示信息用于提示用户对红外拍摄模块和/或可见光拍摄模块进行调整,以使红外拍摄模块和可见光拍摄模块实现配准。或者,当检测到红外拍摄模块和可见光拍摄模块在结构上未配准时,图像拍摄装置可以对红外拍摄模块和/或可见光拍摄模块的位置进行调整,以使红外拍摄模块和可见光拍摄模块实现配准。
当检测到该图像拍摄装置上的该红外拍摄模块与该可见光拍摄模块之间满足中心水平分布条件,和/或该红外拍摄模块与该可见光拍摄模块在该图像拍摄装置上的相对位置小于或等于预设位置差值时,表明红外拍摄模块和可见光拍摄模块在结构上已经实现了配准,此时可以接收智能终端发送的拍摄指令,或者接收用户向图像拍装置发送的拍摄指令,该拍摄指令携带拍摄位置信息,当图像拍摄装置的位置到达拍摄位置(或搭载图像拍摄装置的无人机飞行到拍摄位置时),触发红外拍摄模块进行拍摄得到第一波段图像,并触发可见光拍摄模块进行拍摄得到第二波段图像。
步骤s302、获取第一波段图像和第二波段图像。
步骤s303、基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述步骤s302和所述步骤s303中包括的一些可行的实施方式已经在图2所示的实施例中详细描述,在此不再赘述。
步骤s304、将所述配准后的第一波段图像和所述配准后的第二波段图像进行叠加处理,得到待融合图像。
步骤s305、获取所述待融合图像中每个像素点的颜色值。
步骤s306、基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
在一个实施例中,步骤s304-步骤s306是利用泊松融合算法对所述第一波段图像和所述第二波段图像进行融合处理的过程。泊松融合算法的主要思想是,根据源图像的梯度信息以及目标图像的边界信息,利用插值的方法重新构建出合成区域内的图像像素。其中,在本发明实施例中,源图像可以指第一波段图像和第二波段图像中的任何一个,所述目标图像是指第一波段图像和第二波段图像中的另一个,所述重新构建合成区域的图像像素可以理解为重新计算待融合图像中各个像素的颜色值
在一个实施中,步骤s305获取所述待融合图像中每个像素点的颜色值,包括:获取所述待融合图像的梯度场;基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,确定所述待融合图像中每个像素点的颜色值。通常情况下,多种对图像处理比如图像增强、图像融合以及图像边缘检测和分割,是在图像的梯度域完成的,利用泊松融合算法对图像进行融合也不例外。
在梯度场中完成对配准后的第一波段图像和配准后的第二波段图像进行融合,首先要获取待融合图像的梯度场。在一个实施例中,获取所述待融合图像的梯度场的方法可以是基于配准后的第一波段图像的梯度场和配准后的第二波段图像的梯度场确定的。具体地,所述获取待融合图像的梯度场包括如图4所示的步骤s41-s43:
s41:对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场,以及对所述配准后的第二波段图像进行梯度处理,得到第二中间梯度场;
s42:对所述第一中间梯度场进行遮罩处理,得到第一梯度场,以及对所述第二中间梯度场进行遮罩处理,得到第二梯度场;
s43:将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
其中,图像拍摄装置可以通过差分的方法得到第一中间梯度场和第二中间梯度场。在一个实施例中,上述获取所述待融合图像的梯度场的方法中,主要应用在配准后的第一波段图像和配准后的第二波段图像尺寸不相同的情况下。所述遮罩处理是为了得到尺寸相同的第一梯度场和第二梯度场,如此可便于将第一梯度场和第二梯度场直接叠加得到待融合图像的梯度场。举例来说,参考图5,为本发明实施例提供的一种获取待融合梯度场的示意图,在图5中假设501为对配准后的第一波段图像进行梯度处理,得到的第一中间梯度场,502为对配准后的第二波段图像进行梯度处理,得到的第二中间梯度场,可见,501和502在尺寸上不相同,对501和502分别进行遮罩处理,对502进行遮罩处理:补全502与501相差的部分5020,将5020部分填充为0,502部分的填充为1;对501进行遮罩处理:从501中减去与502尺寸相同的部分5010,并将5010部分的填充为0,将剩余部分的501的填充为1。其中,本发明实施例中假设填充为1的部分表示保留原有的梯度场不变,标记为0的部分表示需要更改梯度场的部分,将遮罩处理后的501与遮罩处理后的502直接叠加得到待融合图像的梯度场如503,由于遮罩处理后的501与遮罩处理后的502尺寸相同,因也503可以看作是用遮罩处理后的501和502中填充为1梯度场覆盖填充为0的梯度场。
在其他实施例中,如果在配准后的第一波段图像和配准后的第二波段图像尺寸不相同的情况下,所述获取待融合图像的梯度场的方法是将第一中间梯度场或者第二中间梯度场作为待融合图像的梯度场。
在一个实施例中,获取到待融合图像的梯度场后,所述图像拍摄装置可执行基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值,具体地基于待融合图像的梯度场确定各个像素点的梯度,然后对各个像素点的梯度求导,便得到各个像素点的散度值。
在一个实施例中,确定了各个像素点的散度值之后,所述图像拍摄装置可执行基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,确定所述待融合图像中每个像素点的颜色值。所述颜色值计算规则是指用于计算像素点颜色值的规则,所述颜色计算规则可以是计算公式,也可以是其他规则。在本发明实施例中,假设颜色计算规则为计算公式ax=b,其中a表示待融合图像的系数矩阵,x表示像素点的颜色值,b表示像素点的散度值。
由上述公式中可知,如果已知a和b以及其他一些约束条件便可计算得到x。具体地,基于所述待融合乳香中每个像素点的散度值及颜色计算规则计算所述待融合图像中每个像素点的颜色值的方法包括如图6所示的步骤s61-步骤s63:
步骤s61:确定融合约束条件;
步骤s62:获取所述待融合图像的系数矩阵;
步骤s63:将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
在一个实施例中,本发明实施例中所述的融合约束条件是指待融合图像周边处的各个像素点的颜色值。具体地,待融合图像周边的各个像素点的颜色值可以是根据配准后的第一波段图像周边处的各个像素点的颜色值确定的,也可以是根据配准后的第二波段图像周边处的各个像素点的颜色值确定的。所述待融合图像的系数矩阵确定方法可以是:根据所述待融合图像各个像素点的散度值列出所述待图像相关的各个泊松方程;根据各个泊松方程构建待融合图像的系数矩阵。
在确定了约束条件和待融合图像的系数矩阵之后,将待融合图像中各个像素点的散度值和所述系数矩阵代入到颜色值计算规则中比如ax=b,结合融合约束条件,便可得到每个像素点的颜色值。
本发明实施例中,在获取图像之前,对红外拍摄模块和可见光拍摄模块进行物理结构上的配准处理,然后通过物理结构上配准后的红外拍摄模块和可见光拍摄模块获取第一波段图像和第二波段图像,进一步的,对第一波段图像和第二波段图像在算法上进行配准处理,然后将配准后的第一波段图像和第二波段图像直接进行融合处理,得到目标图像,该目标图像是第一波段图形和第二波段图像配准后直接进行融合得到的,并未进行其他处理,融合方案简单,节省了图像融合所需时间,从而提高了图像融合的效率。另外,该目标图像中包括了第一波段图像的信息以及第二波段图像的信息,从该目标图像中可以获取到更多信息量,提高了拍摄图像的质量。
请参见图7,为本发明实施例提供的一种图像处理设备的结构示意图,如图7所示的图像处理设备,所述图像处理设备可包括处理器701和存储器702,所述处理器701和所述存储器702通过总线703连接,所述存储器702用于存储程序指令。
所述存储器702可以包括易失性存储器(volatilememory),如随机存取存储器(random-accessmemory,ram);存储器702也可以包括非易失性存储器(non-volatilememory),如快闪存储器(flashmemory),固态硬盘(solid-statedrive,ssd)等;存储器702还可以包括上述种类的存储器的组合。
所述处理器701可以是中央处理器(centralprocessingunit,cpu)。所述处理器701还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegratedcircuit,asic),可编程逻辑器件(programmablelogicdevice,pld)等。该pld可以是现场可编程逻辑门阵列(field-programmablegatearray,fpga),通用阵列逻辑(genericarraylogic,gal)等。所述处理器701也可以为上述结构的组合。
本发明实施例中,所述存储器702用于存储计算机程序,所述计算机程序包括程序指令,处理器701用于执行存储器702存储的程序指令,用来实现上述图2所示的实施例中的相应方法的步骤。
在一个实施例中,所述处理器701用于执行存储器702存储的程序指令,用来实现上述图2所示的实施例中的相应方法时,所述处理器701被配置用于调用所述程序指令时执行:获取第一波段图像和第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
在一个实施例中,所述处理器701在将配准后的第一波段图像和配准后的第二波图像直接进行融合处理时,执行如下操作:将所述配准后的第一波段图像和所述配准后的第二波段图像进行叠加处理,得到待融合图像;获取所述待融合图像中每个像素点的颜色值;基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
在一个实施例中,所述处理器701在获取所述待融合图像中每个像素点的颜色值时,执行如下操作:获取所述待融合图像的梯度场;基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,确定所述待融合图像中每个像素点的颜色值。
在一个实施例中,所述处理器701在获取所述待融合图像的梯度场时,执行如下操作:对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场,以及对所述配准后的第二波段图像进行梯度处理,得到第二中间梯度场;对所述第一中间梯度场进行遮罩处理,得到第一梯度场,以及对所述第二中间梯度场进行遮罩处理,得到第二梯度场;将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
在一个实施例中,所述处理器701在基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值时,执行如下操作:确定融合约束条件;获取所述待融合图像的系数矩阵;将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
在一个实施例中,所述第一波段图像为红外图像,所述第二波段图像为可见光图像;所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的,所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。
在一个实施例中,所述处理器701在对所述第一波段图像和所述第二波段图像进行配准时,执行如下操作:基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述处理器701在基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准时,执行如下操作:获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
在一个实施例中,所述处理器701调用所述程序指令时还用于执行:基于所述红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光拍摄模块进行配准。
在一个实施例中,所述处理器701在基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准时,执行如下操作:根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述位置差值小于所述预设位差值。
在一个实施例中,所述处理器701调用所述程序指令时还用于执行:判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
在一个实施例中,所述处理器701调用所述程序指令时还用于执行:基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理。
在一个实施例中,所述处理器701在基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理时,执行如下操作:获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;确定所述第一波段图像的特征信息相对所述第二波段图像的特征信息的第一偏移量;根据所述第一偏移量对所述第一波段图像进行调整。
在一个实施例中,所述处理器701在基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐时,执行如下操作:获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;确定所述第二波段图像的特征信息相对所述第一波段图像的特征信息的第二偏移量;根据所述第二偏移对所述第二波段图像进行调整。
本发明实施例提供了一种无人机,所述无人机包括:机身;设置在所述机身上的动力系统,用于提供飞行动力;图像拍摄装置,装设与所述机身上;处理器,用于获取第一波段图像和第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
在本发明的实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明图2或图3所对应实施例中描述的图像处理方法方式,也可实现图7所述本发明所对应实施例的图像处理设备,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。
以上所揭露的仅为本发明部分实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
1.一种图像处理方法,其特征在于,包括:
获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
2.如权利要求1所述的方法,其特征在于,所述将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像,包括:
将所述配准后的第一波段图像和所述配准后的第二波段图像进行叠加处理,得到待融合图像;
获取所述待融合图像中每个像素点的颜色值;
基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
3.如权利要求2所述的方法,其特征在于,所述获取所述待融合图像中每个像素点的颜色值,包括:
获取所述待融合图像的梯度场;
基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;
基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,确定所述待融合图像中每个像素点的颜色值。
4.如权利要求3所述的方法,其特征在于,所述获取所述待融合图像的梯度场,获取所述待融合图像的梯度场包括:
对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场,以及对所述配准后的第二波段图像进行梯度处理,得到第二中间梯度场;
对所述第一中间梯度场进行遮罩处理,得到第一梯度场,以及对所述第二中间梯度场进行遮罩处理,得到第二梯度场;
将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
5.如权利要求3或4所述的方法,其特征在于,所述基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值,包括:
确定融合约束条件;
获取所述待融合图像的系数矩阵;
将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
6.如权利要求1所述的方法,其特征在于,
所述第一波段图像为红外图像,所述第二波段图像为可见光图像;
所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的,所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。
7.如权利要求6所述的方法,其特征在于,所述对所述第一波段图像和所述第二波段图像进行配准,包括:
基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
8.如权利要求7所述的方法,其特征在于,所述基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准,包括:
获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;
根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;
其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
9.如权利要求6或7所述的方法,其特征在于,所述获取第一波段图像和所述第二波段图像之前,所述方法还包括:
基于所述红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光拍摄模块进行配准。
10.如权利要求9所述的方法,其特征在于,所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准,包括:
根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;
若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述位置差值小于所述预设位差值。
11.如权利要求10所述的方法,其特征在于,所述方法还包括:
判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;
若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
12.如权利要求1所述的方法,其特征在于,所述获取第一波段图像和所述第二波段图像之后,所述方法还包括:
基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理。
13.如权利要求12所述的方法,其特征在于,所述基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理,包括:
获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;
确定所述第一波段图像的特征信息相对所述第二波段图像的特征信息的第一偏移量;
根据所述第一偏移量对所述第一波段图像进行调整。
14.如权利要求12所述的方法,其特征在于,所述基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐,包括:
获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;
确定所述第二波段图像的特征信息相对所述第一波段图像的特征信息的第二偏移量;
根据所述第二偏移对所述第二波段图像进行调整。
15.一种图像处理设备,其特征在于,所述图像处理设备包括处理器和存储器,所述处理器和所述存储器相连:
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器,调用所述程序指令时用于执行:
获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
16.如权利要求15所述的图像处理设备,其特征在于,所述处理器在将配准后的第一波段图像和配准后的第二波图像直接进行融合处理时,执行如下操作:
将所述配准后的第一波段图像和所述配准后的第二波段图像进行叠加处理,得到待融合图像;
获取所述待融合图像中每个像素点的颜色值;
基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
17.如权利要求16所述的图像处理设备,其特征在于,所述处理器在获取所述待融合图像中每个像素点的颜色值时,执行如下操作:
获取所述待融合图像的梯度场;
基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;
基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,确定所述待融合图像中每个像素点的颜色值。
18.如权利要求17所述的图像处理设备,其特征在于,所述处理器在获取所述待融合图像的梯度场时,执行如下操作:
对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场,以及对所述配准后的第二波段图像进行梯度处理,得到第二中间梯度场;
对所述第一中间梯度场进行遮罩处理,得到第一梯度场,以及对所述第二中间梯度场进行遮罩处理,得到第二梯度场;
将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
19.如权利要求17或18所述的图像处理设备,其特征在于,所述处理器在基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值时,执行如下操作:
确定融合约束条件;
获取所述待融合图像的系数矩阵;
将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
20.如权利要求15所述的图像处理设备,其特征在于,所述第一波段图像为红外图像,所述第二波段图像为可见光图像;
所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的,所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。
21.如权利要求20所述的图像处理设备,其特征在于,所述处理器在对所述第一波段图像和所述第二波段图像进行配准时,执行如下操作:
基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
22.如权利要求21所述的图像处理设备,其特征在于,所述处理器在基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准时,执行如下操作:
获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;
根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;
其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
23.如权利要求20或21所述的图像处理设备,其特征在于,所述处理器调用所述程序指令时还用于执行:
基于所述红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光拍摄模块进行配准。
24.如权利要求23所述的图像处理设备,其特征在于,所述处理器在基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准时,执行如下操作:
根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;
若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述位置差值小于所述预设位差值。
25.如权利要求24所述的图像处理设备,其特征在于,所述处理器调用所述程序指令时还用于执行:
判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;
若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
26.如权利要求15所述的图像处理设备,其特征在于,所述处理器调用所述程序指令时还用于执行:
基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理。
27.如权利要求26所述的图像处理设备,其特征在于,所述处理器在基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理时,执行如下操作:
获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;
确定所述第一波段图像的特征信息相对所述第二波段图像的特征信息的第一偏移量;
根据所述第一偏移量对所述第一波段图像进行调整。
28.如权利要求26所述的图像处理设备,其特征在于,所述处理器在基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐时,执行如下操作:
获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;
确定所述第二波段图像的特征信息相对所述第一波段图像的特征信息的第二偏移量;
根据所述第二偏移对所述第二波段图像进行调整。
29.一种无人机,其特征在于,包括:
机身;
设置在所述机身上的动力系统,用于提供飞行动力;
图像拍摄装置,装设与所述机身上;
处理器,用于获取第一波段图像和第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;将配准后的第一波段图像和配准后的第二波段图像直接进行融合处理,得到目标图像。
30.如权利要求29所述的无人机,其特征在于,
所述处理器,用于将所述配准后的第一波段图像和所述配准后的第二波段图像进行叠加处理,得到待融合图像;获取所述待融合图像中每个像素点的颜色值;基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
31.如权利要求30所述的无人机,其特征在于,
所述处理器,用于获取所述待融合图像的梯度场;基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,确定所述待融合图像中每个像素点的颜色值。
32.如权利要求31所述的无人机,其特征在于,
所述处理器,用于对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场,以及对所述配准后的第二波段图像进行梯度处理,得到第二中间梯度场;对所述第一中间梯度场进行遮罩处理,得到第一梯度场,以及对所述第二中间梯度场进行遮罩处理,得到第二梯度场;将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
33.如权利要求31或32所述的无人机,其特征在于,
所述处理器,用于确定融合约束条件;获取所述待融合图像的系数矩阵;
将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
34.如权利要求29所述的无人机,其特征在于,
所述第一波段图像为红外图像,所述第二波段图像为可见光图像;
所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的,所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。
35.如权利要求34所述的无人机,其特征在于,
所述处理器,用于基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
36.如权利要求35所述的无人机,其特征在于,
所述处理器,用于获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
37.如权利要求34或35所述的无人机,其特征在于,
所述处理器,用于基于所述红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光拍摄模块进行配准。
38.如权利要求37所述的无人机,其特征在于,
所述处理器,用于根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;
若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述位置差值小于所述预设位差值。
39.如权利要求38所述的无人机,其特征在于,
所述处理器,用于判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;
若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
40.如权利要求29所述的无人机,其特征在于,
所述处理器,用于基于所述第一波段图像的特征信息以及所述第二波段图像的特征信息,对所述第一波段图像和所述第二波段图像进行对齐处理。
41.如权利要求40所述的无人机,其特征在于,
所述处理器,用于获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;确定所述第一波段图像的特征信息相对所述第二波段图像的特征信息的第一偏移量;根据所述第一偏移量对所述第一波段图像进行调整。
42.如权利要求41所述的无人机,其特征在于,
所述处理器,用于获取所述第一波段图像的特征信息以及所述第二波段图像的特征信息;确定所述第二波段图像的特征信息相对所述第一波段图像的特征信息的第二偏移量;根据所述第二偏移对所述第二波段图像进行调整。
43.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-14任一项所述的图像处理方法。
技术总结