本发明涉及高光谱压缩感知领域,特别是涉及一种基于修正线性混合模型的高光谱压缩感知方法、设备及系统。
背景技术:
高光谱图像(hyperspectralimagery,hsi)可以提供丰富的地物光谱信息,在矿物勘探、农业生产、环境与灾害监测等领域得到广泛应用。然而,随着分辨率的不断提高,成像光谱仪获取的数据量呈指数量级增长。海量的高光谱数据给机载或者星载成像系统的功耗、计算能力以及数据的实时传输均带来了巨大压力。压缩感知(compressedsensing,cs)技术能以较低的采样率(远低于奈奎斯特采样率)采集数据,将数据采集与压缩融为一体,在成像的同时完成数据压缩,适合解决机载或者星载高光谱成像平台数据采集与压缩难题。目前,高光谱压缩感知(hyperspectralcompressedsensing,hcs)已经成为当今高光谱遥感领域研究的热点。
基于高光谱观测数据的重建是hcs研究中的关键问题之一。线性混合模型(linearmixingmodel,lmm)作为hsi简单而有效的假设已被广泛应用于光谱解混。lmm认为高光谱图像可以表示为端元矩阵与丰度矩阵的乘积。近年来,在lmm的假设下,基于光谱解混的重建方法逐渐应用于高光谱压缩感知的重建,不但提高了重建速度,而且较大程度地提高了重建质量。现有的基于光谱解混的重建算法均是建立在传统lmm的基础上;然而,由于光照条件、地形变化以及大气等因素的影响,所获取的地物成像光谱会发生扰动,从而偏离了地物的真实光谱,降低了lmm的适用性。
技术实现要素:
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于修正线性混合模型的高光谱压缩感知方法、设备及系统。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种基于修正线性混合模型的高光谱压缩感知方法,包括:
步骤s1,获取原始高光谱图像光谱维压缩采样后的观测数据y=ax;
其中,矩阵x表示需要重建的原始高光谱图像数据,a为光谱维测量矩阵,y为光谱维观测数据;
步骤s2,构建修正线性混合模型:x=es beh;
其中,e为端元矩阵;s为丰度矩阵;b表示端元光谱的修正矩阵;h表示修正后的端元光谱所对应的丰度矩阵;
利用观测数据y估计出b、s和h的最优值;
步骤s3,将b、s和h的最优估计值代入修正线性混合模型来重建原始高光谱图像数据x。
上述技术方案的有益效果为:该重建方法采用修正线性混合模型对原始高光谱图像数据进行重建,修正线性混合模型相比传统的线性混合模型,引入了修正项beh,矩阵b能够根据光谱上每个点的扰动情况自适应地进行修正,提高了模型表征高光谱图像的能力,从而提高了高光谱压缩感知的重建质量,能够更好地恢复图像的细节与纹理,有利于后续的分类与识别等应用。
在本发明的一种优选实施方式中,在所述步骤s2中,利用观测数据y迭代估计b、s和h的过程为:
步骤s21,预设迭代初始值,h0=0,b0=il,
其中,变量r1=ab,变量r2=wb,变量r3=b,变量r4=fr3;il表示l×l的单位矩阵,l为波段数;w为标准正交基;f表示全变分算子,t1为第一拉格朗日乘子,t2为第二拉格朗日乘子,t3为第三拉格朗日乘子,t4为第四拉格朗日乘子;
步骤s22,按照如下公式分别求得s、h和b在第k 1次迭代中的估计值sk 1、hk 1和bk 1:
其中,k为整数且k≥0;a为已知的光谱维测量矩阵;
步骤s23,判断步骤s22中获得的sk 1、hk 1和
若满足,停止迭代,获得原始高光谱图像数据的重建值为:
若不满足,令k=k 1,并返回步骤s22继续进行迭代;其中,res为预设的迭代收敛阈值,||||f表示取f范数。
上述技术方案的有益效果为:公开了矩阵s、h和b的估计公式,该方法在假设端元光谱已知的前提下,通过迭代的方式估计出最优的s、h和b。
在本发明的一种优选实施方式中,λ的取值范围为:10-3~10-6;
和/或λtv取值范围为:10-3~10-6。
上述技术方案的有益效果为:能够获得更好的高光谱压缩感知重建质量。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种高光谱压缩感知设备,包括数据获取单元和处理器;
所述数据获取单元获取原始高光谱图像光谱维压缩采样后的观测数据并传输给处理器,处理器获取观测数据后,按照本发明所述的基于修正线性混合模型的高光谱压缩感知方法进行原始高光谱图像数据的重建。
上述技术方案的有益效果为:该设备能够利用高光谱图像光谱维压缩采样后的观测数据高质量地重建原始高光谱图像数据,在重建过程中,能够根据光谱上每个点的扰动情况自适应地进行修正,较为精确地修正光谱扰动幅度,提高了模型表征高光谱图像的能力,进而提高了高光谱压缩感知的重建质量,能够更好地恢复图像的细节与纹理,有利于后续的分类与识别等应用。
为了实现本发明的上述目的,根据本发明的第三个方面,本发明提供了一种高光谱图像压缩感知系统,包括位于发送端的高光谱压缩感知成像模块与第一处理中心,以及位于接收端的如本发明所述的高光谱压缩感知重建设备;
所述高光谱压缩感知成像模块接收目标物表面反射的光线,对其进行光谱维压缩采样,获得原始高光谱图像的观测数据;
第一处理中心获取观测数据后并输出;
高光谱压缩感知重建设备接收观测数据并重建出原始高光谱图像数据。
上述技术方案的有益效果为:该系统在接收端能够利用高光谱图像光谱维压缩采样后的观测数据高质量地重建原始高光谱图像数据,在重建过程中,能够根据光谱上每个点的扰动情况自适应地进行修正,较为精确地修正光谱扰动幅度,提高了模型表征高光谱图像的能力,进而提高了高光谱压缩感知的重建质量,能够更好地恢复图像的细节与纹理,有利于后续的分类与识别等应用。
在本发明的一种优选实施方式中,所述压缩感知成像模块包括沿光路依次设置的物镜、分光元件、第一透镜、数字微镜阵列dmd、第二透镜、成像阵列;
所述物镜接收目标表面的多条反射光线并传递至所述分光元件,多条反射光线经所述分光元件分成多个单光谱发散光线束,多个单光谱发散光线束通过所述第一透镜后形成多个单光谱平行光线束,多个单光谱平行光线束由数字微镜阵列dmd光谱压缩后通过第二透镜汇聚在成像阵列上,形成原始高光谱图像光谱维压缩采样后的观测数据;
所述数字微镜阵列dmd的采样率输入端与第一处理中心的采样率输出端相连接。
上述技术方案的有益效果为:公开了光谱维压缩采样的具体结构,第一处理中心能够实时控制数字微镜阵列dmd,以获得不同光谱维采样率的观测数据;实现了波段数量的有效压缩,减轻了对机载或者星载成像系统的功耗、计算能力的需求,有利于实现高光谱海量数据的实时传输。
附图说明
图1是本发明一具体实施方式中高光谱压缩感知方法的流程示意图;
图2是本发明一具体实施方式中高光谱压缩感知重建设备的系统框图;
图3是本发明一具体实施方式中高光谱图像压缩感知系统的系统框图;
图4是本发明一具体实施方式中发送端结构框图;
图5是本发明一具体实施方式中光谱扰动和修正效果示意图;
附图标记:
1物镜;2分光元件;3第一透镜;4数字微镜阵列dmd;5第二透镜;6成像阵列;7第一处理中心。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于修正线性混合模型的高光谱压缩感知方法,在一种优选实施方式中,该方法的流程示意图如图1所示,包括:
步骤s1,获取原始高光谱图像光谱维压缩采样后的观测数据y=ax;
其中,矩阵x表示需要重建的原始高光谱图像数据,a为光谱维测量矩阵,y为光谱维观测数据。
步骤s2,构建修正线性混合模型:x=es beh;
其中,e为端元矩阵;s为丰度矩阵;b表示端元光谱的修正矩阵;h表示修正后的端元光谱所对应的丰度矩阵;
利用观测数据y估计出b、s和h的最优值;
步骤s3,将b、s和h的最优估计值代入修正线性混合模型来重建原始高光谱图像数据x。
在本实施方式中,若采用矩阵
在本实施方式中,图5给出了光谱扰动实例,其中曲线1为光谱库中明矾石的标准光谱曲线;曲线2为通过现有的顶点成分分析(vertexcomponentanalysis,vca)算法从cuprite高光谱遥感数据集中提取的明矾石光谱曲线,显然两者之间差异较大,说明实测数据中的光谱发生了扰动。曲线3为现有的扩展的线性混合模型(extendedlinearmixedmodel,elmm)利用基于cuprite高光谱数据集中提取的明矾石光谱数据重建明矾石的光谱曲线,该模型利用尺度缩放来修正该光谱扰动,虽然在一定程度上接近了标准光谱曲线1,但仍有较大差距,曲线5显示了曲线1与曲线3之间的光谱差异。
在本实施方式中,实际上,曲线1与曲线3之间光谱差异较大的原因是由于采用了单一的尺度缩放因子,这使得光谱曲线上每个点均按照同样的比例进行缩放,难以符合光谱扰动的实际情况。针对该问题,通过在lmm基础上引入修正项,提出了光谱扰动修正的线性混合模型(spc_lmm,spectralperturbedcorrection-linearmixingmode):x=es beh,其中beh为修正项,
在本实施方式中,图5中的曲线4为利用本发明提供的重建方法获得的明矾石的重建光谱曲线,可以看出,其更接近于曲线1,曲线6给出了曲线4和曲线1之间的光谱差异,可以看出,曲线6明显比曲线5更接近于零基准线,充分表明了本发明提出的基于光谱扰动的修正线性混合模型spc_lmm比elmm更能准确反映光谱的扰动情形,矩阵b能够根据光谱上每个点的扰动情况自适应地进行修正,并实现更精准的修正。
在一种优选实施方式中,在步骤s2中,利用观测数据y迭代估计b、s和h的过程为:
步骤s21,预设迭代初始值,h0=0,b0=il,
其中,变量r1=ab,变量r2=wb,变量r3=b,变量r4=fr3;il表示l×l的单位矩阵,l为波段数;w为标准正交基;f表示全变分算子,t1为第一拉格朗日乘子,t2为第二拉格朗日乘子,t3为第三拉格朗日乘子,t4为第四拉格朗日乘子;
步骤s22,按照如下公式分别求得s、h和b在第k 1次迭代中的估计值sk 1、hk 1和bk 1:
其中,k为整数且k≥0;a为已知的光谱维测量矩阵;
步骤s23,判断步骤s22中获得的sk 1、hk 1和
若满足,停止迭代,获得原始高光谱图像数据的重建值为:
若不满足,令k=k 1,并返回步骤s22继续进行迭代;其中,res为预设的迭代收敛阈值,||||f表示取f范数。
目前,世界上多个学术机构建立起了一系列光谱库,例如usgs(unitedstatesgeologicalsurvey,美国地质勘探局)数字光谱库、jpl(jetpropulsionlaboratory,喷气推进实验室)光谱库以及加利福尼亚技术研究所的aster(advancedspacebornethermalemissionandreflectionradiometer,先进星载热发射和反射辐射仪)光谱库等,这使得假设端元e已知是可行的。
在本实施方式中,对高光谱图像进行光谱维压缩采样可表示为:y=ax=aes abeh,其中
在本实施方式中,原始高光谱图像数据重建的目标是在已知端元矩阵e、观测数据y与光谱维测量矩阵a的情况下,尽可能完全重建原始的高光谱数据x。在端元e已知的前提下,实现这一目标可以通过估计丰度矩阵s、修正矩阵b与丰度矩阵h来完成,详细过程为:
首先固定s和h,针对修正矩阵b的估计是一个欠定方程的优化求解问题,需要引入合理的先验假设。本发明在估计过程中引入全变分(totalvariation,tv)约束项;同时,考虑到修正矩阵b本身具有的稀疏特性,引入标准正交基下的稀疏约束。因此,重建过程的目标函数可表示为:
其中
其次,固定b和h,由于p<<n,针对丰度s的估计为超定方程的求解问题。虽然增加先验信息(如丰度的稀疏等)有利于获得最优解,但相对于欠定问题的求解,约束项的增加对超定问题的求解影响较小。增加丰度的约束项不但无助于提高重建质量,而且会增加求解的复杂度。因此,本发明优选的采用最小二乘法估计s。同理,h的估计也采用类似的方法进行求解。
此外,在交替优化s、h与b之前,首先引入变量r1=ab,r2=wb,r3=b与r4=fr3,式(1)的无约束优化问题可以转化为如下的约束优化问题:
式(2)关于s、h、b、r1、r2、r3与r4的扩展拉格朗日函数为:
其中μ为正惩罚常数,用于控制迭代收敛速度,其大小优选但不限于为0.01-0.08,如选取为0.05;t1、t2、t3与t4分别为第一拉格朗日乘子、第二拉格朗日乘子、第三拉格朗日乘子和第四拉格朗日乘子。式(3)的扩展拉格朗日函数同时对所有变量的最小化是一非凸优化问题,但当固定其它变量,仅对单一变量的最小化就成为凸优化问题。因此,计算过程中首先固定其它变量,分别对sk、hk、bk、
sk最小化:扩展拉格朗日函数仅对sk最小化是如下的最小二乘问题:
其解析解为:
其中c-1为矩阵c的逆矩阵。
hk最小化:与sk一样,hk的最小化仍是最小二乘问题,其解析解为:
bk最小化:bk最小化的子问题表示如下:
其中w为正交基,wtw为单位矩阵。式(7)中bk的最优解为:
其中il表示l×l的单位矩阵。
其解可以利用式(10)进行更新:
该问题可以通过典型的soft-threshold方法求解,即
其中soft(*)表示soft-threshold函数。
其解可以利用式(14)进行更新:
应用梯度下降法更新拉格朗日乘子t1k、
经过k次迭代后,在满足迭代终止条件下,即可利用式(18)得到原始高光谱图像的估计值为:
本发明还公开了一种高光谱压缩感知重建设备,在一种优选实施方式中,如图2所示,该重建设备包括数据获取单元和处理器;
数据获取单元获取原始高光谱图像光谱维压缩采样后的观测数据并传输给处理器,处理器获取观测数据后按照上述基于修正线性混合模型的高光谱压缩感知重建方法进行原始高光谱图像数据重建。
本发明还公开了一种高光谱图像压缩感知系统,在一种优选实施方式中,如图3所示,该系统包括位于发送端的高光谱压缩感知成像模块与第一处理中心7,以及位于接收端的上述高光谱压缩感知重建设备;
高光谱压缩感知成像模块接收目标物表面反射的光线,对其进行光谱维压缩采样,获得原始高光谱图像的观测数据;
第一处理中心7获取观测数据后并输出;
高光谱压缩感知重建设备接收观测数据并重建出原始高光谱图像数据。
在本实施方式中,第一处理中心7与高光谱压缩感知重建设备的数据获取单元均带有无线通信模块,两者无线通信。
在一种优选实施方式中,如图4所示,压缩感知成像模块包括沿光路依次设置的物镜1、分光元件2、第一透镜3、数字微镜阵列dmd4、第二透镜5、成像阵列6;
物镜1接收目标表面的多条反射光线并传递至分光元件2,多条反射光线经分光元件2分成多个单光谱发散光线束,多个单光谱发散光线束通过第一透镜3后形成多个单光谱平行光线束,多个单光谱平行光线束由数字微镜阵列dmd4光谱压缩后通过第二透镜5汇聚在成像阵列6上,形成观测数据;
数字微镜阵列dmd4的采样率输入端与第一处理中心7的采样率输出端相连接。
在本实施方式中,dmd,digitalmicro-mirrordevice,数字微镜器件。物镜1优选为远距型物镜,用于星载或机载时拍摄目标表面的景物。在本实施方式中,优选的,分光元件2为分光棱镜或分光光栅。
在本实施方式中,第一透镜3与第二透镜5优选但不限于为圆形、柱面与棱形等汇聚透镜,其用于将分散光转换为平行光,以及将平行光汇聚在一起。
在本实施方式中,数字微镜阵列dmd4,是一种光调制器,为由成千上万个微镜组成的阵列,通过微镜反射入射光而实现光的调制,这些微镜阵列可通过器件内部的配置单元设定翻转角度,每个微镜可通过一个铰链实现两种固定的翻转状态,角度为水平方向的±12°翻转,当微镜翻转角度为 12°时,实现对入射光的对称角度反射,当微镜翻转角度为-12°时,微镜把入射光反射到芯片内置的光吸收材料上,没有反射光输出。数字微镜阵列dmd4优选但不限于选择美国德州仪器公司的dlp4710afql套片。数字微镜阵列dmd4的光谱压缩率可调节,第一处理中心7发出采样率控制信号至数字微镜阵列dmd4,调节各微镜的翻转角度进行预设。
在本实施方式中,成像阵列6优选但不限于为ccd阵列或cmos阵列。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
1.一种基于修正线性混合模型的高光谱压缩感知方法,其特征在于,包括:
步骤s1,获取原始高光谱图像光谱维压缩采样后的观测数据y=ax;
其中,矩阵x表示需要重建的原始高光谱图像数据,a为光谱维测量矩阵,y为光谱维观测数据;
步骤s2,构建修正线性混合模型:x=es beh;
其中,e为端元矩阵;s为丰度矩阵;b表示端元光谱的修正矩阵;h表示修正后的端元光谱所对应的丰度矩阵;
利用观测数据y估计出b、s和h的最优值;
步骤s3,将b、s和h的最优估计值代入修正线性混合模型来重建原始高光谱图像数据x。
2.如权利要求1所述的基于修正线性混合模型的高光谱压缩感知方法,其特征在于,在所述步骤s2中,利用观测数据y迭代估计b、s和h的过程为:
步骤s21,预设迭代初始值,h0=0,b0=il,
其中,变量r1=ab,变量r2=wb,变量r3=b,变量r4=fr3;il表示l×l的单位矩阵,l为波段数;w为标准正交基;f表示全变分算子,t1为第一拉格朗日乘子,t2为第二拉格朗日乘子,t3为第三拉格朗日乘子,t4为第四拉格朗日乘子;
步骤s22,按照如下公式分别求得s、h和b在第k 1次迭代中的估计值sk 1、hk 1和bk 1:
其中,k为整数且k≥0;a为已知的光谱维测量矩阵;
步骤s23,判断步骤s22中获得的sk 1、hk 1和
若满足,停止迭代,获得原始高光谱图像数据的重建值为:
若不满足,令k=k 1,并返回步骤s22继续进行迭代;其中,res为预设的迭代收敛阈值,||||f表示取f范数。
3.如权利要求1所述的基于修正线性混合模型的高光谱压缩感知方法,其特征在于,
λ的取值范围为:10-3~10-6;
和/或λtv取值范围为:10-3~10-6。
4.一种高光谱压缩感知重建设备,其特征在于,包括数据获取单元和处理器;
所述数据获取单元获取原始高光谱图像光谱维压缩采样后的观测数据并传输给处理器,处理器获取观测数据后按照权利要求1-3之一所述的基于修正线性混合模型的高光谱压缩感知方法进行原始高光谱图像数据重建。
5.一种高光谱图像压缩感知系统,其特征在于,包括位于发送端的高光谱压缩感知成像模块与第一处理中心,以及位于接收端的如权利要求4所述的高光谱压缩感知重建设备;
所述高光谱压缩感知成像模块接收目标物表面反射的光线,对其进行光谱维压缩采样,获得原始高光谱图像的观测数据;
第一处理中心获取观测数据后并输出;
高光谱压缩感知重建设备接收观测数据并重建出原始高光谱图像数据。
6.如权利要求5所述的高光谱图像压缩感知系统,其特征在于,所述压缩感知成像模块包括沿光路依次设置的物镜、分光元件、第一透镜、数字微镜阵列dmd、第二透镜、成像阵列;
所述物镜接收目标表面的多条反射光线并传递至所述分光元件,多条反射光线经所述分光元件分成多个单光谱发散光线束,多个单光谱发散光线束通过所述第一透镜后形成多个单光谱平行光线束,多个单光谱平行光线束由数字微镜阵列dmd光谱压缩后通过第二透镜汇聚在成像阵列上,形成原始高光谱图像光谱维压缩采样后的观测数据;
所述数字微镜阵列dmd的采样率输入端与第一处理中心的采样率输出端相连接。
技术总结