本发明涉及图像处理技术领域,更具体地,涉及超分辨率处理方法及装置。
背景技术:
图像的超分辨率处理技术是指从一张或多张低分辨率的图像中,重构出相应的高分辨率图像。在大量的电子图像应用领域,人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高,能够提供更多的细节,而这些细节在许多实际应用中不可或缺。例如,高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的;使用高分辨率卫星图像就很容易从相似物中区别相似的对象;如果能够提供高分辨的图像,计算机视觉中的模式识别的性能就会大大提高。
一幅图像可以有多种退化模型,基于压缩感知的退化模型是其中一种。压缩感知理论在保证采样信息不丢失的情况下,大幅降低了采样频率,可以很大程度上降低硬件设备的信息采集压力,同时该理论有严格的数学证明,保证了算法落地在实际应用场景中的鲁棒性。但是现有压缩感知算法存在基于深度优先而导致的容易偏离最优解的缺陷,以及时间复杂度高的缺陷。
技术实现要素:
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的超分辨率处理方法及装置。
第一个方面,本发明实施例提供一种超分辨率处理方法,包括:
将预先获取的观测矩阵中的每一列元素作为一个原子,将观测稀疏图像的每一列像素的观测结果作为一个观测信号,对于每个观测信号进行如下迭代过程,包括:
根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,所述预设数目不小于2;
计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集,并根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集;
计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;
若所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值,则结束所述迭代过程,并将所述下次迭代的支撑集作为所述观测信号对应的最终支撑集;
根据所述观测信号与对应的最终支撑集获得所述观测信号对应的稀疏系数,将所述稀疏系数与预先获取的变换矩阵相乘,获得原始信号。
可选地,所述根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,具体为:
若本次迭代的支撑集不为空集,则将本次迭代的支撑集对应的信号残差与所述观测矩阵中每个原子作内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
可选地,所述根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,具体为:
若本次迭代的支撑集为空集,则将观测信号与所述观测矩阵中每个原子做内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
可选地,根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集,具体为:
将所述临时候选集中的原子对应的信号残差与所述观测矩阵中每个原子做内积运算,根据内积结果的最大值从所述观测矩阵中获得若干个原子置于所述临时候选集。
可选地,所述根据内积结果的最大值从所述观测矩阵中获得若干个原子置于所述临时候选集,具体为:
将内积结果的最大值与预设系数相乘,获得内积阈值,将观测矩阵中内积结果大于所述内积阈值的所有原子置于所述临时候选集
可选地,所述预设系数为0.7。
可选地,所述超分辨率处理方法还包括:将获得的所有原始信号进行组合,获得超分辨率图像。
第二个方面,本发明实施例提供一种超分辨率处理装置,包括:
信号选取模块,用于将预先获取的观测矩阵中的每一列元素作为一个原子,将观测稀疏图像的每一列像素的观测结果作为一个观测信号;
迭代模块,用于对于每个观测信号进行如下迭代过程,包括:
根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,所述预设数目不小于2;
计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集,并根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集;
计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;
若所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值,则结束迭代过程,并将所述下次迭代的支撑集作为所述观测信号对应的最终支撑集
原始信号获取模块,用于根据所述观测信号与对应的最终支撑集获得所述观测信号对应的稀疏系数,将所述稀疏系数与预先获取的变换矩阵相乘,获得原始信号。
第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的超分辨率处理方法及装置,通过每次迭代过程中产生的临时候选集的每个原子对应的信号残差,从观测矩阵中确定填充至临时候选集的原子的个数,使得临时候选集中原子数量是不固定的,从而提高算法的稳定性和精度,并且从每次迭代产生的临时候选集中以残差最小为准则,选择下一次迭代的临时候选集,直至残差小于预设阈值,克服了现有mmp算法基于深度优先导致的容易偏离最优解,并且时间复杂度高的缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中mmp算法的流程示意图;
图2为本发明实施例的超分辨率处理方法的流程示意图;
图3为本发明实施例的内积结果示意图;
图4为本发明实施例提供的超分辨率处理装置的结构示意图;
图5为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
压缩感知模型处理的是稀疏图像,而大部分自然图像都不是稀疏图像,但自然图像在某个变换域ψ下是稀疏的,因此,将自然图像在变换域ψ下进行表示,就可以获得稀疏图像,从而实现由压缩感知模型进行处理,设x是长度为n×1的原始信号,对应自然图像中的一列,将原始信号在基底变换域ψ下进行表示,则可表示为x=ψα,其中ψ是大小为n×n的变换矩阵,α是长度为n×1的k稀疏(有k个非零值)系数。通过对α进行观测,即可获得观测信号y,具体的观测方法为:通过一个与ψ不相关的、大小为m×n的观测矩阵φ与α相乘,就可以得到长度为μ×1的观测信号y。由此,自然图像的获取过程即可概括为:已知观测矩阵和观测信号,求k稀疏系数α,然后通过a和变换矩阵ψ求原始信号。
现有技术的压缩感知模型通常采用mmp(multipathmatchingpursuit,多路径匹配)算法,该算法将原子(即观测矩阵中的列元素)选择问题与组合树搜索问题结合,将单个候选集扩大为多个候选集,大大的提高了算法的重构精度。图1为现有技术中mmp算法的流程示意图,如图1所示,现有的mmp算法尽管拥有3个候选集,但由于每个候选集每次迭代只能选择一个原子,因此重构速度较慢,并且图1中的三个候选集是逐个生成的,算法无法在深度搜索的过程中终止,只有当候选集一结束迭代后,才会开始候选集二的生成,当候选集二结束迭代后,才会生成候选集三,由此可知,有些候选集在迭代过程中其实已经偏离最优解,如果仍将该路径计算出来,这种冗余也增加了时间复杂度。
为了克服现有技术的上述问题,本发明实施例提供的超分辨率处理方法的构思为:通过每次迭代过程中产生的临时候选集的每个原子对应的信号残差结果,从观测矩阵中确定填充至临时候选集的原子的个数,使得临时候选集中原子数量是不固定的,从而提高算法的稳定性和精度,并且从每次迭代产生的临时候选集中以残差最小为准则,选择下一次迭代的临时候选集,直至残差小于预设阈值,克服了现有mmp算法基于深度优先导致的容易偏离最优解,并且时间复杂度高的缺陷。
图2为本发明实施例的超分辨率处理方法的流程示意图,如图2所示,包括如下步骤:
s101、将预先获取的观测矩阵中的每一列元素作为一个原子,将稀疏图像的每一列像素的观测结果作为一个观测信号;
s102、对于每个观测信号进行如下迭代过程,包括:
根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,所述预设数目不小于2。
需要说明的是,本发明实施例会预先获取待处理的稀疏图像以及观测矩阵,通过观测稀疏图像,将稀疏图像的每一列像素的观测结果作为一个观测信号。
支撑集中涵盖的是观测矩阵中的若干列的元素,观测矩阵中的每一列元素在本发明实施例中称之为一个原子,由于本发明实施例是一个迭代过程,因此本次迭代的支撑集意味着当前能够使信号的残差最小的一系列列元素,由本次迭代的支撑集继续从观测矩阵中获取预设数目的元素,其目的是为了获得观测矩阵中与支撑集相似度最高的固定个数的原子,从而为后续拓展支撑集以及进一步缩小残差做准备,本发明实施例获取的初始候选集中的原子不小于2个,但同时也是固定个数,即每次迭代过程中初始候选集中的原子个数都是相同的,相比现有技术一次性只能选择一个原子,能够提高残差的收敛速度。
可选地,本发明实施例的初始候选集中的原子为3个,经过大量实验的验证,当初始候选集中的原子为3时,能够平衡计算复杂度和重构精度之间的关系。
可选地,本发明实施例从预先获取的观测矩阵中获得预设数目的列元素置于本次迭代的初始候选集可以基于观测矩阵中各原子与支撑集的内积确定,也可以根据其他可以表征相似度的参数确定。
计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集,并根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集。
本发明实施例将初始候选集中的每一列元素,即原子,分别置于一一对应的临时候选集中,从而使得在一次迭代过程中生成多个临时候选集,例如,当初始候选集中有3个原子时,则临时候选集的数目也是3个,从而为后续从多个临时候选集中确定一个临时候选集构建下次迭代的支撑集做准备。并且,由于本发明中观测矩阵的原子之间存在差异,会导致原子对应的信号残差也会存在差异,进而使得不同原子对应的临时候选集中置入的新的原子也存在差异。由于本发明实施例中临时候选集中的原子个数不固定,相比现有技术能够提高算法的稳定性和精度。
可选地,每个原子对应的信号残差可以通过以下方法获得:以原子作为基底,将观测信号映射至基底上,获得映射结果,再用观测信号减去该映射结果即获得该原子对应的信号残差。
计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;
需要说明的是,本发明实施例通过获取多个临时候选集,然后从多个临时候选集中筛选出唯一的一个临时候选集构建下次迭代的支撑集,相比现有无法在深度搜索过程中终止的技术,能够提高算法的收敛速度,并且随着迭代次数的增多,只会不断解决最优解,而不会偏离最优解,降低了时间复杂度。临时候选集对应的信号残差的计算与列向量对应的信号残差类似,区别在于将临时候选集中的所有原子作为基底。
若所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值,则结束迭代过程,并将所述下次迭代的支撑集作为所述观测信号对应的最终支撑集。
当下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值时,说明信号残差已收敛的足够小,此时可以认为算法已经收敛,恢复出的稀疏系数与原本的稀疏系数比较接近了。
s103、根据所述观测信号与对应的最终支撑集获得所述观测信号对应的稀疏系数,将所述稀疏系数与预先获取的变换矩阵相乘,获得原始信号。
具体地,将最终支撑集中的原子与观测信号相乘,即可获得观测信号对应的稀疏系数,再将稀疏系数与预先获取的变换矩阵相乘,获得原始信号,相比观测信号,恢复出的原始信号是高维的,对应到图像上就是一个超分辨图像。由上述说明可知,本发明实施例获得原始信号实际上是自然图像中的一列像素,所以将获得的所有原始信号进行合并,即可获得完整的自然图像,即超分辨图像。
本发明实施例的超分辨率处理方法,通过每次迭代过程中产生的临时候选集的每个原子对应的信号残差结果与,从观测矩阵中确定填充至临时候选集的列像素的个数,使得临时候选集中原子数量是不固定的,从而提高算法的稳定性和精度,并且从每次迭代产生的临时候选集中以残差最小为准则,选择下一次迭代的临时候选集,直至残差小于预设阈值,克服了现有mmp算法基于深度优先导致的容易偏离最优解,并且时间复杂度高的缺陷。
在上述各实施例的基础上,作为一种可选实施例,所述根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,具体为:
若本次迭代的支撑集不为空集,则将本次迭代的支撑集对应的信号残差与所述观测矩阵中每个原子做内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
需要说明的是,若本次迭代支撑集不为空集,说明本次迭代并不是第一次迭代,此时将本次迭代的支撑集对应的信号残差与所述观测矩阵中每个原子做内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。本次迭代的支撑集对应的信号残差是以本次迭代的支撑集为基底,将观测信号映射到基底上获得映射结果,将观测信号与映射结果作差而获得。
在上述实施例的基础上,若本次迭代的支撑集为空集,则将观测信号与所述观测矩阵中每个原子做内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
若本次迭代支撑集为空集,则说明本次迭代是第一次迭代,本发明实施例将观测信号与所述观测矩阵中每个原子做内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
在上述各实施例的基础上,作为一种可选实施例,所述根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集,具体为:
将所述临时候选集中的原子对应的信号残差与所述观测矩阵中每个原子做内积运算,根据内积结果的最大值从所述观测矩阵中获得若干个原子置于所述临时候选集。
本发明实施例通过将临时候选集中的原子对应的信号残差与观测矩阵中每个原子做内积运算,即可获得观测矩阵中每个原子对应的内积结果,根据内积的几何意义——一个向量在另一个向量上的投影的积,可知内积越大意味着观测矩阵中每个原子对应的信号残差与临时候选集中的原子相似度越高,本发明以内积结果的最大值意味着该最大值对应的观测矩阵中的原子与临时候选集中的原子的信号残差最为接近,以该最大值对应的观测矩阵中的原子作为衡量观测矩阵的列向量是否具备至于临时候选集的标准。
可选地,本发明实施例可以以不小于内积结果的最大值一定范围内的列元素至于临时候选集。所述一定范围可以是60%~100%。
在上述各实施例的基础上,作为一种可选实施例,根据内积结果的最大值从所述观测矩阵中获得若干个原子置于所述临时候选集,具体为:
将内积结果的最大值与预设系数相乘,获得内积阈值,将观测矩阵中内积结果大于所述内积阈值的所有原子置于所述临时候选集。
需要说明的是,本发明实施例在大量实验中发现,残差和各列元素的内积结果呈现出一种类似聚类的变化规律,图3为本发明实施例的内积结果示意图,如图3所示,图3中的黑色圆点表示观测矩阵中一个原子对应的内积结果,不同的内积结果可以聚类至不同的原子簇中,图中共有三个原子簇,通过选择一个合适的内积阈值(图3中以虚线表示),即可将内积值最大的原子簇和其他两个原子簇区分开。
显然找到一个准备的预设系数,能够使得内积最大的一类原子和其他原子区分开,从而在重构精度和计算复杂度上实现折中,本发明实施例进一步通过大量实验发现,当预设系数为0.7时获得临时候选集中的内积阈值的区分效果最好。
下面结合一个具体实施例对本发明实施例的超分辨率处理方法进行说明。
s201、获取观测矩阵和稀疏图像,观测稀疏图像,将稀疏图像的每一列像素的观测结果作为一个观测信号;
s202、判断是否还有观测信号未进行迭代处理,若是,则执行步骤s203,若否,则进入步骤s215;
s203、选取一个未进行超分辨率处理的观测信号,将观测信号与所述观测矩阵中每个原子做内积运算,将内积结果最大的3个的原子置于第1次迭代的初始候选集;
s204、计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集;
s205、将所述临时候选集中的原子对应的信号残差与所述观测矩阵中每个原子做内积运算,将内积结果的最大值与预设系数(可取0.7)相乘,获得内积阈值,将观测矩阵中内积结果大于所述内积阈值的所有原子置于所述临时候选集;
s205、计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下一次迭代的支撑集;
s206、判断下一次迭代的支撑集对应的信号残差与观测信号的2范数之差是否小于预设阈值,若是,则执行步骤s207,若否,则执行步骤s208;
s207、结束迭代过程,将所述下次迭代的支撑集作为最终支撑集,返回步骤202;
s208、将步骤s205获得的下次迭代的支撑集作为本次迭代的支撑集;
s209、计算本次迭代的支撑集对应的信号残差与所述观测矩阵中每个原子作内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集;
s210、计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集;
s211、将所述临时候选集中的原子对应的信号残差与所述观测矩阵中每个原子做内积运算,将内积结果的最大值与预设系数(可取0.7)相乘,获得内积阈值,将观测矩阵中内积结果大于所述内积阈值的所有原子置于所述临时候选集;
s212、计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;
s213、判断所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差是否小于预设阈值,若是,则执行步骤s207,若否,则执行步骤s214;
s214、将步骤s212获得的下次迭代的支撑集作为本次迭代的支撑集,返回步骤s209;
s215、对每个观测信号,将观测信号和对应的最终支撑集相乘,获得稀疏系数;将稀疏系数与预先获取的变换矩阵相乘,获得对应的原始信号,将获得的所有原始信号进行组合,获得超分辨率图像。
实验效果:
本发明实施例采用peppers、boat和camera三幅不同图像进行试验,用峰值信噪比(psnr)和运行时间来衡量本发明实施例的算法性能,试验结果见表1:
表1试验结果对比表
如表1所示,现有的三种超分辨方法分别为omp(orthogonalmatchingpursuit,正交匹配追踪算法)、cosamp(compressivesamplingmp,压缩采样匹配追踪算法)、mmp(multipathmatchingpursuit、多路径匹配算法),通过将本发明实施例的方法(atpmp,atomictreepruningmatchingpursuitalgorithm,原子树剪枝方法)与其他三种现有的超分辨率方法进行比对可知,本发明实施例的峰值信噪比和运行时间能够实现最好的平衡。
图4为本发明实施例提供的超分辨率处理装置的结构示意图,如图4所示,该超分辨率处理装置包括:信号选取模块201和迭代模块202和原始信号获取模块203,其中:
初始候选集获取模块201,用于将预先获取的观测矩阵中的每一列元素作为一个原子,将稀疏图像的每一列像素作为一个信号;
迭代模块202,用于对于每个信号进行如下迭代过程,包括:
根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,所述预设数目不小于2;
计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集,并根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集;
计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;
若所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值,则结束所述迭代过程,并将所述下次迭代的支撑集作为所述观测信号对应的最终支撑集;
原始信号获取模块203,用于根据所述观测信号与对应的最终支撑集获得所述观测信号对应的稀疏系数,将所述稀疏系数与预先获取的变换矩阵相乘,获得原始信号。
本发明实施例提供的超分辨率处理装置,具体执行上述各超分辨率处理方法实施例流程,具体请详见上述各超分辨率处理方法实施例的内容,在此不再赘述。本发明实施例提供的超分辨率处理装置通过每次迭代过程中产生的临时候选集的每个原子对应的信号残差结果,从观测矩阵中确定填充至临时候选集的原子的个数,使得临时候选集中原子数量是不固定的,从而提高算法的稳定性和精度,并且从每次迭代产生的临时候选集中以残差最小为准则,选择下一次迭代的临时候选集,直至残差小于预设阈值,克服了现有mmp算法基于深度优先导致的容易偏离最优解,并且时间复杂度高的缺陷。
在上述各实施例的基础上,作为一种可选实施例,迭代模块根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,具体为:
若本次迭代的支撑集不为空集,则将本次迭代的支撑集对应的信号残差与所述观测矩阵中每个原子作内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
在上述各实施例的基础上,作为一种可选实施例,迭代模块根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,具体为:
若本次迭代的支撑集为空集,则将所述观测信号与所述观测矩阵中每个原子做内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
在上述各实施例的基础上,作为一种可选实施例,迭代模块根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集,具体为:
将所述临时候选集中的原子对应的信号残差与所述观测矩阵中每个原子做内积运算,根据内积结果的最大值从所述观测矩阵中获得若干个原子置于所述临时候选集。
在上述各实施例的基础上,作为一种可选实施例,迭代模块根据内积结果的最大值从所述观测矩阵中获得若干个原子置于所述临时候选集,具体为:
将内积结果的最大值与预设系数相乘,获得内积阈值,将观测矩阵中内积结果大于所述内积阈值的所有原子置于所述临时候选集。
在上述各实施例的基础上,作为一种可选实施例,所述预设系数为0.7。
在上述各实施例的基础上,作为一种可选实施例,本发明实施例的超分辨率处理装置,还包括:
组合模块,用于将获得的所有原始信号进行组合,获得超分辨率图像。
图5为本发明实施例提供的电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)310、通信接口(communicationsinterface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330上并可在处理器310上运行的计算机程序,以执行上述各实施例提供的超分辨率处理方法,例如包括:将预先获取的观测矩阵中的每一列元素作为一个原子,将观测图像的每一列像素的观测结果作为一个观测信号,对于每个观测信号进行如下迭代过程,包括:根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,所述预设数目不小于2;计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集,并根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集;计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;若所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值,则结束所述迭代过程,并将所述下次迭代的支撑集作为观测信号对应的最终支撑集;根据所述观测信号与对应的最终支撑集获得所述观测信号对应的稀疏系数,将所述稀疏系数与预先获取的变换矩阵相乘,获得原始信号。
此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的超分辨率处理方法,例如包括:将预先获取的观测矩阵中的每一列元素作为一个原子,将观测图像的每一列像素的观测结果作为一个观测信号,对于每个观测信号进行如下迭代过程,包括:根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,所述预设数目不小于2;计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集,并根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集;计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;若所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值,则结束所述迭代过程,并将所述下次迭代的支撑集作为观测信号对应的最终支撑集;根据所述观测信号与对应的最终支撑集获得所述观测信号对应的稀疏系数,将所述稀疏系数与预先获取的变换矩阵相乘,获得原始信号。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
1.一种超分辨率处理方法,其特征在于,包括:
将预先获取的观测矩阵中的每一列元素作为一个原子,将观测稀疏图像的每一列像素的观测结果作为一个观测信号;
对于每个观测信号进行如下迭代过程,包括:
根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,所述预设数目不小于2;
计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集,并根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集;
计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;
若所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值,则结束所述迭代过程,并将所述下次迭代的支撑集作为所述观测信号对应的最终支撑集;
根据所述观测信号与对应的最终支撑集获得所述观测信号对应的稀疏系数,将所述稀疏系数与预先获取的变换矩阵相乘,获得原始信号。
2.根据权利要求1所述的超分辨率处理方法,其特征在于,所述根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,具体为:
若本次迭代的支撑集不为空集,则将本次迭代的支撑集对应的信号残差与所述观测矩阵中每个原子作内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
3.根据权利要求1所述的超分辨率处理方法,其特征在于,所述根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,具体为:
若本次迭代的支撑集为空集,则将所述观测信号与所述观测矩阵中每个原子做内积运算,将内积结果最大的预设数目的原子置于本次迭代的初始候选集。
4.根据权利要求1所述的超分辨率处理方法,其特征在于,所述根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集,具体为:
将所述临时候选集中的原子对应的信号残差与所述观测矩阵中每个原子做内积运算,根据内积结果的最大值从所述观测矩阵中获得若干个原子置于所述临时候选集。
5.根据权利要求4所述的超分辨率处理方法,其特征在于,所述根据内积结果的最大值从所述观测矩阵中获得若干个原子置于所述临时候选集,具体为:
将内积结果的最大值与预设系数相乘,获得内积阈值,将观测矩阵中内积结果大于所述内积阈值的所有原子置于所述临时候选集。
6.根据权利要求5所述的超分辨率处理方法,其特征在于,所述预设系数为0.7。
7.根据权利要求1-6任意一项所述的超分辨率处理方法,其特征在于,还包括:将获得的所有原始信号进行组合,获得超分辨率图像。
8.一种超分辨率处理装置,其特征在于,包括:
信号选取模块,用于将预先获取的观测矩阵中的每一列元素作为一个原子,将观测稀疏图像的每一列像素的观测结果作为一个观测信号;
迭代模块,用于对于每个观测信号进行如下迭代过程,包括:
根据本次迭代的支撑集,从所述观测矩阵中获得预设数目的原子置于本次迭代的初始候选集,所述预设数目不小于2;
计算所述初始候选集中每个原子对应的信号残差,将所述初始候选集中的各原子分别置于一一对应的临时候选集,并根据所述临时候选集中的原子对应的信号残差,从所述观测矩阵中获得若干个原子置于所述临时候选集;
计算每个所述临时候选集对应的信号残差,将具有最小信号残差的临时候选集和本次迭代的支撑集合并,作为下次迭代的支撑集;
若所述下次迭代的支撑集对应的信号残差与本次迭代的支撑集对应的信号残差之差小于预设阈值,则结束所述迭代过程,并将所述下次迭代的支撑集作为所述观测信号对应的最终支撑集;
原始信号获取模块,用于根据所述观测信号与对应的最终支撑集获得所述观测信号对应的稀疏系数,将所述稀疏系数与预先获取的变换矩阵相乘,获得原始信号。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述超分辨率处理方法的步骤。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7中任意一项所述的超分辨率处理方法。
技术总结