一种面向点目标的红外焦平面盲元动态检测方法与流程

专利2022-06-29  82


技术领域:

本发明涉及到红外探测器信号处理技术,具体指一种应用于面阵红外焦平面的盲元检测方法。



背景技术:

红外焦平面阵列(irfpa)是红外成像系统的关键,随着irfpa技术的迅猛发展,其应用也日趋广泛。红外点目标的探测作为红外成像系统的重要应用之一,有着广泛的需求和价值。然而,在点目标的探测过程中,盲元的出现将严重地影响点目标的检测效果和跟踪效率【1】。盲元是irfpa的固有特性,主要由于材料特性、制造工艺、环境温度和工作状态等引起的【2】。盲元可以分为固定盲元和随机盲元两类,固定盲元的响应始终保持在过高或过低的状态下,而随机盲元的响应则随着时间波动,某段时间内类似于正常响应,其他时间段内与固定盲元类似。剔除盲元能够提高点目标的检测准确率,降低跟踪工作的运算负担提高跟踪效率。

目前国内外盲元的检测方法主要分为辐射定标和场景检测两类。辐射定标法需要标准的辐射源增加了系统负担,定标过程中不能成像,且只能定期的执行定标无法实时检测出新产生的随机盲元。基于场景的盲元检测方法不需要额外的外部设备协助,能够更好的适应各种环境,但是,存在计算量大精度差等缺点。且传统的基于场景的盲元检测方法不能对点目标和盲元进行有效的区分,容易将点目标检测为盲元加以校正,对后续点目标的检测和跟踪带来更大的困难【3】。

[1]蔡毅,,胡旭.红外成像寻的用红外探测器现状和发展趋势[j].红外与激光工程,2006,35(1):7-11.

[2]徐世伟,魏东,王大鹏,等.红外线阵探测器盲元定位与补偿[j].红外与激光工程,2014,43(11):3621-3626.

[3]冷寒冰,宫振东,谢庆胜,等.基于模糊中值的irfpa自适应盲元检测与补偿[j].红外与激光工程,2015,44(3):821-826.



技术实现要素:

为了克服上述现有技术的不足,本发明提供了一种面向点目标的红外焦平面盲元动态检测方法,利用点目标检测和跟踪的应用特点,不影响点目标的检测与跟踪过程,并且充分利用这些过程的结果,以较小的运算代价,有效地检测并剔除盲元。

本发明的上述目的是通过如下技术方案予以实现的:

步骤1)利用点目标检测方法对红外焦平面阵列采集的每一帧图像数据进行点目标检测,检测结果为b(f,i,j),被检测为点目标的像元同时标记为疑似盲元,b(f,i,j)=1表示该点为疑似盲元,反之b(f,i,j)=0表示该点为正常像元,其中f为帧序号,i,j分别表示焦平面像元的横纵坐标;

步骤2)将当前检测帧的疑似盲元灰度值及其临域像元的灰度值作为输入,与盲元成像特征模型匹配,具体步骤如下;

步骤2.1)计算疑似盲元与周围像元的灰度平均值mean(i,j),

其中,x(i,j)为像元(i,j)的灰度值,x(i p,j q)表示以(i,j)为中心的正方形像元临域内各像元灰度值,n为该正方形临域的边长,单位为像元,n取值为3个像元,p和q代表方形领域内其他像元相对(i,j)的坐标偏移量,p和q的取值范围为

步骤2.2)利用上一步计算的疑似盲元临域的灰度平均值mean(i,j)分别与正方形临域内包括疑似盲元在内的每一个像元的灰度比较大小并记录比较结果,统计与疑似盲元比较结果一致的像元个数num(i,j),

步骤2.3)将num(i,j)与响应阈值thre比较得出盲元成像特征模型匹配结果xd(f,i,j),

其中,xd(f,i,j)为疑似盲元f帧的成像特征模型匹配结果,xd(f,i,j)=1表示匹配成功,xd(f,i,j)=0表示匹配失败,响应阈值thre取值范围为2≤thre≤4;

步骤3)若盲元表为空则跳过此步,反之检索盲元表,从盲元表中选取盲元置信度c(i,j)大于补偿阈值thcomp且在步骤(2)中匹配成功的疑似盲元判定为盲元,其中thcomp取值范围为0.3≤thcomp≤0.5,c(i,j)为盲元置信度表示像元(i,j)为盲元的概率,c(i,j)的取值范围为0≤c(i,j)≤1;

步骤4)若盲元表为空则保持步骤(1)检测的疑似点目标结果,否则将步骤(1)检测出的点目标结果中被步骤(3)判定为盲元的疑似点目标剔除;

步骤5)若盲元表为空则保持步骤(2)匹配成功的疑似盲元结果,否则将步骤(2)匹配成功的疑似盲元结果中被步骤(3)判定为盲元的疑似盲元剔除;

步骤6)对步骤(5)确定的疑似盲元进行运动特征位置模型匹配,统计疑似盲元在最近flength帧内出现的频率,flength表示运动模型评估的帧长度,取值范围为5≤flength≤30,具体步骤如下;

步骤6.1)统计待匹配疑似盲元在最近flength帧内被步骤(2)的成像特征模型成功匹配的次数bsum(i,j),

其中,f为当前检测帧的帧序号;

步骤6.2)疑似盲元在flength帧内被判断为疑似盲元的频率bsum(i,j)/flength与运动特征位置模型阈值thpo进行比较,输出匹配结果xpo(i,j),

其中,xpo(i,j)为疑似盲元当前帧的运动特征位置模型匹配结果,xpo(i,j)=1表示匹配成功,xpo(i,j)=0表示匹配失败,thpo为运动特征位置模型阈值,0.05≤thpo≤0.3;

步骤7)对步骤(4)确定的疑似点目标进行运动特征路径模型匹配,具体步骤如下;

步骤7.1)选取最近flength帧内被点目标跟踪算法成功跟踪的路径,提取每条路径上最近flength帧内的路径点(if,jf),其中,if,jf分别表示第f帧的路径点在焦平面上的横纵坐标,f-flength 1≤f≤f;

步骤7.2)依次以每个路径点为起点以最近且距离大于的后序路径点为终点,提取路径方向向量直至无法找到路径方向向量终点,其中n为成功跟踪的路径编号,表示第n条成功跟踪的路径,m为路径方向向量编号,表示该路径下第m个成功提取的方向向量,若某路径成功提取的路径向量不足3个,则停止该条路径的匹配过程不执行步骤(7.3)、步骤(7.4)、步骤(7.5),并执行下一条路径的匹配;

步骤7.3)依次计算相邻两个向量的向量夹角θn,k,θn,k为路径方向向量的夹角,其中,n为成功跟踪的路径编号,k为方向向量夹角编号;

步骤7.4)计算一条路径下所有方向向量的方向夹角的平均值mdn,n表示路径序号;

步骤7.5)将路径相邻方向向量夹角平均值mdn与运动特征路径模型阈值thtr进行比较,输出匹配结果xtr(n),并将该路径的匹配结果赋给该路径上最近flength帧内所有路径点的运动特征路径模型匹配结果xptr(if,jf),

xptr(if,jf)=xtr(n)

其中,xtr(n)表示第n条路径的运动特征路径模型当前帧的匹配结果,xtr(n)=1表示匹配成功,xtr(n)=0表示匹配失败,运动特征路径模型阈值thtr的取值范围为10≤thtr≤90,xptr(if,jf)表示路径点(if,jf)当前帧的运动特征路径模型匹配结果xptr(if,jf)=1表示匹配成功,xptr(if,jf)=0表示匹配失败;

步骤8)根据步骤(2)、步骤(3)、步骤(6)、步骤(7)对疑似盲元的匹配结果更新盲元表中的盲元置信度,具体步骤如下;

步骤8.1)对通过步骤(2)成像特征模型匹配且步骤(3)检索盲元表大于补偿阈值的盲元增加其盲元置信度,

其中,c(i,j)为盲元(i,j)在盲元表中的置信度,c为一个盲元置信度单位,其取值范围为0.1≤c≤0.2;

步骤8.2)选取通过步骤(6)或步骤(7)匹配的疑似盲元,若盲元表中不存在这些疑似盲元,则将这些疑似盲元加入盲元表并赋予一个盲元置信度单位c,若盲元表中已包含该疑似盲元则增加一个盲元置信度单位c,

步骤8.3)选取没有通过步骤(2)或步骤(6)或步骤(7)匹配的疑似盲元,若盲元表中无该疑似盲元,则不做任何操作,若盲元表中已包含该疑似盲元则降低该疑似盲元半个盲元置信度单位c,

步骤8.4)盲元表中在当前检测帧没有通过步骤(8.1)、步骤(8.2)、步骤(8.3)更新盲元置信度的盲元将通过遗忘因子衰减盲元置信度,

c(i,j)=c(i,j)·fc

其中,fc为盲元置信度遗忘因子,其取值范围为0.90≤fc≤0.97;

步骤9)根据盲元置信度的大小动态维护盲元表,首先利用剔除阈值thremove比较盲元置信度,大于该阈值的盲元保留,小于该阈值的盲元从盲元表剔除,完成该操作后若盲元表盲元数量超过存储上限nbs则实行末位淘汰制度,将盲元置信度最低且超过盲元表存储限制的部分盲元剔除,返回步骤(1)对下一帧图像进行处理,其中,存储上限nbs根据系统指标和用户需求设定,剔除阈值thremove取值范围为0.05≤thremove≤0.1。

与现有技术相比,本发明的有益效果是可动态实时的对新产生或状态不稳定的随机盲元进行准确的检测并动态的维护,有效地增加了点目标检测准确率和跟踪效率,充分利用点目标的检测和跟踪结果,消耗的额外计算资源少,可硬件实现。

附图说明

图1为本发明的处理流程图;

图2为部分待检测的仿真原始图像,其中图(a)是第1帧,图(b)是第5帧,图(c)是第10帧,图(d)是第30帧,图(e)是第60帧,图(f)是第90帧;

图3为部分经过本发明方法检测并剔除盲元后的目标二值化图,其中图(a)是第1帧,图(b)是第5帧,图(c)是第10帧,图(d)是第30帧,图(e)是第60帧,图(f)是第90帧;

图4为利用本发明检测出的固定盲元与仿真存在的固定盲元比例对应帧的柱状统计图;

图5为利用本发明检测出的随机盲元与仿真存在的随机盲元比例对应帧的柱状统计图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述。其中涉及到若干参数,这些参数需要针对具体处理环境进行调节以达到良好的性能。

利用中科院上海技术物理研究所研制的320*256长波红外焦平面成像系统对该方法进行验证,共采集90帧包含移动点目标的图像数据,在原图像中任意位置添加固定盲元150个,随机盲元60个组成盲元仿真图像,图2为部分帧的仿真原始图像。

按帧序依次读取每一帧红外焦平面阵列图像数据,利用中值滤波估计背景,减去背景后二值化检测出奇异点的方法检测疑似点目标,将检测出的疑似点目标标记为疑似盲元。对所有疑似盲元进行盲元响应特征模型匹配,其中设置响应阈值thre=1,若盲元表不为空则检索盲元表,查找置信度大于补偿阈值thcomp且与盲元响应特征模型匹配成功的疑似盲元,将这些疑似盲元标记为盲元。本次验证实验为实现较灵敏的盲元检测效果设置thcomp=0.3。将这些盲元的置信度增加一个单位c,c设置为0.1,与盲元响应特征模型匹配不成功的潜且已存在盲元表中的疑似盲元则降低其置信度0.5c即0.05。将点目标检测的疑似点目标结果中已经确认为盲元的像元剔除,将疑似盲元中已经被确认为盲元的像元剔除,图3展示了经过盲元剔除后的各帧二值化目标图。

将当前的疑似盲元与盲元运动特征模型匹配。设置运动特征参考长度flength为20帧,根据最近20帧内的疑似盲元位置统计情况分别进行运动特征的位置模型和路径模型匹配。位置模型阈值thpo=0.1,即某个像元位置在20帧内重复被判断为疑似盲元的次数大于两次就判定为与位置模型匹配,路径模型阈值thtr=20,即在20帧内若某路径方向变化角度的均值大于20°,则该路径的所有点与路径模型匹配。

然后,根据当前帧运动盲元模型结果更新盲元表的盲元置信度,对通过运动特征位置模型或路径模型匹配其中之一的疑似盲元加入盲元表(若不在盲元表内)并增加盲元置信度一个单位即0.1。若同时通过位置模型与路径模型匹配则增加两个单位盲元置信度即0.2。若两个模型都没有匹配成功,则减少该疑似盲元在盲元表中(若在盲元表中)的置信度半个单位即0.05。在当前帧中盲元置信度没有被更新的剩余盲元均乘上遗忘因子fc,本次测试设置fc=0.95,以此维护盲元表动态更新持续保持较好的盲元检测结果。

最后,将盲元表中低于剔除阈值thremove和盲元置信度最低的超过盲元表存储长度nsb的盲元剔除,本次测试设置剔除阈值thremove为0.05的盲元,nsb为300。循环进入下一帧执行相同操作。


技术特征:

1.一种面向点目标的红外焦平面盲元动态检测方法,其特征在于包括如下步骤:

(1)利用点目标检测方法对红外焦平面阵列采集的每一帧图像数据进行点目标检测,检测结果为b(f,i,j),被检测为点目标的像元同时标记为疑似盲元,b(f,i,j)=1表示该点为疑似盲元,反之b(f,i,j)=0表示该点为正常像元,其中f为帧序号,i,j分别表示焦平面像元的横纵坐标;

(2)将当前检测帧的疑似盲元灰度值及其临域像元的灰度值作为输入,与盲元成像特征模型匹配,具体步骤如下;

(2.1)计算疑似盲元与周围像元的灰度平均值mean(i,j),

其中,x(i,j)为像元(i,j)的灰度值,x(i p,j q)表示以(i,j)为中心的正方形像元临域内各像元灰度值,n为该正方形临域的边长,单位为像元,n取值为3个像元,p和q代表方形领域内其他像元相对(i,j)的坐标偏移量,p和q的取值范围为

(2.2)利用上一步计算的疑似盲元临域的灰度平均值mean(i,j)分别与正方形临域内包括疑似盲元在内的每一个像元的灰度比较大小并记录比较结果,统计与疑似盲元比较结果一致的像元个数num(i,j),

(2.3)将num(i,j)与响应阈值thre比较得出盲元成像特征模型匹配结果xd(f,i,j),

其中,xd(f,i,j)为疑似盲元f帧的成像特征模型匹配结果,xd(f,i,j)=1表示匹配成功,xd(f,i,j)=0表示匹配失败,响应阈值thre取值范围为2≤thre≤4;

(3)若盲元表为空则跳过此步,反之检索盲元表,从盲元表中选取盲元置信度c(i,j)大于补偿阈值thcomp且在步骤(2)中匹配成功的疑似盲元判定为盲元,其中thcomp取值范围为0.3≤thcomp≤0.5,c(i,j)为盲元置信度表示像元(i,j)为盲元的概率,c(i,j)的取值范围为0≤c(i,j)≤1;

(4)若盲元表为空则保持步骤(1)检测的疑似点目标结果,否则将步骤(1)检测出的点目标结果中被步骤(3)判定为盲元的疑似点目标剔除;

(5)若盲元表为空则保持步骤(2)匹配成功的疑似盲元结果,否则将步骤(2)匹配成功的疑似盲元结果中被步骤(3)判定为盲元的疑似盲元剔除;

(6)对步骤(5)确定的疑似盲元进行运动特征位置模型匹配,统计疑似盲元在最近flength帧内出现的频率,flength表示运动模型评估的帧长度,取值范围为5≤flength≤30,具体步骤如下;

(6.1)统计待匹配疑似盲元在最近flength帧内被步骤(2)的成像特征模型成功匹配的次数bsum(i,j),

其中,f为当前检测帧的帧序号;

(6.2)疑似盲元在flength帧内被判断为疑似盲元的频率bsum(i,j)/flength与运动特征位置模型阈值thpo进行比较,输出匹配结果xpo(i,j),

其中,xpo(i,j)为疑似盲元当前帧的运动特征位置模型匹配结果,xpo(i,j)=1表示匹配成功,xpo(i,j)=0表示匹配失败,thpo为运动特征位置模型阈值,0.05≤thpo≤0.3;

(7)对步骤(4)确定的疑似点目标进行运动特征路径模型匹配,具体步骤如下;

(7.1)选取最近flength帧内被点目标跟踪算法成功跟踪的路径,提取每条路径上最近flength帧内的路径点(if,jf),其中,if,jf分别表示第f帧的路径点在焦平面上的横纵坐标,f-flength 1≤f≤f;

(7.2)依次以每个路径点为起点以最近且距离大于的后序路径点为终点,提取路径方向向量直至无法找到路径方向向量终点,其中n为成功跟踪的路径编号,表示第n条成功跟踪的路径,m为路径方向向量编号,表示该路径下第m个成功提取的方向向量,若某路径成功提取的路径向量不足3个,则停止该条路径的匹配过程不执行步骤(7.3)、步骤(7.4)、步骤(7.5),并执行下一条路径的匹配;

(7.3)依次计算相邻两个向量的向量夹角θn,k,θn,k为路径方向向量的夹角,其中,n为成功跟踪的路径编号,k为方向向量夹角编号;

(7.4)计算一条路径下所有方向向量的方向夹角的平均值mdn,n表示路径序号;

(7.5)将路径相邻方向向量夹角平均值mdn与运动特征路径模型阈值thtr进行比较,输出匹配结果xtr(n),并将该路径的匹配结果赋给该路径上最近flength帧内所有路径点的运动特征路径模型匹配结果xptr(if,jf),

xptr(if,jf)=xtr(n)

其中,xtr(n)表示第n条路径的运动特征路径模型当前帧的匹配结果,xtr(n)=1表示匹配成功,xtr(n)=0表示匹配失败,运动特征路径模型阈值thtr的取值范围为10≤thtr≤90,xptr(if,jf)表示路径点(if,jf)当前帧的运动特征路径模型匹配结果xptr(if,jf)=1表示匹配成功,xptr(if,jf)=0表示匹配失败;

(8)根据步骤(2)、步骤(3)、步骤(6)、步骤(7)对疑似盲元的匹配结果更新盲元表中的盲元置信度,具体步骤如下;

(8.1)对通过步骤(2)成像特征模型匹配且步骤(3)检索盲元表大于补偿阈值的盲元增加其盲元置信度,

其中,c(i,j)为盲元(i,j)在盲元表中的置信度,c为一个盲元置信度单位,其取值范围为0.1≤c≤0.2;

(8.2)选取通过步骤(6)或步骤(7)匹配的疑似盲元,若盲元表中不存在这些疑似盲元,则将这些疑似盲元加入盲元表并赋予一个盲元置信度单位c,若盲元表中已包含该疑似盲元则增加一个盲元置信度单位c,

(8.3)选取没有通过步骤(2)或步骤(6)或步骤(7)匹配的疑似盲元,若盲元表中无该疑似盲元,则不做任何操作,若盲元表中已包含该疑似盲元则降低该疑似盲元半个盲元置信度单位c,

已存在盲元表内

(8.4)盲元表中在当前检测帧没有通过步骤(8.1)、步骤(8.2)、步骤(8.3)更新盲元置信度的盲元将通过遗忘因子衰减盲元置信度,

c(i,j)=c(i,j)·fc

其中,fc为盲元置信度遗忘因子,其取值范围为0.90≤fc≤0.97;

(9)根据盲元置信度的大小动态维护盲元表,首先利用剔除阈值thremove比较盲元置信度,大于该阈值的盲元保留,小于该阈值的盲元从盲元表剔除,完成该操作后若盲元表盲元数量超过存储上限nbs则实行末位淘汰制度,将盲元置信度最低且超过盲元表存储限制的部分盲元剔除,返回步骤(1)对下一帧图像进行处理,其中,存储上限nbs根据系统指标和用户需求设定,剔除阈值thremove取值范围为0.05≤thremove≤0.1。

2.根据权利要求1所述的一种面向点目标的红外焦平面盲元动态检测方法,其特征在于:步骤(1)中所述的点目标检测方法为单帧检测方法是先检测后跟踪方法的一个组成部分,通过采用一种或多种组合的滤波预处理方式移植图像背景,再利用阈值分割将图像的背景和目标进行分类,输出目标点坐标。

3.根据权利要求1所述的一种面向点目标的红外焦平面盲元动态检测方法,其特征在于:步骤(7.1)中所述的的点目标跟踪算法可选取自底向上类或自顶向下类的多种目标跟踪算法或在它们基础上改进的算法,输出跟踪路径的每一帧点坐标。

技术总结
本发明公开一种面向点目标的红外焦平面盲元动态检测方法。该方法将点目标检测出的疑似点目标作为疑似盲元,将点目标跟踪的路径信息、疑似盲元灰度、疑似盲元领域像元灰度作为输入,分别与盲元响应特征模型和盲元运动特征模型进行匹配确认是否为盲元。通过每帧检测的盲元结果与遗忘因子更新盲元置信度,设定补偿阈值与剔除阈值,筛选置信度大于补偿阈值且与盲元成像模型匹配成功的盲元进行剔除,将置信度小于剔除阈值的盲元从盲元表剔除,从而实现自适应地盲元动态检测。本发明在不打断点目标检测与跟踪过程的情况下,充分利用点目标的检测和跟踪结果,消耗额外计算资源少,能够准确高效地完成盲元的检测,易于硬件实现。

技术研发人员:饶鹏;陈忻;贾良杰
受保护的技术使用者:中国科学院上海技术物理研究所
技术研发日:2020.01.17
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-48974.html

最新回复(0)