显著性目标检测方法、装置、计算机设备和存储介质与流程

专利2022-06-29  60


本申请涉及图像处理技术领域,特别是涉及一种显著性目标检测方法、装置、计算机设备和存储介质。



背景技术:

随着科学技术的发展,图像处理越来越重要。显著性性目标检测旨在在图像或视频中找到一个或多个最吸引人们注意力的物体,然后将这些物体从背景中分离。这项任务的核心挑战是如何在不同复杂场景,例如在杂乱场景中或前景与背景对比度低的场景中,检测出显著性物体并实现高精度分割。

传统的显著性目标检测方法大多使用手制特征,例如颜色、强度等,来区分背景和显著性物体之间的差异。但是,传统的显著性目标检测方法无法检测到复杂场景中的显著性物体,也即传统的显著性目标检测方法存在适用性低的问题。



技术实现要素:

基于此,有必要针对上述问题,提供一种可以拓宽场景适用性的显著性目标检测方法、装置、计算机设备和存储介质。

一种显著性目标检测方法,所述方法包括:

获取待处理图像的低阶集成特征和高阶集成特征;

将所述高阶集成特征和所述低阶集成特征作为输入特征,对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;

分别将所述第一显著性图和所述第一边界图与对应的预设真值图进行比较,得到第一比较结果;

当所述第一比较结果不满足预设条件时,根据所述低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对所述输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;

当所述第二比较结果满足所述预设条件时,将当前提取处理阶段获得的显著性图作为所述待处理图像的输出显著性图。

在一个实施例中,所述根据所述低阶集成特征以及通过上一提取处理阶段获得的显著性特征和边界特征对所述输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果包括:

根据上一提取处理阶段获得的显著性特征和边界特征,确定当前提取处理阶段的引导特征;

将所述当前提取处理阶段的引导特征以及所述低阶集成特征作为输入特征,对所述输入特征分别进行显著性特征和边界特征第二提取处理,得到第二显著性图和第二边界图;

分别将所述第二显著性图和所述第二边界图与对应的预设真值图进行比较,得到第二比较结果。

在一个实施例中,所述根据上一提取处理阶段获得的显著性特征和边界特征,确定当前提取处理阶段的引导特征包括:

将上一提取处理阶段获得的显著性特征和边界特征,与当前提取处理阶段的显著性引导特征进行元素相加处理,获得当前提取处理阶段的显著性特征;

将上一提取处理阶段获得的显著性特征和边界特征,与当前提取处理阶段的边界引导特征进行元素相加处理,获得当前提取处理阶段的边界特征;

将所述当前提取处理阶段的显著性特征以及所述当前提取处理阶段的边界特征进行级联处理,得到所述当前提取处理阶段的引导特征。

在一个实施例中,所述获取待处理图像的低阶集成特征和高阶集成特征包括:

获取待处理图像;

通过卷积网络对所述待处理图像进行特征提取,获得所述待处理图像的低阶集成特征和高阶集成特征。

在一个实施例中,所述通过卷积网络对所述待处理图像进行特征提取,获得所述待处理图像的低阶集成特征和高阶集成特征包括:

通过第一卷积深度的卷积网络对所述待处理图像进行特征提取,获得所述待处理图像的低阶集成特征;

通过第二卷积深度的卷积网络对所述待处理图像进行特征提取,获得所述待处理图像的高阶集成特征,所述第二卷积深度大于所述第一卷积深度。

在一个实施例中,所述对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图包括:

对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性特征和第一边界特征;

通过卷积层对所述第一显著性特征和所述第一边界特征进行处理,得到第一显著性图和第一边界图。

在一个实施例中,所述分别将所述第一显著性图和所述第一边界图与对应的预设真值图进行比较,得到第一比较结果包括:

根据所述第一显著性图以及对应的显著性真值图进行交叉熵损失计算,得到第一损失值;

根据所述第一边界图以及对应的边界真值图进行交叉熵损失计算,得到第二损失值;

将所述第一损失值与所述第二损失值相加,得到第一比较结果。

一种显著性目标检测装置,所述装置包括:

数据获取模块,用于获取待处理图像的低阶集成特征和高阶集成特征;

第一处理模块,用于将所述高阶集成特征和所述低阶集成特征作为输入特征,对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;

比较模块,用于分别将所述第一显著性图和所述第一边界图与对应的预设真值图进行比较,得到第一比较结果;

第二处理模块,用于当所述第一比较结果不满足预设条件时,根据所述低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对所述输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;

目标确定模块,用于当所述第二比较结果满足所述预设条件时,将当前提取处理阶段获得的显著性图作为所述待处理图像的输出显著性图。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取待处理图像的低阶集成特征和高阶集成特征;

将所述高阶集成特征和所述低阶集成特征作为输入特征,对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;

分别将所述第一显著性图和所述第一边界图与对应的预设真值图进行比较,得到第一比较结果;

当所述第一比较结果不满足预设条件时,根据所述低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对所述输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;

当所述第二比较结果满足所述预设条件时,将当前提取处理阶段获得的显著性图作为所述待处理图像的输出显著性图。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取待处理图像的低阶集成特征和高阶集成特征;

将所述高阶集成特征和所述低阶集成特征作为输入特征,对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;

分别将所述第一显著性图和所述第一边界图与对应的预设真值图进行比较,得到第一比较结果;

当所述第一比较结果不满足预设条件时,根据所述低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对所述输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;

当所述第二比较结果满足所述预设条件时,将当前提取处理阶段获得的显著性图作为所述待处理图像的输出显著性图。

上述显著性目标检测方法、装置、计算机设备和存储介质,待处理图像的低阶集成特征携带更多显著性细节信息,而获取到的高阶集成特征减少了待处理图像中的非显著性区域,将高阶集成特征和低阶集成特征作为输入特征,对输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;分别将第一显著性图和第一边界图与对应的预设真值图进行比较,得到第一比较结果;当第一比较结果不满足预设条件时,根据低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;当第二比较结果满足预设条件时,将当前提取处理阶段获得的第二显著性图作为待处理图像的输出显著性图,其中,高阶集成特征作为初始引导特征,后续以上一特征提取处理阶段获得的显著性特征和边界特征作为当前特征提取处理阶段的引导特征,逐渐细化低阶集成特征,如此循环,逐渐细化显著性特征和边界特征,同时,引导特征对显著性图和边界图进行优化,由此实现了在复杂场景中的显著性目标检测。

附图说明

图1为一个实施例中显著性目标检测方法的流程示意图;

图2为一个实施例中更新输入特征进行循环处理步骤的流程示意图;

图3为一个实施例中当前提取处理阶段的引导特征确定步骤的流程示意图;

图4为一个实施例中引导模块的内部结构示意图;

图5为一个实施例中循环双流细化引导网络的框架示意图;

图6为一个实施例中单流引导细化模块的示意图;

图7为一个实施例中双流引导细化模块的示意图;

图8为一个实施例中显著性目标检测装置的结构框图;

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在一个实施例中,如图1所示,提供了一种显著性目标检测方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤102,获取待处理图像的低阶集成特征和高阶集成特征。

低阶集成特征是指携带图像显著性细节信息的特征,高阶集成特征是指可以用来减少图像非显著性区域的特征。比如,可以通过不同深度的卷积网络对待处理图像进行特征提取,分别获得待处理图像的低阶集成特征和高阶集成特征。

步骤104,将高阶集成特征和低阶集成特征作为输入特征,对输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图。

可以通过卷积网络进行显著性特征提取和边界特征提取,通过设置不同的卷积参数,实现显著性特征提取和边界特征提取。高阶集成特征包括显著性引导特征和边界引导特征,低阶集成特征包括显著性特征和边界特征,通过显著性特征流和边界特征流双流处理结构细化低阶集成特征。通过引导特征和双流处理结构,预测待处理图像的显著性图和边界图。

步骤106,分别将第一显著性图和第一边界图与对应的预设真值图进行比较,得到第一比较结果。

将第一显著性图与对应的显著性真值图进行比较,计算第一显著性图与显著性真值图的差距;将第一边界图与对应的边界真值图进行比较,计算第一边界图与边界真值图的差距;将两个差距相加,得到第一比较结果。

步骤108,当第一比较结果不满足预设条件时,根据低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果。

第一提取处理阶段以高阶集成特征和低阶集成特征作为输入特征,输出对应的显著性图和边界图,将该显著性图和边界图分别与对应的真值图进行比较,得到第一提取处理阶段的比较结果。当第一比较结果不满足预设条件,比如大于预设阈值时,表明第一提取处理阶段得到的显著性图和边界图不符合需求。在第二提取处理阶段,不再以高阶集成特征和低阶集成特征作为输入特征,而是以低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征作为输入特征。具体地,在第二提取处理阶段的第一次处理,不再将高阶集成特征作为引导特征,而是根据第一提取处理阶段获得的显著性特征和边界特征,得到新的引导特征,即根据低阶集成特征以及第一提取处理阶段获得的显著性特征和边界特征,对输入特征进行更新,得到更新后的输入特征。在第二提取处理阶段的第二次处理,根据第二提取处理阶段第一次处理获得的显著性特征和边界特征,得到新的引导特征,根据低阶集成特征以及第二提取处理阶段第一次处理获得的显著性特征和边界特征,对输入特征进行更新,得到更新后的输入特征,如此重复特征提取以及比较步骤。

步骤110,当第二比较结果满足预设条件时,将当前提取处理阶段获得的显著性图作为待处理图像的输出显著性图。

当第二比较结果满足预设条件,比如在预设阈值范围内时,表明此次提取处理得到的显著性图和边界图符合需求,不再进行迭代处理,将此次获得的显著性图作为待处理图像的输出显著性图。当第二比较结果不满足预设条件时,根据低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对输入特征进行更新,对更新后的输入特征进行提取处理,得到当前提取处理阶段的比较结果,如此循环,直至某次的比较结果满足预设条件,停止迭代。

上述显著性目标检测方法,待处理图像的低阶集成特征携带更多显著性细节信息,而获取到的高阶集成特征减少了待处理图像中的非显著性区域,将高阶集成特征和低阶集成特征作为输入特征,对输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;分别将第一显著性图和第一边界图与对应的预设真值图进行比较,得到第一比较结果;当第一比较结果不满足预设条件时,根据低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;当第二比较结果满足预设条件时,将当前提取处理阶段获得的第二显著性图作为待处理图像的输出显著性图,其中,高阶集成特征作为初始引导特征,后续以上一特征提取处理阶段获得的显著性特征和边界特征作为当前特征提取处理阶段的引导特征,逐渐细化低阶集成特征,如此循环,逐渐细化显著性特征和边界特征,同时,引导特征对显著性图和边界图进行优化,由此实现了在复杂场景中的显著性目标检测。

在一个实施例中,如图2所示,根据低阶集成特征以及通过上一提取处理阶段获得的显著性特征和边界特征对输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果包括:步骤202,根据上一提取处理阶段获得的显著性特征和边界特征,确定当前提取处理阶段的引导特征;步骤204,将当前提取处理阶段的引导特征以及低阶集成特征作为输入特征,对输入特征分别进行显著性特征和边界特征第二提取处理,得到第二显著性图和第二边界图;步骤206,分别将第二显著性图和第二边界图与对应的预设真值图进行比较,得到第二比较结果。以第二提取处理阶段作为当前提取处理阶段,根据第一提取处理阶段获得的显著性特征和边界特征,确定第二提取处理阶段的引导特征;将第二提取处理阶段的引导特征以及低阶集成特征作为输入特征,提取输入特征的显著性特征和边界特征,得到第二提取处理阶段的显著性图和边界图;将第二提取处理阶段的显著性图和边界图分别与对应的预设真值图进行比较,得到第二提取处理阶段的比较结果。当第二提取处理阶段的比较结果不满足预设条件时,此时,第二提取处理阶段的比较结果即为第一比较结果,以第三提取处理阶段作为当前提取处理阶段,根据第二提取处理阶段获得的显著性特征和边界特征,确定第三提取处理阶段的引导特征;将第三提取处理阶段的引导特征以及低阶集成特征作为输入特征,提取输入特征的显著性特征和边界特征,得到第三提取处理阶段的显著性图和边界图;将第三提取处理阶段的显著性图和边界图分别与对应的预设真值图进行比较,得到第三提取处理阶段的比较结果。

在一个实施例中,如图3所示,根据上一提取处理阶段获得的显著性特征和边界特征,确定当前提取处理阶段的引导特征包括:步骤302,将上一提取处理阶段获得的显著性特征和边界特征,与当前提取处理阶段的显著性引导特征进行元素相加处理,获得当前提取处理阶段的显著性特征;步骤304,将上一提取处理阶段获得的显著性特征和边界特征,与当前提取处理阶段的边界引导特征进行元素相加处理,获得当前提取处理阶段的边界特征;步骤306,将当前提取处理阶段的显著性特征以及当前提取处理阶段的边界特征进行级联处理,得到当前提取处理阶段的引导特征。引导模块的内部结构如图4所示,定义引导模块为:

fgi=cat(fsi,fbi),

其中,代表元素加,cat代表级联操作,是由显著性特征流生成的显著性引导特征,而则是由边界特征流生成的边界引导特征。

在第一个引导模块中,显著性特征fs0与边界特征fb0被设置为直接等于在这之后,将显著性引导特征与在上一个循环阶段中生成的fsi-1相加,旨在生成包含更多细节信息的显著性特征fsi。紧接着,将fbi-1与fsi相加,以补充缺少的边界信息。另一方面,同样通过添加fsi-1于fbi以补充缺少的显著性信息,并使用来生成包含更多细节的边界信息。

由于显著性特征fsi包含了丰富的显著性信息,而边界特征fbi包含着丰富的边界信息。为了更有效的利用这两种不同的特征,通过将fsi与fbi级联,来生成引导特征fgi,这一特征被用来指导显著性特征流和边界特征流的预测。因为引导特征fgi同时包含了显著性物体信息与边界信息,它能够有效地指导显著性特征与边界特征的预测。

此外,为了获得包含丰富信息的显著性引导特征与边界引导特征将低阶集成特征与在上一循环阶段中产生的引导特征fgi-1进行级联,并随后送入显著性特征流和边界特征流。这些特征流由三个卷积操作所组成,可以被定义为:

其中,φsi与φbi分别代表了显著性特征流和边界特征流,fh是高阶集成特征,fl是低阶集成特征。

第一个显著性引导特征与第一个边界引导特征由高阶集成特征fh所生成。此后,在每个循环阶段中,显著性引导特征与边界引导特征由fl和引导特征fgi-1的级联所生成。

在一个实施例中,获取待处理图像的低阶集成特征和高阶集成特征包括:获取待处理图像;通过卷积网络对待处理图像进行特征提取,获得待处理图像的低阶集成特征和高阶集成特征。对于输入的待处理图像,可以使用resnext网络作为特征提取器,从特征提取器中提取的多级特征包含显著对象和边界的各种信息,可用于不同的任务。

在一个实施例中,通过卷积网络对待处理图像进行特征提取,获得待处理图像的低阶集成特征和高阶集成特征包括:通过第一卷积深度的卷积网络对待处理图像进行特征提取,获得待处理图像的低阶集成特征;通过第二卷积深度的卷积网络对待处理图像进行特征提取,获得待处理图像的高阶集成特征,第二卷积深度大于第一卷积深度。通过更深层提取获得的高阶集成特征,可以用于生成初始的显著物体和边界特征。这些特征包括丰富的语义信息,从而可以提供显著对象和边界的区域位置。同时,由于来自较浅层的特征包含更多的细节信息,因此将这些来自浅层的特征合并在一起以形成低阶集成特征,利用低阶集成特征作为参考以获取更丰富的细节。比如,通过五层的卷积网络对待处理图像进行特征提取,由卷积网络的前三层提取得到的特征,即为低阶集成特征,由卷积网络的后两层提取得到的特征,即为高阶集成特征。

在一个实施例中,对输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图包括:对输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性特征和第一边界特征;通过卷积层对第一显著性特征和第一边界特征进行处理,得到第一显著性图和第一边界图。为了减少信息损失,在生成显著性图和边界图之前设置卷积网络,以提取32通道的显著性特征和边界特征,这些更“宽”的显著性图和边界图可以保留更多有意义的信息,以使得在循环阶段中提供更好的指导。最后,在每个循环阶段使用卷积层生成显著性图和边界图。

在一个实施例中,分别将第一显著性图和第一边界图与对应的预设真值图进行比较,得到第一比较结果包括:根据第一显著性图以及对应的显著性真值图进行交叉熵损失计算,得到第一损失值;根据第一边界图以及对应的边界真值图进行交叉熵损失计算,得到第二损失值;将第一损失值与第二损失值相加,得到第一比较结果。每个循环阶段中的引导模块将输出一个显著性图si与一个边界图bi,可将其定义为一个双流图mi=(si,bi)。交叉熵损失在元素级别的视觉任务中的使用广泛,使用该损失函数来分别计算真值图与显著性图的差异,以及真值图与边界图的差异。单个循环阶段的损失等于单个循环阶段中真值图与显著性图的差异,加上真值图与边界图的差异。总体损失l定义为所有被检测的显著性图和边界图的损失值之和:

lmi=lsi lbi

其中,lsi和lbi分别代表了第i个循环阶段中显著性物体预测和边界预测的损失值,ωi代表了每个循环阶段的权重,可以将这些权重设置为1,n代表循环次数。可以将超参数n设置为4,以保持检测精度与时间消耗之间的平衡。

本申请提出了一种循环双流细化引导网络,用于对图像进行显著性目标检测,循环双流细化引导网络如图5所示。循环双流细化引导网络包括多个双流引导细化模块,通过迭代双流引导细化模块来实现显著性目标检测,这些双流引导细化模块同时在单个网络中对显著性和边界信息进行补充。首先,从特征提取器中提取输入图像的多级特征,将提取的特征合并在一起以获得低阶集成特征和高阶集成特征,初始显著性与边界特征将由低阶集成特征生成。由于低阶集成特征可以捕获更多显著性细节,而高阶集成特征可以减少非显著性区域,因此提取低阶集成特征和高阶集成特征作为双流细化引导网络的输入。每个双流引导细化模块都包含一个引导模块,以及显著性特征流和边界特征流。然后,使用堆叠的双流引导细化模块中的显著性特征流和边界特征流逐步细化完善这些特征。在每个双流引导细化模块中,上一阶段的双流引导细化模块所生成的特征和引导模块将用于引导网络以同时考虑全局细化和边界增强。第一个引导模块由高阶集成特征的显著性特征和边界特征初始化,然后使用引导模块来逐步细化低阶集成特征。在显著性和边界特征流中,低阶集成特征和由引导模块输出的特征将被并传送至下一个引导模块。通过反复堆叠双流引导细化模块,显著性特征和边界特征将逐渐细化。同时,每个引导模块将对显著性图和边界图进行优化。最终在每个循环过程中生成显著性图和边界图,并将最后一个循环中产生的显著性图用作最终输出。

循环双流细化引导网络在每个循环过程中都使用低阶集成特征作为参考,以获取更好的细节。每个双流引导细化模块都利用一个引导模块和一个双流结构来预测显著性图和边界图。具体来说,引导模块将生成显著对象和边界的引导特征,以细化低阶特征。双流结构的设计旨在相互补充显著性特征和边界特征。

单流引导细化模块如图6所示,为了减少模型的信息损失,在生成显著性图和残差之前添加了一层卷积,以输出32通道的显著性特征。这些更宽的显著性图可以保留更多有意义的信息,以使得在循环阶段中提供更好的指导。最后,在每个循环阶段使用卷积层生成显著性图和边界图。之后,在每个循环过程中使用双流引导细化模块来完善显著性和边界特征,并采用两种类型的特征来相互增强对其它任务的预测,如图7所示,双流引导细化模块由引导模块、显著性特征流和边界特征流组成。引导模块旨在补充两个不同特征流的缺失信息,每个特征流都输出改进的低阶显著性和边界特征。

在每个循环过程中,由上一双流引导细化模块生成的显著性特征和边界特征都会在引导模块中进行细化。第一个引导模块将由高阶集成特征生成的初始显著性特征和边界特征作为输入,而其它引导模块则利用两个特征流生成的引导特征来完善这些初始特征。随着循环阶段数量的增加,引导至引导模块中的这些特征将包含越来越多的详细信息和其它任务的补充信息,因此这些详细信息和补充信息可以帮助网络生成更准确的显著性图,以及更清晰的边界图。

使用imagenet上预训练的resnext网络来初始化特征提取器的参数,并通过高斯分布初始化其它层的参数。在训练之前,将训练集中的图像大小调整为300×300,并随机裁剪、旋转和水平翻转以进行数据增强。循环双流细化引导网络建立在公共平台pytorch上,其超参数设置如下:基本学习率=0.001,栋梁参数=0.9,权重衰减=0.001,批处理大小=12。循环双流细化引导网络在一块具有11gb内存的gtx1080tigpu(graphicsprocessingunit,图像处理器)上进行训练,进行15-20k次迭代,并且仅需要4个小时来训练网络。通过sgd(stochasticgradientdescent,随机梯度下降算法)训练循环双流细化引导网络,在测试时,将每个图像调整为300×300的尺寸,然后再送入循环双流细化引导网络。在六个公开数据集上的实验结果表明,本申请提出的循环双流细化引导网络在显著性目标检测上达到了最佳性能。

应该理解的是,虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,提供了一种显著性目标检测装置,如图8所示,显著性目标检测装置包括数据获取模块802、第一处理模块804、比较模块806、第二处理模块808以及目标确定模块810。其中,数据获取模块802,用于获取待处理图像的低阶集成特征和高阶集成特征。第一处理模块804,用于将高阶集成特征和低阶集成特征作为输入特征,对输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图。比较模块806,用于分别将第一显著性图和第一边界图与对应的预设真值图进行比较,得到第一比较结果。第二处理模块808,用于当第一比较结果不满足预设条件时,根据低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果。目标确定模块810,用于当第二比较结果满足预设条件时,将当前提取处理阶段获得的显著性图作为待处理图像的输出显著性图。

在一个实施例中,第二处理模块还用于根据上一提取处理阶段获得的显著性特征和边界特征,确定当前提取处理阶段的引导特征;将当前提取处理阶段的引导特征以及低阶集成特征作为输入特征,对输入特征分别进行显著性特征和边界特征第二提取处理,得到第二显著性图和第二边界图;分别将第二显著性图和第二边界图与对应的预设真值图进行比较,得到第二比较结果。

在一个实施例中,第二处理模块还用于将上一提取处理阶段获得的显著性特征和边界特征,与当前提取处理阶段的显著性引导特征进行元素相加处理,获得当前提取处理阶段的显著性特征;将上一提取处理阶段获得的显著性特征和边界特征,与当前提取处理阶段的边界引导特征进行元素相加处理,获得当前提取处理阶段的边界特征;将当前提取处理阶段的显著性特征以及当前提取处理阶段的边界特征进行级联处理,得到当前提取处理阶段的引导特征。

在一个实施例中,数据获取模块还用于获取待处理图像;通过卷积网络对待处理图像进行特征提取,获得待处理图像的低阶集成特征和高阶集成特征。

在一个实施例中,数据获取模块还用于通过第一卷积深度的卷积网络对待处理图像进行特征提取,获得待处理图像的低阶集成特征;通过第二卷积深度的卷积网络对待处理图像进行特征提取,获得待处理图像的高阶集成特征,第二卷积深度大于第一卷积深度。

在一个实施例中,第一处理模块还用于对输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性特征和第一边界特征;通过卷积层对第一显著性特征和第一边界特征进行处理,得到第一显著性图和第一边界图。

在一个实施例中,比较模块还用于根据第一显著性图以及对应的显著性真值图进行交叉熵损失计算,得到第一损失值;根据第一边界图以及对应的边界真值图进行交叉熵损失计算,得到第二损失值;将第一损失值与第二损失值相加,得到第一比较结果。

关于显著性目标检测装置的具体限定可以参见上文中对于显著性目标检测方法的限定,在此不再赘述。上述显著性目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种显著性目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现任一实施例中显著性目标检测方法中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现任一实施例中显著性目标检测方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。


技术特征:

1.一种显著性目标检测方法,其特征在于,所述方法包括:

获取待处理图像的低阶集成特征和高阶集成特征;

将所述高阶集成特征和所述低阶集成特征作为输入特征,对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;

分别将所述第一显著性图和所述第一边界图与对应的预设真值图进行比较,得到第一比较结果;

当所述第一比较结果不满足预设条件时,根据所述低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对所述输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;

当所述第二比较结果满足所述预设条件时,将当前提取处理阶段获得的显著性图作为所述待处理图像的输出显著性图。

2.根据权利要求1所述的方法,其特征在于,所述根据所述低阶集成特征以及通过上一提取处理阶段获得的显著性特征和边界特征对所述输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果包括:

根据上一提取处理阶段获得的显著性特征和边界特征,确定当前提取处理阶段的引导特征;

将所述当前提取处理阶段的引导特征以及所述低阶集成特征作为输入特征,对所述输入特征分别进行显著性特征和边界特征第二提取处理,得到第二显著性图和第二边界图;

分别将所述第二显著性图和所述第二边界图与对应的预设真值图进行比较,得到第二比较结果。

3.根据权利要求2所述的方法,其特征在于,所述根据上一提取处理阶段获得的显著性特征和边界特征,确定当前提取处理阶段的引导特征包括:

将上一提取处理阶段获得的显著性特征和边界特征,与当前提取处理阶段的显著性引导特征进行元素相加处理,获得当前提取处理阶段的显著性特征;

将上一提取处理阶段获得的显著性特征和边界特征,与当前提取处理阶段的边界引导特征进行元素相加处理,获得当前提取处理阶段的边界特征;

将所述当前提取处理阶段的显著性特征以及所述当前提取处理阶段的边界特征进行级联处理,得到所述当前提取处理阶段的引导特征。

4.根据权利要求1所述的方法,其特征在于,所述获取待处理图像的低阶集成特征和高阶集成特征包括:

获取待处理图像;

通过卷积网络对所述待处理图像进行特征提取,获得所述待处理图像的低阶集成特征和高阶集成特征。

5.根据权利要求4所述的方法,其特征在于,所述通过卷积网络对所述待处理图像进行特征提取,获得所述待处理图像的低阶集成特征和高阶集成特征包括:

通过第一卷积深度的卷积网络对所述待处理图像进行特征提取,获得所述待处理图像的低阶集成特征;

通过第二卷积深度的卷积网络对所述待处理图像进行特征提取,获得所述待处理图像的高阶集成特征,所述第二卷积深度大于所述第一卷积深度。

6.根据权利要求1所述的方法,其特征在于,所述对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图包括:

对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性特征和第一边界特征;

通过卷积层对所述第一显著性特征和所述第一边界特征进行处理,得到第一显著性图和第一边界图。

7.根据权利要求1所述的方法,其特征在于,所述分别将所述第一显著性图和所述第一边界图与对应的预设真值图进行比较,得到第一比较结果包括:

根据所述第一显著性图以及对应的显著性真值图进行交叉熵损失计算,得到第一损失值;

根据所述第一边界图以及对应的边界真值图进行交叉熵损失计算,得到第二损失值;

将所述第一损失值与所述第二损失值相加,得到第一比较结果。

8.一种显著性目标检测装置,其特征在于,所述装置包括:

数据获取模块,用于获取待处理图像的低阶集成特征和高阶集成特征;

第一处理模块,用于将所述高阶集成特征和所述低阶集成特征作为输入特征,对所述输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;

比较模块,用于分别将所述第一显著性图和所述第一边界图与对应的预设真值图进行比较,得到第一比较结果;

第二处理模块,用于当所述第一比较结果不满足预设条件时,根据所述低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对所述输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;

目标确定模块,用于当所述第二比较结果满足所述预设条件时,将当前提取处理阶段获得的显著性图作为所述待处理图像的输出显著性图。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种显著性目标检测方法、装置、计算机设备和存储介质。一个实施例中的方法包括:获取待处理图像的低阶集成特征和高阶集成特征;将高阶集成特征和低阶集成特征作为输入特征,对输入特征分别进行显著性特征和边界特征第一提取处理,得到第一显著性图和第一边界图;分别将第一显著性图和第一边界图与对应的预设真值图进行比较,得到第一比较结果;当第一比较结果不满足预设条件时,根据低阶集成特征以及上一提取处理阶段获得的显著性特征和边界特征,对输入特征进行更新,对更新后的输入特征进行第二提取处理,得到第二比较结果;当第二比较结果满足预设条件时,将当前提取处理阶段获得的第二显著性图作为待处理图像的输出显著性图。

技术研发人员:杨超;林芳婷;蒋斌;李慧州;金晶;袁梦
受保护的技术使用者:湖南大学
技术研发日:2020.01.19
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-53323.html

最新回复(0)