本发明涉及图像处理技术领域，尤其涉及一种基于初始标注点指导的图像交互分割方法。
背景技术：
图像交互分割的目的是通过用户交互的方式，将一张图片中的目标物体分割出来；通常情况下，用户通过点击设置一些前景和背景的标注点来得到分割结果；该技术在图像编辑，图像标注等领域有着广泛的应用。
近年来，由于深度学习在图像分割任务上的强大能力，2016年以来大多数方法都使用神经网络来进行图像的交互分割；新加坡国立大学的liew等人提出了基于标注点对的局部区域图像分割方法，使分割结果能在物体局部达到更好的效果；首尔大学的song等人通过强化学习，使计算机生成更多的模拟标注点进行分割；英特尔实验室的li等人为了解决交互分割过程中存在的二义性问题，提出了使用神经网络生成多个分割结果，再使用另一个神经网络进行选择的方法；拉夫堡大学的hu等人设计了一个两路神经网络，来达到更好的分割质量；哈佛大学的jang等人提出了一种特殊的反向传播策略，强制标注点像素得到正确的分割结果来修正初始标注点信息，以此来达到更好的分割质量；波恩大学的majumder等人提出了使用标注点来生成特殊的指导图，如通过超像素生成物体推荐指导图，通过将这些特殊的指导图输入神经网络，来获得最终的分割结果；以上这些方法都存在一个共性，但他们都选择将所有的标注点信息整体对待，对于每一个标注点，他们的对待方式是同等的；但是，由于用户在交互分割过程中，每一次交互分割的标注点都是基于上一次交互分割的结果而设置的，而初始交互点所提供的信息尤为重要，它不仅提供了物体的整体信息，还指示了目标物体的位置信息等；因此，将初始标注点区别对待则显得尤为重要。
技术实现要素：
本发明的目的在于提供一种基于初始标注点指导的图像交互分割方法，以解决上述背景技术中提出的现有的这些方法都存在一个共性，但他们都选择将所有的标注点信息整体对待，对于每一个标注点，他们的对待方式是同等的问题。
为了实现以上目的，本发明采用的技术方案为：一种基于初始标注点指导的图像交互分割方法，步骤如下；
s10全局标注点特征提取、s20初始标注点指导、s30两类特征融合预测、s40基于全局标注点损失函数监督、s50结构保持性策略处理物体预测图。
进一步的，所述s10全局标注点特征提取：使用所有的前景标注点和背景标注点作为输入信息，指导多层卷积神经网络提取输入图像特征。
进一步的，所述s20初始标注点指导：将初始标注点作为额外输入，与全局标注点分割的主干网络的低层次特征融合，提取目标物体主体信息，使用基于初始标注点的损失函数进行约束监督。
进一步的，所述s30两类特征融合预测：将全局标注点得到的特征和初始标注点得到的特征融合，通过多尺度卷积模块，并联合底层特征修正较高层级的分割图，以此得到最终的预测结果。
进一步的，所述s40基于全局标注点损失函数监督：使用基于用户所有标注点的损失函数来对预测结果图进行监督，通过目标物体分割图像与人工标注的参考图像的计算对应损失值，进行梯度回传、更新网络。
进一步的，所述s50结构保持性策略处理物体预测图：使用基于连通性的结构保持性策略对二值分割后的预测图像进行处理，消除与前景标注点不连通的许多错误区域。
进一步的，所述初始标注点信息为基于用户第一次点击生成的高斯点图。
进一步的，所述将主干分割网络的底层特征与初始标注点信息融合，经过卷积的特征再融入主干分割网络中。
进一步的，所述使用基于初始标注点的损失函数来监督初始标注点的指导分割支路网络。
进一步的，所述使用基于全局所有标注点的损失函数来监督神经网络的最终输出结果。
进一步的，所述使用特殊的基于连通性的结构保持性策略对二值分割后的预测图像进行处理。
本发明的有益效果为：
本发明的目的是使用户交互生成的标注点能更加有效地利用初始标注点信息来得到精细的图像分割结果，因此设计了一种基于初始标注点指导的图像交互分割方(fcanet)，本发明提出的fcanet通过将初始标注点作为额外的监督指导，分割出的目标物体具有更少的错误区域，能容忍用户存在一些错误的交互操作；经实验，本发明在公开的5个数据集上均超越最前沿的图像交互分割方法。
附图说明
图1为一种基于初始标注点指导的图像交互分割方法的流程结构示意图。
图2为一种基于初始标注点指导的图像交互分割方法的fcanet方法的流程结构示意图。
图3为一种基于初始标注点指导的图像交互分割方法的fcanet方法的具体实施框架结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案，下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。
如图1-图3所示，本发明的具体结构为：一种基于初始标注点指导的图像交互分割方法，步骤如下；
s10全局标注点特征提取、s20初始标注点指导、s30两类特征融合预测、s40基于全局标注点损失函数监督、s50结构保持性策略处理物体预测图。
优选的，所述s10全局标注点特征提取：使用所有的前景标注点和背景标注点作为输入信息，指导多层卷积神经网络提取输入图像特征。
优选的，所述s20初始标注点指导：将初始标注点作为额外输入，与全局标注点分割的主干网络的低层次特征融合，提取目标物体主体信息，使用基于初始标注点的损失函数进行约束监督。
优选的，所述s30两类特征融合预测：将全局标注点得到的特征和初始标注点得到的特征融合，通过多尺度卷积模块，并联合底层特征修正较高层级的分割图，以此得到最终的预测结果。
优选的，所述s40基于全局标注点损失函数监督：使用基于用户所有标注点的损失函数来对预测结果图进行监督，通过目标物体分割图像与人工标注的参考图像的计算对应损失值，进行梯度回传、更新网络。
优选的，所述s50结构保持性策略处理物体预测图：使用基于连通性的结构保持性策略对二值分割后的预测图像进行处理，消除与前景标注点不连通的许多错误区域。
优选的，所述初始标注点信息为基于用户第一次点击生成的高斯点图。
优选的，所述将主干分割网络的底层特征与初始标注点信息融合，经过卷积的特征再融入主干分割网络中。
优选的，所述使用基于初始标注点的损失函数来监督初始标注点的指导分割支路网络。
优选的，所述使用基于全局所有标注点的损失函数来监督神经网络的最终输出结果。
优选的，所述使用特殊的基于连通性的结构保持性策略对二值分割后的预测图像进行处理。
参考图1和图2，本发明提出的fcanet模型由全局标注点特征提取，初始标注点指导，两类特征融合预测，基于全局标注点损失函数监督，结构保持性策略处理物体预测图这五个步骤完成，具体实施过程如下：
1.全局标注点特征提取
将用户的标注点数据生成全局标注点图(分为前景标注点图和背景标注点图)，将这些标注点图与原始图像拼接，使用神经网络提取图像特征，可选地，可以使用resnet-101等基础模型；第i层级的图像特征为fi；在本发明的具体实现中，f5为图像的高层语义特征，f2为图像的底层特征。
2.初始标注点指导
将通过用户的标注点数据生成的初始标注点图，与图像底层特征f2拼接，使用一个卷积组生成基于初始标注点的高层语义特征fs，将特征输入回主干分割网络；通过1×1卷积将该高层语义特征降维至单通道，使用使用基于初始标注点的损失函数进行约束监督；假设人工标注的参考图像为g，初始标注点为a，d(p，a)为点p到点a的距离，yp为p点对应的预测值，max(m，n)为取m和n的最大值；则该损失函数lfirst如下：
3.两类特征融合预测
将全局标注点生成的高层特征f5和初始标注点生成的高层特征fs拼接，通过一个多尺度的空洞卷积模块，该模块由四个并行的空洞卷积组成，空洞卷积尺寸分别为1，4，8，12；将四层空洞卷积得到的结果拼接，卷积得到的尺寸与底层图像特征f2融合，最后由卷积得到最终的分割结果。
4.基于全局标注点损失函数监督
对于神经网络的预测图像，我们采用基于所有前景标注点和背景标注点的损失函数来进行监督，以期望得到更好的分割结果；假设人工标注的参考图像中的前景点为gp，背景点为gn，用户交互标注点中的前景点为
ap，背景点为an，
5.结构保持性策略处理物体预测图
对于最终的预测结果，我们采用结构保持性策略进行处理，如果预测图中某一前景像素，不存在一条八联通的通路到达任意一个前景标注点，则我们将其预测值置为背景像素；经过该处理后，预测结果中会减少一些错误区域的存在。
本发明的效果通过以下仿真实验进一步说明：
表1展示了本发明(fcanet)在grabcut、berkeley、davis、mscoco和pascal_voc数据集上与其他11个图像交互分割方法的对比实验；该实验选用平均交互点数(noc)作为评测指标，其表示该数据上的每个实例达到指定交并比(iou)所需要的平均交互点数；结果如下：
表1
可以看到本发明(fcanet)取得了最优的效果。
本实例没有详细说明的部分属于本领域公共所知的常识，这里不一一赘述。以上所具体采用的实施网络(resnet-101等)仅仅用于对发明的举例说明，并不是对本发明的保护范围的限定，凡是和本发明相似或相同的设计均属于本发明的保护范围
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。
1.一种基于初始标注点指导的图像交互分割方法，其特征在于：步骤如下；
s10全局标注点特征提取、s20初始标注点指导、s30两类特征融合预测、s40基于全局标注点损失函数监督、s50结构保持性策略处理物体预测图。
2.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述s10全局标注点特征提取：使用所有的前景标注点和背景标注点作为输入信息，指导多层卷积神经网络提取输入图像特征。
3.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述s20初始标注点指导：将初始标注点作为额外输入，与全局标注点分割的主干网络的低层次特征融合，提取目标物体主体信息，使用基于初始标注点的损失函数进行约束监督。
4.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述s30两类特征融合预测：将全局标注点得到的特征和初始标注点得到的特征融合，通过多尺度卷积模块，并联合底层特征修正较高层级的分割图，以此得到最终的预测结果。
5.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述s40基于全局标注点损失函数监督：使用基于用户所有标注点的损失函数来对预测结果图进行监督，通过目标物体分割图像与人工标注的参考图像的计算对应损失值，进行梯度回传、更新网络。
6.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述s50结构保持性策略处理物体预测图：使用基于连通性的结构保持性策略对二值分割后的预测图像进行处理，消除与前景标注点不连通的许多错误区域。
7.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述初始标注点信息为基于用户第一次点击生成的高斯点图。
8.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述将主干分割网络的底层特征与初始标注点信息融合，经过卷积的特征再融入主干分割网络中。
9.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述使用基于初始标注点的损失函数来监督初始标注点的指导分割支路网络。
10.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述使用基于全局所有标注点的损失函数来监督神经网络的最终输出结果。
11.根据权利要求1所述的一种基于初始标注点指导的图像交互分割方法，其特征在于：所述使用特殊的基于连通性的结构保持性策略对二值分割后的预测图像进行处理。
技术总结