本发明涉及图像识别技术领域,尤其是一种自动初始轮廓生成的水平集高原鼠兔图像分割方法。
背景技术:
高原鼠兔图像分割是对高原鼠兔进行目标跟踪、密度估计、行为分析等研究的基础,对研究高原鼠兔的生活习性,有效掌握高原鼠兔的种群变化,防治高原鼠兔对生态环境的破坏等方面具有重要的意义。
在自然场景下,高原鼠兔图像具有背景复杂、灰度不均、噪声大、边缘对比度低的特点,这对高原鼠兔图像的分割带来了很大的挑战。现有的高原鼠兔图像分割采用水平集方法。水平集模型分为基于边缘的水平集模型、基于区域的水平集模型两大类。基于边缘的水平集模型利用图像梯度信息对图像进行分割,因此在弱边缘或噪声图像中分割效果不佳;基于区域的水平集模型不再依赖于图像的梯度信息,而是依赖于图像区域信息,所以在弱边缘或噪声图像中分割效果较好。常见的基于区域的水平集方法有chan_vese模型、lbf模型、rsf模型等,但这些方法都需要手动标记初始轮廓,水平集初始轮廓的位置会严重影响图像分割的性能。
针对传统水平集方法中初始轮廓无法自动生成的问题,近年来有许多解决方法被相继提出,白雪飞等提出了一种利用图像先验形状自适应的定义初始轮廓,但是该方法无法精确定位复杂背景图像中的目标;郭海涛等提出一种利用四叉树的方法来确定目标初始轮廓,但该方法只适用于正方形图像;张爱华等提出了一种利用视频序列的时域信息,采用背景减法确定目标初始轮廓的方法,但该方法利用了序列时域信息,而静态图像不具有时域信息;yiweiliu等运用模糊连接算法来获取目标的初始轮廓,但该方法的分割性能严重依赖于模糊连接的结果;rukhminiroy等利用segnet网络进行粗分割,再利用水平集进行细分割的方法完成了对肺部图像的分割,利用粗分割阶段输出的种子点作为水平集的初始轮廓,但该方法的分割结果严重依赖于粗分割阶段的结果。
深度学习具有强大的学习能力,在自动提取目标特征、多层次特征表示上具有极大的优势。基于深度学习的目标检测方法通过提取目标高级特征,提高了检测精度;到目前为止,已经有很多基于深度学习的目标检测方法,其中著名的有rcnn、fast-rcnn、faster-rcnn等,faster-rcnn与其它两种方法相比,具有计算速度更快、检测精度更高等优点。
技术实现要素:
本发明提供一种基于faster-rcnn的目标检测网络自动确定目标初始轮廓的方法,以此来克服水平集图像分割方法需要手动标记初始轮廓的问题。
一种自动初始轮廓生成的水平集高原鼠兔图像分割方法,首先采用基于faster-rcnn的目标检测网络进行目标检测,再将检测得到的目标框作为水平集的初始轮廓,运用水平集方法对图像进行分割。
具体包括以下步骤:
1、收集大量高原鼠兔图像,并分为训练集和测试集两部分;
2、构建基于faster-rcnn的目标检测网络;
3、利用训练集对目标检测网络进行网络训练;
4、用训练好的目标检测网络对测试集进行目标检测,获取包含目标区域框的图像;
5、对包含目标区域框的图像进行预处理;
6、把包含目标区域的检测框作为水平集的初始轮廓,运用水平集方法对图像进行分割,获取图像分割结果。
进一步的,所述步骤5的预处理是指对高原鼠兔图像进行形态学滤波,消除背景中的细密纹理及由噪声引起的干扰,增强目标的边缘;
进一步的,所述步骤6具体包括以下步骤:
步骤6.1,将预处理后的图像与拉普拉斯算子卷积;
步骤6.2,计算演化曲线内外灰度均值;
步骤6.3,判断演化曲线是否收敛,若没有收敛,跳转至步骤6.1,若收敛,输出分割结果。
本发明首先采用基于faster_rcnn的目标检测网络对高原鼠兔进行检测,确定目标位置,然后以检测的目标位置作为水平集的初始轮廓,使用水平集模型完成高原鼠兔图像的分割,解决传统水平集图像分割方法初始轮廓的自动生成问题,且分割性能与手动标记初始轮廓的水平集图像分割方法相近。
附图说明
图1为本发明网络结构图;
图2为本发明具体流程图;
图3为拉普拉斯算子示意图;
图4为本发明方法与手动标记方法的衡量指标对比图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
一种自动初始轮廓生成的水平集高原鼠兔图像分割方法,如图1所示,首先采用基于faster-rcnn的目标检测网络进行目标检测,再将检测得到的目标框作为水平集图像分割方法的初始轮廓,运用水平集图像分割方法对图像进行分割。
具体流程如图2所示,包括以下步骤:
1、收集大量高原鼠兔图像,采集到的图像具有背景复杂、灰度分布不均、特征不显著、目标与背景对比度小等特点。本实施例采用与pascalvoc数据集格式一致的数据集,并将其分为训练集和测试集两部分。
2、构建基于faster-rcnn的目标检测网络。
卷积特征提取部分,w和h分别代表输入图像的宽度和高度,w和h分别代表特征图和卷积图的大小,它们满足关系h=16*h,w=16*w;数字2和4代表并列卷积层的通道数。
对包含前景目标的参考候选区域框,在中间卷积层后设置一个与分类层并行的回归网络,用于修正候选区域框。回归网络对每个候选区域框输出四个回归系数,分别为
3、利用训练集对目标检测网络进行网络训练,采用的损失函数为
4、用训练好的目标检测网络对测试集进行目标检测,将检测出的疑似目标区域的候选框通过池化层和全连接层进一步提取目标特征,通过回归、类别预测得到真正的目标区域,并返回候选区域框的位置坐标,获取包含目标区域框的图像。
5、对包含目标区域框的图像进行形态学滤波,消除背景中的细密纹理及由噪声引起的干扰,增强目标的边缘。
6、利用水平集图像分割算法输出图像分割结果。
cv模型是将图像分为两个均值区域,即目标区域与背景区域,利用两个区域的差异性对图像进行分割。cv模型能量泛函
l(c)和a(c)分别为长度项和面积项,代表内部能量项,用于保证演化曲线的平滑;后两项为外部能量约束项,用于保证曲线演化到目标边缘;μ,ν,λ1,λ2为相应项的权重系数,且都大于0。
使用零水平集函数
其中,
为了克服传统cv模型不能分割灰度分布不均图像的问题,将原始图像与拉普拉斯算子进行卷积,所用拉普拉斯算子如图3所示,以突出目标边缘,抑制灰度不均匀性;将全局
改进后的δ1函数
改进后的h1函数
改进cv模型的能量泛函
通过梯度下降法得到上式的演化方程式
由此得到水平集的演化公式
当水平集函数停止演化时,曲线演化到目标的边缘,就完成了对目标的分割。
所述步骤6具体包括以下步骤:
⑴将预处理后的图像与拉普拉斯算子卷积;
⑵计算演化曲线内外灰度均值;
⑶判断演化曲线是否收敛,若没有收敛,跳转至步骤⑴,若收敛,输出分割结果。
验证:
由深度学习自动生成目标初始轮廓的水平集图像分割方法使用800张高原鼠兔图像作为训练集,330张高原鼠兔图像作为测试集。经过1000次迭代,模型拟和训练数据,训练结束;经过100次训练之后,检测精度趋于稳定,得到330张包含目标位置信息的图像。选取310张检测结果正确包含目标区域的图像进行实验结果分析。
将由深度学习自动生成目标初始轮廓的水平集图像分割方法与手动标记初始轮廓的水平集图像分割方法进行对比分析。手动标记的初始轮廓在目标外部,尽可能包含多的目标区域和少的背景区域。水平集模型中的参数设置为μ=1,λ1=λ2=1,α=1.5。图4为由深度学习自动生成目标初始轮廓的水平集图像分割方法与手动标记初始轮廓的水平集图像分割方法分割得到的相似性指数(dsc)、过分割率(fpvf)、欠分割率(fnvf)、jaccard分割指数(j)的对比图。从图4中可以看出,由深度学习自动生成目标初始轮廓的水平集图像分割方法与手动标记初始轮廓的水平集图像分割方法的dsc、fpvf、fnvf、j值分布在总体上来说是相近的,说明两种方法的分割性能相近。
显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
1.一种自动初始轮廓生成的水平集高原鼠兔图像分割方法,其特征在于,首先采用基于faster-rcnn的目标检测网络进行目标检测,再将检测得到的目标框作为水平集的初始轮廓,运用水平集方法对图像进行分割。
2.根据权利要求1所述的自动初始轮廓生成的水平集高原鼠兔图像分割方法,其特征在于,具体包括以下步骤:
步骤1,收集大量高原鼠兔图像,并分为训练集和测试集两部分;
步骤2,构建基于faster-rcnn的目标检测网络;
步骤3,利用训练集对目标检测网络进行网络训练;
步骤4,用训练好的目标检测网络对测试集进行目标检测,获取包含目标区域框的图像;
步骤5,对包含目标区域框的图像进行预处理;
步骤6,预处理后的包含目标区域框的图像作为水平集的初始轮廓,运用水平集方法对图像进行分割,获取图像分割结果。
3.根据权利要求2所述的自动初始轮廓生成的水平集高原鼠兔图像分割方法,其特征在于,所述步骤5的预处理是指对高原鼠兔图像进行形态学滤波,消除背景中的细密纹理及由噪声引起的干扰,增强目标的边缘。
4.根据权利要求2所述的自动初始轮廓生成的水平集高原鼠兔图像分割方法,其特征在于,所述步骤6具体包括以下步骤:
步骤6.1,将预处理后的图像与拉普拉斯算子卷积;
步骤6.2,计算演化曲线内外灰度均值;
步骤6.3,判断演化曲线是否收敛,若没有收敛,跳转至步骤6.1,若收敛,输出分割结果。
技术总结