本发明涉及一种面向城市河道监管的水面漂浮物自动检测方法及装置，属于人工智能、计算机视觉领域。
背景技术：
伴随着经济社会快速发展，水生态水环境问题成为群众最关注的民生议题之一。水面漂浮物的堆积不仅影响了城市的生活环境质量，也造成了水体污染及生态平衡的破坏，甚至威胁到饮用水安全。为了解决复杂的水环境问题，河长制中提出要加强水环境治理，相关部门能够对水面漂浮物情况及时报告并迅速响应，这就要求在河长制实施过程中漂浮物的检测需要智能化，不能仅仅依赖人工监管。
已有的漂浮物检测方法主要包括：背景差分法和图像分割方法。前者对环境的改变较为敏感，当背景改变时，检测精度会大大降低。后者则对提取的特征较为敏感，需要对不同的检测目标提取特定的特征，这使得该方法泛化能力较差。近年来，基于深度学习的目标检测技术在多个领域得到广泛应用，如人脸识别、车辆检测、自动驾驶技术等，并取得了较好的效果。这是由于，在卷积神经网络中输入图像通过多个卷积层和池化层进行特征提取，可以替代传统的手工设计特征，且提取的特征拥有高级的语义表达能力、特征表达能力强、鲁棒性更好，大大提高了目标检测的精度。此外，基于深度学习的目标检测技术能够实现漂浮物地实时检测，真正实现智能化监管。
技术实现要素：
发明目的：针对现有技术的不足，本发明的目的是提供一种面向城市河道监管的水面漂浮物自动检测方法及装置，以克服传统漂浮物检测方法存在的泛化能力差、检测精确度低等问题；并基于漂浮物的尺寸分布对网络模型进行改进，对网络跨特征层提取的特征进行融合，自动生成不同尺寸目标的建议区域，进一步提高漂浮物检测的精度。
技术方案：为实现上述发明目的，本发明所述的一种面向城市河道监管的水面漂浮物自动检测方法，包括如下步骤：
(1)从水面监控视频流中获取图像并基于自适应对比度进行图像的增强；
(2)对图像中的漂浮物进行标注构建网络模型训练所需的样本集，并对图像中目标检测物尺寸进行聚类得到被检测目标的尺寸分布；
(3)构建面向城市河道水面漂浮物检测的fasterr-cnn漂浮物检测模型，根据目标检测物尺寸的聚类结果中尺寸最小的两类的聚类中心及卷积神经网络模型各层的感受野大小确定与网络最后一个特征提取层融合的两个特征层，通过拼接方式融合跨特征层提取的特征；并利用聚类结果确定区域建议网络锚框大小及长宽比，自动生成不同尺寸目标的建议区域；
(4)通过预训练得到的网络权重值，对改进的fasterr-cnn漂浮物检测模型参数初始化，基于步骤(2)得到的样本集通过迭代法优化调整模型参数，最终利用优化后的网络参数实现城市河道水面漂浮物的实时在线自动检测。
进一步地，所述步骤(1)包括：
(11)在摄像机中设置图像提取时间间隔对视频流进行视频帧截取，设置每隔时间
(12)对步骤(11)所获取的图像集利用自适应对比度增强，使漂浮物在光照复杂的情况下更突出；具体算法如下：
图像中每个像素点表示为x(i,j)，以x(i,j)为中心，在窗口大小为(2 1)*(2 1)的区域内，分别计算局部均值和方差：
则像素点x(i,j)对应的自适应增强后的像素值为：
其中，d为常数，σx(i,j)为局部均方差。
进一步地，所述步骤(2)中通过k-means聚类分析被检测目标的尺寸分布，得到漂浮物尺寸分类结果；每类的聚类中心为(x,y)，x和y分别表示目标的长和宽。
进一步地，所述步骤(3)中构建的fasterr-cnn漂浮物检测模型的网络结构包括特征提取模块、区域建议网络rpn模块及目标检测与回归模块；具体构建步骤包括：
(31)计算网络中特征提取模块各层感受野的大小，感受野计算公式为：
其中，rfi为第i层的感受野，rfi-1为第i-1层的感受野，stridep为第p层的步长，ksizei为第i层卷积核的大小；
(32)根据感受野与目标尺寸匹配的原则确定融合的特征层，在步骤(2)确定的漂浮物尺寸的聚类结果中，选择尺寸最小两类的聚类中心，根据其与计算所得的网络各层感受野尺寸接近的原则，确定与特征提取模块最后一层进行融合的卷积层第a层和第b层，其中a<b；
(33)保持中间层b层的特征图大小不变，对a层特征进行下采样，同时利用双线性插值法对最后一层特征进行上采样，使他们与b层特征图大小相同；分别对三层的特征进行批归一化操作，并采用relu激活函数进行非线性变换；采用拼接的方式进行特征融合，即特征的通道数增加，并通过1×1的卷积操作进行特征降维，得到最终融合后的新特征；
(34)根据步骤(2)聚类分析结果，确定rpn网络模块在每个像素点生成的锚框大小分为k类，锚框的长宽比分为k类，从而能提升不同尺寸漂浮物的检测效果；k为聚类个数；
(35)将步骤(33)提取的特征与步骤(34)rpn网络生成的建议区域进行匹配，经过roi池化层和全连接层得到最终区域内的漂浮物分类得分及回归后的漂浮物目标定位。
进一步地，所述步骤(4)包括：
(41)利用imagenet数据集进行预训练得到一组网络权重值，作为改进的fasterr-cnn的漂浮物检测模型网络权重的初始化参数；基于初始化参数及改进的fasterr-cnn的漂浮物检测模型采用迭代法优化网络模型的权重参数；
(42)利用优化后的网络模型和iou值实现检测及目标框标注，根据经验设定iou的阈值，并根据网络模型输出结果对检测目标进行矩形框标注；iou为真实框与预测框的交并比，即：
其中，gt表示真实框，dr表示预测框。
基于相同的发明构思，本发明所述的一种面向城市河道监管的水面漂浮物自动检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的面向城市河道监管的水面漂浮物自动检测方法。
有益效果：本发明提供的一种面向城市河道监管的水面漂浮物自动检测方法，一方面，相对于传统的漂浮物检测方法，该方法具有较强的泛化能力和鲁棒性，对于光照、遮挡、尺度、背景干扰等具有较强的抗干扰能力，在复杂的自然场景下同样具有较高的检测精度；另一方面，改进的fasterr-cnn网络模型提高了不同尺度漂浮物的检测精度，进一步提高了模型检测效果。同时也可以实现漂浮物的自动检测，从而促进城市河道的自动监管，对河长制有很好的支撑作用。
附图说明
为了使本发明的内容更容易被理解，结合附图对本发明作进一步详细的说明，其中：
图1为本发明的漂浮物检测过程示意图；
图2为本发明的改进的fasterr-cnn网络结构图；
图3为本发明的跨层提取的特征融合过程图。
具体实施方式
下面结合具体实施例和附图，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明实施例公开的一种面向城市河道监管的水面漂浮物自动检测方法，主要包括如下步骤：
步骤一、基于自适应对比度增强的图像数据集自动提取；本步骤中从水面监控视频流中获取图像并基于自适应对比度进行图像的增强，具体包括如下步骤：
(11)在摄像机中设置图像提取时间间隔对视频流进行视频帧截取，如若摄像机的视野范围为a×a，监控区域水流速度为v，则设置每隔时间
(12)对所获取的图像集利用自适应对比度增强，使漂浮物在光照复杂的情况下更突出。具体算法如下：
图像中每个像素点表示为x(i,j)，以x(i,j)为中心，窗口大小为(2n 1)*(2 1)的区域内，分别计算局部均值和方差：
则像素点x(i,j)对应的增强后的像素值表示为：
其中，d为常数，σx(i,j)为局部均方差。利用该自适应增强方法，使得图像的高频区域，局部均方差较大；在图像平滑的区域，局部均方差较小；最终达到自适应对比度增强效果。
步骤二、对样本集进行标注并对目标检测物尺寸进行聚类分析；
对图像中的漂浮物进行标注构建网络模型训练所需的样本集，并对图像中目标检测物尺寸进行聚类得到被检测目标的尺寸分布。如我们根据水利工程中北京某水库的视频信息获得漂浮物的尺寸，通过k-means聚类分析被检测漂浮物的尺寸分布，确定漂浮物尺寸可分为4类，每类的聚类中心分别{(35,17),(78,23),(133,35),(245,141)}。
步骤三、构建基于改进的fasterr-cnn的漂浮物检测模型；
如图2所示，为改进的fasterr-cnn漂浮物检测模型架构，网络结构包括特征提取模块、区域建议网络(rpn)模块及目标检测与回归模块。相比于fasterr-cnn主要改进内容包括：特征提取模块中实现跨层提取的特征的融合，利用融合特征生成目标建议区域；rpn模块中通过k-means聚类分析目标尺寸分布，调整锚点窗口设置。具体构建步骤包括：
(31)计算vgg16网络中特征提取模块各层感受野的大小，感受野计算公式为：
其中，rfi为第i层的感受野，rfi-1为第i-1层的感受野，stridep为第p层的步长，ksizei为第i层卷积核的大小。
(32)根据感受野与目标尺寸匹配的原则确定融合的特征层。在步骤(2)确定的漂浮物尺寸的k类中，选择尺寸最小两类的聚类中心，根据其与计算所得的vgg16网络各层感受野尺寸接近的原则，确定与vgg16最后一层conv5_3融合的卷积层第a层和第b层(a<b)。
(33)为了融合前述卷积层的特征，首先，保持中间层b层的特征图大小不变，对a层特征进行下采样，同时利用双线性插值法对conv5_3层特征进行上采样，使他们与b层特征图大小相同。其次分别对三层的特征进行批归一化操作，并采用relu激活函数进行非线性变换。最后，采用拼接的方式进行特征融合，即特征的通道数增加，并通过1×1的卷积操作进行特征降维，得到最终融合后的新特征。本例中选择conv3_3和conv4_3与cov5_3进行融合。
(34)rpn模块依据漂浮物尺寸大小分布设置锚框大小及长宽比。根据步骤(22)聚类分析结果，确定rpn网络模块在每个像素点生成的锚框大小分为k类，锚框的长宽比分为k类，从而能提升不同尺寸漂浮物的检测效果。本例中锚框大小设置为{322,642,1282,2562}，长宽比设置为{2:1,5:2,4:1,3:2}。
(35)将步骤(33)提取的特征与步骤(34)rpn网络生成的建议区域进行匹配，经过roi池化层和全连接层得到最终区域内的漂浮物分类得分及回归后的漂浮物目标定位。
步骤四、通过迭代优化方式训练网络模型并利用训练后的模型实时检测漂浮物；具体包括如下步骤：
(41)利用imagenet数据集进行预训练得到一组网络权重值，作为改进的fasterr-cnn的漂浮物检测模型网络权重的初始化参数。基于初始化参数及改进的fasterr-cnn的漂浮物检测模型采用迭代法优化网络模型的权重参数；
(42)利用优化后的网络模型和iou值实现检测及目标框标注，根据经验设定iou的阈值，并根据网络模型输出结果对检测目标进行矩形框标注。例如设定iou≥0.5。iou为真实框与预测框的交并比，即：
其中，gt表示真实框，dr表示预测框。
基于相同的发明构思，本发明实施例公开的一种面向城市河道监管的水面漂浮物自动检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的面向城市河道监管的水面漂浮物自动检测方法。
1.一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，包括如下步骤：
(1)从水面监控视频流中获取图像并基于自适应对比度进行图像的增强；
(2)对图像中的漂浮物进行标注构建网络模型训练所需的样本集，并对图像中目标检测物尺寸进行聚类得到被检测目标的尺寸分布；
(3)构建面向城市河道水面漂浮物检测的fasterr-cnn漂浮物检测模型，根据目标检测物尺寸的聚类结果中尺寸最小的两类的聚类中心及卷积神经网络模型各层的感受野大小确定与网络最后一个特征提取层融合的两个特征层，通过拼接方式融合跨特征层提取的特征；并利用聚类结果确定区域建议网络锚框大小及长宽比，自动生成不同尺寸目标的建议区域；
(4)通过预训练得到的网络权重值，对改进的fasterr-cnn漂浮物检测模型参数初始化，基于步骤(2)得到的样本集通过迭代法优化调整模型参数，最终利用优化后的网络参数实现城市河道水面漂浮物的实时在线自动检测。
2.根据权利要求1所述的一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，所述步骤(1)包括：
(11)在摄像机中设置图像提取时间间隔对视频流进行视频帧截取，设置每隔时间
(12)对步骤(11)所获取的图像集利用自适应对比度增强，使漂浮物在光照复杂的情况下更突出；具体算法如下：
图像中每个像素点表示为x(i，j)，以x(i，j)为中心，在窗口大小为(2n 1)*(2n 1)的区域内，分别计算局部均值和方差：
则像素点x(i，j)对应的自适应增强后的像素值为：
其中，d为常数，σx(i，j)为局部均方差。
3.根据权利要求1所述的一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，所述步骤(2)中通过k-means聚类分析被检测目标的尺寸分布，得到漂浮物尺寸分类结果；每类的聚类中心为(x，y)，x和y分别表示目标的长和宽。
4.根据权利要求1所述的一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，所述步骤(3)中构建的fasterr-cnn漂浮物检测模型的网络结构包括特征提取模块、区域建议网络rpn模块及目标检测与回归模块；具体构建步骤包括：
(31)计算网络中特征提取模块各层感受野的大小，感受野计算公式为：
其中，rfi为第i层的感受野，rfi-1为第i-1层的感受野，stridep为第p层的步长，ksizei为第i层卷积核的大小；
(32)根据感受野与目标尺寸匹配的原则确定融合的特征层，在步骤(2)确定的漂浮物尺寸的聚类结果中，选择尺寸最小两类的聚类中心，根据其与计算所得的网络各层感受野尺寸接近的原则，确定与特征提取模块最后一层进行融合的卷积层第a层和第b层，其中a＜b；
(33)保持中间层b层的特征图大小不变，对a层特征进行下采样，同时利用双线性插值法对最后一层特征进行上采样，使他们与b层特征图大小相同；分别对三层的特征进行批归一化操作，并采用relu激活函数进行非线性变换；采用拼接的方式进行特征融合，即特征的通道数增加，并通过1×1的卷积操作进行特征降维，得到最终融合后的新特征；
(34)根据步骤(2)聚类分析结果，确定rpn网络模块在每个像素点生成的锚框大小分为k类，锚框的长宽比分为k类，从而能提升不同尺寸漂浮物的检测效果；k为聚类个数；
(35)将步骤(33)提取的特征与步骤(34)rpn网络生成的建议区域进行匹配，经过roi池化层和全连接层得到最终区域内的漂浮物分类得分及回归后的漂浮物目标定位。
5.根据权利要求1所述的一种面向城市河道监管的水面漂浮物自动检测方法，其特征在于，所述步骤(4)包括：
(41)利用imagenet数据集进行预训练得到一组网络权重值，作为改进的fasterr-cnn的漂浮物检测模型网络权重的初始化参数；基于初始化参数及改进的fasterr-cnn的漂浮物检测模型采用迭代法优化网络模型的权重参数；
(42)利用优化后的网络模型和iou值实现检测及目标框标注，根据经验设定iou的阈值，并根据网络模型输出结果对检测目标进行矩形框标注；iou为真实框与预测框的交并比，即：
其中，gt表示真实框，dr表示预测框。
6.一种面向城市河道监管的水面漂浮物自动检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的面向城市河道监管的水面漂浮物自动检测方法。
技术总结