本发明涉及数据处理技术领域,尤其涉及一种扔杂物识别算法、系统、服务器及介质。
背景技术:
基于视频的动作识别一般是从动作本身作为识别切入点进行算法设计。而丢杂物这个动作由于肢体的多样表达性,很难从动作本身捕捉识别,例如在走路时随手扔杂物到地面的微小的动作。对于工厂、商场等对地面环境严格要求的场所,如何侧面通过其它方式识别丢杂物的问题亟待解决。
技术实现要素:
本发明的目的在于提供一种扔杂物识别算法、系统、服务器及介质,基于视频进行识别,通过杂物本身特性,从出现在视频中到稳定存在视频中的过程侧面作为杂物识别的依据,具有不需要模型训练,误识别率低,良好的遮挡鲁棒性,应用面广的特点。
为实现上述目的,第一方面,本发明实施例提供了一种扔杂物识别算法,包括:
获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg;
基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1;
对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像;
获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值;
若小于第二阈值,则认定为杂物,保留视频片段,输出提示信息至终端。
在一实施方式中,基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1,具体包括:
获取当前为彩色图像的帧转化为灰度图,得到前景图像fg;
获取前景图像fg和背景图像bg做差的绝对值的矩阵运算得到第一纹理差异图像diff1。
在一实施方式中,对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像,具体包括:
获取第一纹理差异图像diff1中大于第一阈值的像素设置为255,小于或等于第一阈值的像素设置为0,得到二值图;
获取二值图的轮廓区域面积,判断是否小于第三阈值;
若是,则得到预选项杂物区域;
若否,则获取做背景差的第一次数。
在一实施方式中,获取做背景差的第一次数之后,所述算法还包括:
判断做背景差的第一次数是否超过预设次数;
若超过,则认定不是杂物;
若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
在一实施方式中,获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg之后,所述算法还包括:
判断所述数据帧是否为空;
若是,则控制结束对应进程;
若否,则基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1。
在一实施方式中,获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值,具体还包括:
若大于或等于第二阈值,则获取做背景差的第二次数,判断第二次数是否超过预设次数;
若超过,则认定不是杂物;
若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
第二方面,本发明实施例提供了一种扔杂物识别系统,包括用于执行上述第一方面的所述扔杂物识别算法的模块。
第三方面,本发明实施例提供了一种服务器,包括处理器、通信接口和存储器,所述处理器、所述通信接口和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面所述的扔杂物识别算法。
第四方面,本发明实施例提供了一种介质,所述介质中存储有指令,当所述指令在计算机上运行时,使计算机执行上述第一方面所述的扔杂物识别算法。
第五方面,本发明实施例提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使计算机执行上述第一方面所述的扔杂物识别算法。
本发明的一种扔杂物识别算法、系统、服务器及介质,通过基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg;基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1;对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域;获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值;若小于第二阈值,则认定为杂物,保留视频片段。实现相比单帧识别杂物而言,具有不需要模型训练,误识别率低的特点,且算法本身具有良好的遮挡鲁棒性,应用面广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种扔杂物识别算法的流程示意图;
图2是本发明实施例提供的一种扔杂物识别算法的具体流程示意图;
图3是本发明实施例提供的一种扔杂物识别系统的结构示意图;
图4是本发明实施例提供的一种服务器的结构示意图;
图5是本发明实施例提供的不是杂物的识别过程示意图;
图6是本发明实施例提供的是杂物的识别过程示意图;
图中:300-扔杂物识别系统、301-获取模块、302-处理模块、303-判断模块、400-服务器、401-处理器、402-通信接口、403-存储器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
请参阅图1,图1是本发明实施例提供的一种扔杂物识别算法的流程示意图。具体的,所述扔杂物识别算法可以包括以下步骤:
s101、获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg。
请参阅图2,本发明实施例中,所述数据帧就是数据链路层的协议数据单元,它包括三部分:帧头,数据部分,帧尾。其中,帧头和帧尾包含一些必要的控制信息,比如同步信息、地址信息、差错控制信息等;数据部分则包含网络层传下来的数据,比如ip数据包等等。判断所述数据帧是否为空;若是,则控制结束对应进程;若否,则基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1。避免占用程序,节省空间。
背景建模又称为背景估计,其通过多帧图像之间关系,构建出一幅背景图像。构建背景图像主要目的是根据当前的估计背景,把对视频帧图像中运动目标检测问题转化为二分类问题,将所有像素归为背景或运动前景两类。新入画面的杂物属于前景,但随着杂物停留在画面中的帧数增加,此杂物慢慢会成为背景的一部分。从不是背景一部分到慢慢成为背景的过程,为杂物识别过程。而杂物从出现在画面中到稳定到画面中的过程,就是丢杂物的完整过程。基于高斯模型法,即基于视频图像中的每一个独立的像素点,依据其观测值在序列图像中的变化与一个高斯分布密度函数的关系,来判定该像素点属于前景还是背景,从而获得背景图像bg。
s102、基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1。
本发明实施例中,从视频的第一帧开始,我们进行背景建模,获得背景图像。后面的每一帧图像,我们称之为前景图像。随着视频一帧一帧的更新,背景建模算法会根据之前出现的前景统计更新背景。本发明中定义的杂物为一开始不存在背景中,在前景帧中新出现的物体我们都称为杂物的预选项。
杂物判别可以分为两个阶段,第一个阶段为杂物的预选项选取阶段:一般会包括走来走去的人流、工人丢弃的杂物、移动的流水线等。而真正丢弃的杂物相比其他预选项而言,具有长时间不移动的特点,而长时间不移动的物体容易被背景建模更新为稳定的背景物体。故而依据此特征,杂物识别的第二个阶段被定义为:本身不存在于背景的前景物体,到稳定成为背景的一部分,我们将所有满足此逻辑的前景物体识别为杂物。总结一下,杂物识别的整个流程分两阶段:
第一阶段:选取本身不存在于背景图像中的前景物体作为预选项用于第二阶段识别;
第二阶段:在一定时间内,判别第一阶段中哪些预选项稳定成为了背景的一部分;
本发明通过两个阶段的判别,通过第一阶段侧面将杂物的可能选项寻找出来,避免直接对杂物一次性的识别,即避免容易造成误识别;通过第二阶段的过滤,将真正为杂物的物体从众多预选项中定位出来,判别的依据是依赖杂物丢在地面上后具有不移动的特征。此两个阶段一个用于粗定位,一个用于精定位,粗定位的过程也是杂物出现的开始,用于视频截取的开始,精定位结束也是杂物视频截取的结束。
获取当前为彩色图像的帧转化为灰度图,得到前景图像fg;获取前景图像fg和背景图像bg做差的绝对值的矩阵运算得到第一纹理差异图像diff1;公式描述为:diss=abs(fg-bg),其中abs为取绝对值。
s103、对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像。
本发明实施例中,灰度图的范围为0到255,做完背景差后,一般不移动的物体纹理接近于0,有移动或新加入的物体的diff1图纹理接近100以上,获取第一纹理差异图像diff1中大于第一阈值的像素设置为255,小于或等于第一阈值的像素设置为0,得到二值图;其中第一阈值thresh=30;
一般杂物不会很大,所以根据轮廓面积过滤掉大的预选项物体,剩下的轮廓区域即为预选项杂物区域,记录下轮廓区域位置及图像,用于第二阶段的判断。获取二值图的轮廓区域面积,判断是否小于第三阈值;若是,则得到预选项杂物区域;若否,则获取做背景差的第一次数。
获取做背景差的第一次数之后,所述算法还包括:判断做背景差的第一次数是否超过预设次数;若超过,则认定不是杂物;若未超过,则继续二值化第一纹理差异图像diff1得到二值图,直至轮廓遍历结束。
s104、获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值。
本发明实施例中,由于背景建模是一个持续更新的过程,所以在一定帧后,固定没有移动的杂物会被更新成背景,而移动的物体不会被更新成背景即移动物体在背景更新中表现是一种虚影图像。每隔一定间隔帧interval=10帧,对第一阶段的预选项杂物区域的对应图像与新的背景图像做背景差计算得到第二纹理差异图像diff2,判断第二纹理差异图像diff2是否小于第二阈值;其中,所述第二阈值thresh=15;若小于第二阈值,则可认定为第一阶段的轮廓区域被更新成为背景,也可以理解成第一阶段的轮廓区域是长时间没有移动过的,因为长时间没有移动过,才会在每帧更新背景过程中重复叠加到背景,直到成为背景的一部分。若小于第二阈值,则认定为杂物,保留视频片段,输出提示信息至终端。所述提示信息可以为“有杂物,请清理”,终端可以是蜂鸣器、电脑、平板、手机。若大于或等于第二阈值,则获取做背景差的第二次数,判断第二次数是否超过预设次数;若超过,则认定不是杂物;若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
本发明的一种扔杂物识别算法,通过基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg;基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1;对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域;获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值;若小于第二阈值,则认定为杂物,保留视频片段。实现相比单帧识别杂物而言,具有不需要模型训练,误识别率低的特点,且算法本身具有良好的遮挡鲁棒性,应用面广,对于短时间的杂物遮挡,背景建模受到的影响小,第二阶段终有小于第二阈值的时候。而对于长时间遮挡的情况,因为会有时间过滤机制,即对长时间没有满足第二阶段的前景预选项区域,会认为此物体不满足,不做继续跟踪判别,所不具有长时间遮挡判别杂物的鲁棒性。整体而言,通过侧面通过杂物本身长时间停留这个特性去作为杂物识别的依据,在类似工厂的简单场所下,具有实时性高占用资源少稳定可靠的优点。
扔杂物识别算法的整体流程为:获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg;基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1;对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像;获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值;若小于第二阈值,则认定为杂物,保留视频片段,输出提示信息至终端。
请参阅图5,现详细解释不是杂物的识别处理过程:在第一预设时间,如2019-07-02星期二03:18:08,获取当前背景图像bg,判断视频流输入的数据帧是否为空,若否,则获取当前为彩色图像的帧转化为灰度图,得到前景图像fg;获取前景图像fg和背景图像bg做差的绝对值的矩阵运算得到第一纹理差异图像diff1。diss=abs(fg-bg),其中abs为取绝对值。获取第一纹理差异图像diff1中大于第一阈值的像素设置为255,小于或等于第一阈值的像素设置为0,得到二值图;获取二值图的轮廓区域面积,判断是否小于第三阈值;若否,则获取做背景差的第一次数。判断做背景差的第一次数是否超过预设次数;若超过,则认定不是杂物;若未超过,则继续二值化第一纹理差异图像diff1得到二值图,重复上述过程。即不存在出现在画面中到稳定到画面中的过程的杂物。
请参阅图6,现详细解释是杂物的识别处理过程:在第一预设时间,如2019-07-02星期二03:18:08,获取当前背景图像bg,判断视频流输入的数据帧是否为空,若否,则获取当前为彩色图像的帧转化为灰度图,得到前景图像fg;获取前景图像fg和背景图像bg做差的绝对值的矩阵运算得到第一纹理差异图像diff1。diss=abs(fg-bg),其中abs为取绝对值。获取第一纹理差异图像diff1中大于第一阈值的像素设置为255,小于或等于第一阈值的像素设置为0,得到二值图;获取二值图的轮廓区域面积,判断是否小于第三阈值;若是,则得到预选项杂物区域;获取所述预选项杂物区域的对应图像和第二预设时间内如2019-07-02星期二03:18:18的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值;若小于第二阈值,则认定为杂物,保留视频片段,输出提示信息至终端。即在10秒内存在出现在画面中到稳定到画面中的过程的杂物。
第二方面,请参阅图3,图3是本发明实施例提供的一种扔杂物识别系统300的结构示意图。本实施例中所描述的所述扔杂物识别系统300包括用于上述第一方面的所述扔杂物识别算法的模块。具体可以包括:获取模块301、处理模块302和判断模块303;其中:
所述获取模块301,用于获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg;
所述处理模块302,用于基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1;
所述处理模块302,用于对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像;
所述判断模块303,用于获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值;
若小于第二阈值,则认定为杂物,保留视频片段,输出提示信息至终端。
在一实施方式中,在基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1中,所述获取模块301,具体用于获取当前为彩色图像的帧转化为灰度图,得到前景图像fg;
获取前景图像fg和背景图像bg做差的绝对值的矩阵运算得到第一纹理差异图像diff1。
在一实施方式中,在对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像中,所述获取模块301,用于获取第一纹理差异图像diff1中大于第一阈值的像素设置为255,小于或等于第一阈值的像素设置为0,得到二值图;
所述判断模块303,用于获取二值图的轮廓区域面积,判断是否小于第三阈值;
若是,则得到预选项杂物区域;
若否,则获取做背景差的第一次数。
在一实施方式中,获取做背景差的第一次数之后,所述判断模块303,用于判断做背景差的第一次数是否超过预设次数;
若超过,则认定不是杂物;
若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
在一实施方式中,获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg之后,所述判断模块303,用于判断所述数据帧是否为空;
若是,则控制结束对应进程;
若否,则基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1。
在一实施方式中,在获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值中,所述判断模块303,用于若大于或等于第二阈值,则获取做背景差的第二次数,判断第二次数是否超过预设次数;
若超过,则认定不是杂物;
若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
第三方面,请参阅图4,图4为本发明实施例提供的一种服务器400的结构示意图,本发明实施例中所描述的服务器400包括:处理器401、通信接口402、存储器403。其中,处理器401、通信接口402、存储器403可通过总线或其他方式连接,本发明实施例以通过总线连接为例。
处理器401可以是中央处理器(centralprocessingunit,cpu),网络处理器(networkprocessor,np),图形处理器(graphicsprocessingunit,gpu),或者cpu、gpu和np的组合。处理器401也可以是多核cpu、多核gpu或多核np中用于实现通信标识绑定的核。
上述处理器401可以是硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegratedcircuit,asic),可编程逻辑器件(programmablelogicdevice,pld)或其组合。上述pld可以是复杂可编程逻辑器件(complexprogrammablelogicdevice,cpld),现场可编程逻辑门阵列(field-programmablegatearray,fpga),通用阵列逻辑(genericarraylogic,gal)或其任意组合。
上述通信接口402可用于收发信息或信令的交互,以及信号的接收和传递,通信接口402可以是收发器。上述存储器403可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的存储程序(比如文字存储功能、位置存储功能等);存储数据区可存储根据服务器400的使用所创建的数据(比如图像数据、文字数据)等,并可以包括应用存储程序等。此外,存储器403可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
上述存储器403还用于存储程序指令。上述处理器401可以调用上述存储器403存储的程序指令,实现如本发明实施例所示的数据处理方法。
具体地,上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤:
获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg;
基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1;
对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像;
获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值;
若小于第二阈值,则认定为杂物,保留视频片段,输出提示信息至终端。
在一实施方式中,在基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1中,上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤:
获取当前为彩色图像的帧转化为灰度图,得到前景图像fg;
获取前景图像fg和背景图像bg做差的绝对值的矩阵运算得到第一纹理差异图像diff1。
在一实施方式中,在对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像中,上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤:
获取第一纹理差异图像diff1中大于第一阈值的像素设置为255,小于或等于第一阈值的像素设置为0,得到二值图;
获取二值图的轮廓区域面积,判断是否小于第三阈值;
若是,则得到预选项杂物区域;
若否,则获取做背景差的第一次数。
在一实施方式中,获取做背景差的第一次数之后,上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤:
判断做背景差的第一次数是否超过预设次数;
若超过,则认定不是杂物;
若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
在一实施方式中,获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg之后,上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤:
判断所述数据帧是否为空;
若是,则控制结束对应进程;
若否,则基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1。
在一实施方式中,在获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值中,上述处理器401调用存储在上述存储器403中的程序指令执行或者调用上述通信接口402执行以下步骤:
若大于或等于第二阈值,则获取做背景差的第二次数,判断第二次数是否超过预设次数;
若超过,则认定不是杂物;
若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
第四方面,本发明实施例还提供一种介质,所述介质为计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述方法实施例所述的扔杂物识别算法。
本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法实施例所述的扔杂物识别算法。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-onlymemory,rom)、随机存取器(randomaccessmemory,ram)、磁盘或光盘等。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
1.一种扔杂物识别算法,其特征在于,包括:
获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg;
基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1;
对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像;
获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值;
若小于第二阈值,则认定为杂物,保留视频片段,输出提示信息至终端。
2.如权利要求1所述的扔杂物识别算法,其特征在于,基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1,具体包括:
获取当前为彩色图像的帧转化为灰度图,得到前景图像fg;
获取前景图像fg和背景图像bg做差的绝对值的矩阵运算得到第一纹理差异图像diff1。
3.如权利要求1所述的扔杂物识别算法,其特征在于,对所述第一纹理差异图像diff1基于第一阈值进行二值化处理得到二值图,并对所述二值图进行轮廓检测,得到预选项杂物区域,并记录预选项杂物区域轮廓及对应图像,具体包括:
获取第一纹理差异图像diff1中大于第一阈值的像素设置为255,小于或等于第一阈值的像素设置为0,得到二值图;
获取二值图的轮廓区域面积,判断是否小于第三阈值;
若是,则得到预选项杂物区域;
若否,则获取做背景差的第一次数。
4.如权利要求3所述的扔杂物识别算法,其特征在于,获取做背景差的第一次数之后,所述算法还包括:
判断做背景差的第一次数是否超过预设次数;
若超过,则认定不是杂物;
若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
5.如权利要求1所述的扔杂物识别算法,其特征在于,获取视频流输入的数据帧,基于多高斯模型进行背景建模,在第一预设时间内获取背景图像bg之后,所述算法还包括:
判断所述数据帧是否为空;
若是,则控制结束对应进程;
若否,则基于前景图像fg和所述背景图像bg做背景差得到第一纹理差异图像diff1。
6.如权利要求1所述的扔杂物识别算法,其特征在于,获取所述预选项杂物区域的对应图像和第二预设时间内的新的背景图像做背景差计算得到第二纹理差异图像diff2,判断所述第二纹理差异图像diff2是否小于第二阈值,具体还包括:
若大于或等于第二阈值,则获取做背景差的第二次数,判断第二次数是否超过预设次数;
若超过,则认定不是杂物;
若未超过,则继续二值化第一纹理差异图像diff1得到二值图。
7.一种扔杂物识别系统,其特征在于,包括用于执行如权利要求1至6中任一项权利要求的所述扔杂物识别算法的模块。
8.一种服务器,其特征在于,包括处理器、通信接口和存储器,所述处理器、所述通信接口和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1至6任一项所述的扔杂物识别算法。
9.一种介质,其特征在于,所述介质中存储有指令,当所述指令在计算机上运行时,使计算机执行如权利要求1至6任一项所述的扔杂物识别算法。
技术总结