本发明属于图像分割
技术领域：
，尤其涉及一种基于帧差法和背景差分法结合的前景像素提取方法及系统。
背景技术：
：目前，图像分割就是从一幅图像中，寻找出有价值的部分，去除干扰部分的过程，通常图像分割可以用来提取图像前景，或在图像中分割出特定区域。图像分割一般是在图像处理中的预处理阶段，好的图像处理一般都需要好的图像分割技术做为基础。1975年davis提出使用一种基于边界检测的算法用于图像分割。1979年ostu提出自适应阈值图像分割算法的最大类间方差法。最大类间方差法根据图像灰度特性区分图像的背景和前景，背景和前景之间的类间方差越大说明背景与前景的差别越大，每当背景和前景被误分配时都会导致方差变小，因此使用最大类间方差法分割图像的错分概率最小。1994年adams使用区域增长的算法用于图像分割。2000年，shi等人提出normalizedcuts算法，该算法既考虑了子图间的差异，同时也考虑了子图内部的相似性，但是该算法对大图像的问题求解是非常困难的。2003年，ren等人对ncuts算法进行改进，提出使用k-means算法对子图进行细分，进一步简化了图像分割的计算。2015年，li等人提出了lsc算法，通过迭代k-means算法代替ncuts算法中特征值和特征向量的求解过程，进一步简化了算法复杂度。2012年，achanta等人提出了一种超像素图像分割方法，slic，该算法通过聚类图像中颜色或距离相近的像素，生成超像素完成图像分割。2014年，girshick等人提出r-cnn算法，该算法属于一种深度学习算法，可用于图像目标检测和语义分割。2015年，long等人提出全卷积网络(fcn)方法，针对任意大小的输入图像，实现逐像素分类解决图像语义分割问题。当前存在的较好的运动目标检测算法有olivier和marc在2011提出的一种图中背景建模算法vibe算法。vibe算法提供了一个样本库，通过这个样本库为图像中的像素点构建一个集合，记录每个像素点的前几帧的像素值和邻域像素值，将每一个新的像素灰度值和样本集中的值进行比较，判断这个像素点是否属于背景点。vibe算法利用相邻像素来创建背景模型，并且对比背景模型和当前帧像素值来判断前景区域，其算法具体可以分为三步：1)初始化单帧图像中每个像素点的背景模板。首先结合相邻像素点拥有相近像素值的空间分布特性，随机选择像素点邻域范围内的像素灰度值作为该像素点的模型样本值。2)对序列图像进行前景运动目标提取操作。将当前帧图像的所有像素值与对应背景模型的样本值进行比较，若该像素值与样本值相符合的次数达到n次，则该像素点被认为是背景区域，否则为前景区域。3)背景模型更新。vibe算法的背景更新策略在时间上和空间上都具有随机性，并且结合前景计数的方法：若有像素点连续一定次数的检测结果都是前景，则将其更新为背景像素。而在每一帧图像都去更新每一个像素点也是没有必要的，所以vibe算法规定每一个像素点被分类为背景像素时，有固定概率判断是否进行更新。就当前存在的运动目标检测算法而言，都有各自的优点和缺点，而最典型也是被用得最多的运动目标检测算法则是帧差法和背景差分法。其中帧差法又被分为帧间差分法和三帧差分法，帧间差分法是利用相邻两帧图像做差分运算最终获得运动目标，但这种算法当运动目标运动速度过快时会产生拖影现象，三帧差分法是对帧间差分法的改进和补充，利用相邻三帧图像进行差分运算，有效的抑制了拖影现象的产生，但其算法在运动目标运动速度过时可能产生孔洞现象，不利于检测完整的前景像素。背景差分法可以说是最稳定的运动目标检测算法之一，其算法可以适应环境光照变化，但背景模板更新策略却是研究的难点所在，并且想要获得高质量的背景模板非常耗费时间成本，难以达到目标跟踪的实时性要求。vibe算法是当前较好的一种运动目标检测算法，但是其算法复杂度较高，更新背景模板消耗了大量的时间，无法达到实时性要求。图像分割的目的是针对每一个被划分出来的子区域分别进行优化计算，因此必须最大限度的保留图像信息。图像分割如果出错，在图像处理的后续阶段肯定会出现很大的误差。在目标跟踪的研究中，其研究步骤可以分为：传感器获取序列图像，进而对序列图像进行处理、分析、检测、跟踪等操作，而一种有效的前景分割技术是保证目标跟踪的重要前提。因此，亟需一种基于帧差法和背景差分法结合的前景像素提取算法，以有效分割出序列图像中的前景区域。综上所述，现有技术存在的问题是：(1)帧差法当运动目标运动速度过快时会产生拖影现象；三帧差分法在运动目标运动速度过时可能产生孔洞现象，不利于检测完整的前景像素。(2)背景差分法中的背景模板更新策略却是研究的难点所在，并且想要获得高质量的背景模板非常耗费时间成本，难以达到目标跟踪的实时性要求。(3)vibe算法复杂度较高，更新背景模板消耗了大量的时间，无法达到实时性要求。解决上述技术问题的难度：当前前景像素提取算法可以划分为基于差分的简单算法和基于定时更新的复杂算法，为解决上诉技术问题，其难度主要在于既要保证分割的准确度，同时要保证算法的高速性，而目前的算法中随着分割准确度的提高，其算法复杂度也呈几何倍数提高，无法达到实时性要求。解决上述技术问题的意义：前景像素提取是作为图像处理中预处理的阶段，好的前景像素提取算法可以为后续图像处理提供丰富的有效信息，并剔除干扰信息。技术实现要素：针对现有技术存在的问题，本发明提供了一种基于帧差法和背景差分法结合的前景像素提取方法及系统，利用帧差法生成掩模mask，并在此基础上每帧更新背景模板，解决背景模板更新困难的问题。本发明是这样实现的，一种基于帧差法和背景差分法结合的前景像素提取方法，所述方法包括以下步骤：步骤一，利用帧间差分法提取当前帧图像的背景部分，并大致确定运动目标的位置。步骤二，利用公式(1)生成二值化的图像作为背景mask模板，其中mask模板中像素灰度值为0的区域代表背景区域。步骤三，对二值化之后的差分图像进行形态学腐蚀操作，消除图像中的细小噪声；然后进行膨胀操作，填补运动区域的裂缝和空洞，得出运动目标检测结果。步骤四，利用帧间差分法生成的mask掩模和当前帧图像来初始化和更新背景模板，利用当前帧图像对应的mask像素位置灰度来更新背景模板的背景像素灰度。步骤五，根据公式(4)，使用当前帧图像与更新的背景模板做差分运算，进行二值化处理，并使用形态学开运算处理差分二值化图像，即可确定运动目标位置。进一步，步骤二中，所述公式(1)为：进一步，步骤三中，所述利用的算法公式如公式(2)所示：其中，mask表示背景掩模，a表示含有运动目标的二值化图像，b表示结构化元素。进一步，步骤四中，所述利用的算法公式如公式(3)所示：其中，tt表示第t帧的背景模板，it表示第t帧图像。进一步，步骤五中，所述公式(4)为：其中，t表示检测结果，灰度值255表示运动区域，灰度值0表示背景区域。本发明另一目的在于提供一种所述基于帧差法和背景差分法结合的前景像素提取方法的基于帧差法和背景差分法结合的前景像素提取系统。本发明另一目的在于提供一种实现所述基于帧差法和背景差分法结合的前景像素提取方法的信息数据处理终端。本发明另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于帧差法和背景差分法结合的前景像素提取方法。综上所述，本发明的优点及积极效果为：本发明主要解决背景差分法中背景模板更新难的问题。在当前的运动目标检测算法中，最简单有效的算法非帧差法莫属，但是帧差法也有缺陷，比如检测运动目标不全，或出现鬼影现象等，最严重的有当前帧图像中前景目标没有发生位移，则帧差法就会判断当前区域为背景区域，造成严重错误。背景差分法比较稳定，不会出现上述帧差法会出现的问题，但它的难点就在于当当前场景外界因素发生变化，比如光照改变时，检测结果将会受到很大影响。结合两者算法各自的优点，利用帧差法实时有效的前景检测方法和稳定的背景差分方法，可以弥补它们各自的缺点，将算法的性能提高到最大。附图说明图1本发明实施例提供的本发明算法与传统算法结果对比图。图中：(a)原图；(b)背景差分；(c)帧间差分；(d)本发明算法。图2是本发明实施例提供的基于帧差法和背景差分法结合的前景像素提取方法流程图。图3是本发明实施例提供的基于帧差法和背景差分法结合的前景像素提取方法原理图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。现有技术中，帧差法当运动目标运动速度过快时会产生拖影现象；三帧差分法在运动目标运动速度过时可能产生孔洞现象，不利于检测完整的前景像素。背景差分法中的背景模板更新策略却是研究的难点所在，并且想要获得高质量的背景模板非常耗费时间成本，难以达到目标跟踪的实时性要求。vibe算法复杂度较高，更新背景模板消耗了大量的时间，无法达到实时性要求。针对现有技术存在的问题，本发明提供了一种基于帧差法和背景差分法结合的前景像素提取方法，下面结合附图对本发明作详细的描述。图1本发明实施例提供的本发明算法与传统算法结果对比图。如图2所示，本发明实施例提供的基于帧差法和背景差分法结合的前景像素提取方法包括以下步骤：s101：利用帧间差分法提取当前帧图像的背景部分，并大致确定运动目标的位置。s102：利用公式(1)生成二值化的图像作为背景mask模板，其中mask模板中像素灰度值为0的区域代表背景区域。s103：对二值化之后的差分图像进行形态学腐蚀操作，消除图像中的细小噪声；然后进行膨胀操作，填补运动区域的裂缝和空洞，得出运动目标检测结果。s104：利用帧间差分法生成的mask掩模和当前帧图像来初始化和更新背景模板，利用当前帧图像对应的mask像素位置灰度来更新背景模板的背景像素灰度。s105：根据公式(4)，使用当前帧图像与更新的背景模板做差分运算，进行二值化处理，并使用形态学开运算处理差分二值化图像，即可确定运动目标位置。在本发明实施例中，s102中，所述公式(1)为：在本发明实施例中，s103中，所述利用的算法公式如公式(2)所示：其中，mask表示背景掩模，a表示含有运动目标的二值化图像，b表示结构化元素。在本发明实施例中，s104中，所述利用的算法公式如公式(3)所示：其中，tt表示第t帧的背景模板，it表示第t帧图像。在本发明实施例中，s105中，所述公式(4)为：其中，t表示检测结果，灰度值255表示运动区域，灰度值0表示背景区域。以上公式中，(1)为生成帧间差分图像，(2)为生成背景掩模公式，(3)为生成每一帧背景模板公式，(4)为生成检测见过公式。图3是本发明实施例提供的基于帧差法和背景差分法结合的前景像素提取方法原理图。下面结合实施例对本发明作进一步描述。实施例本发明实现流程如图2和图3所示，实现原理如下：首先利用帧间差分法提取当前帧图像的背景部分，并大致确定运动目标的位置。利用公式(1)生成二值化的图像作为背景mask模板，其中mask模板中像素灰度值为0的区域代表背景区域。帧间差分法最大的优点是简单，但是在实际的应用场景中使用帧间差分法是非常容易受到噪声干扰的。理想情况下，两帧之间像素灰度值图像背景区域差异为零，但在实际的应用场景中，由于环境因素，如光线原因使得图像背景区域的差异并不都是0，造成的错误使检测结果出现小的噪声点或运动区域裂缝和孔洞现象，使得最终的检测结果不够准确。为了改善目标提取结果，首先对二值化之后的差分图像进行形态学腐蚀操作，消除图像中的细小噪声；然后进行膨胀操作，填补运动区域的裂缝和空洞，最终得出运动目标检测结果，其算法如公式(2)：其中mask表示背景掩模，a表示含有运动目标的二值化图像，b表示结构化元素。形态学中，对图像首先进行腐蚀再进行膨胀操作称为开运算，经过开运算后的差分二值图像可以在保留完整运动目标区域的同时抑制细小噪声点，并且可以平滑运动目标区域边界，更加有利于对运动目标的检测和特征提取。背景差分法在进行运动目标检测时最重要的步骤就是背景模板的提取和背景模板的更新。传统的背景差分法利用监控视频前几帧作为初始背景模板，但这种方法弊端太多，这种方法要求监控视频前几帧场景中不存在运动目标，如果视频前几帧刚好存在运动目标，则初始背景模板将会失效，并且极大程度上影响后续算法。本发明利用帧间差分法生成的mask掩模和当前帧图像来初始化和更新背景模板，mask图像中像素灰度值为0的部分为背景区域，利用当前帧图像对应的mask像素位置灰度来更新背景模板的背景像素灰度，确保背景模板实时更新，消除光照等环境因素对运动目标检测结果的影响，算法公式如公式(3)：其中，tt表示第t帧的背景模板，it表示第t帧图像。最后根据公式(4)，使用当前帧图像与更新的背景模板做差分运算，随后进行二值化处理，并使用形态学开运算处理差分二值化图像，便可以确定运动目标位置。其中t表示检测结果，灰度值255表示运动区域，灰度值0表示背景区域。下面结合具体实验对本发明作进一步描述。图1本发明实施例提供的本发明算法与传统算法结果对比图。(a)原图；(b)背景差分；(c)帧间差分；(d)本发明算法。表1精度对比帧数背景差分法帧间差分法本发明算法1075.2145％84.2130％95.1286％2069.2354％86.2358％94.2664％3061.2568％83.1459％96.2547％4053.9852％80.2154％95.1247％5052.9561％86.2589％97.1589％对比结果如表1所示，使用本发明算法提取场景前景精度能达到95％左右，而使用传统算法精度最高只能达到86％。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3
技术特征：1.一种基于帧差法和背景差分法结合的前景像素提取方法，其特征在于，所述方法包括以下步骤：
步骤一，利用帧间差分法提取当前帧图像的背景部分，并确定运动目标的位置；
步骤二，生成二值化的图像作为背景mask模板，所述mask模板中像素灰度值为0的区域代表背景区域；
步骤三，对二值化后的差分图像进行形态学腐蚀操作，消除图像中的细小噪声；再进行膨胀操作，填补运动区域的裂缝和空洞，得出运动目标检测结果；
步骤四，利用帧间差分法生成的mask掩模和当前帧图像来初始化和更新背景模板，利用当前帧图像对应的mask像素位置灰度更新背景模板的背景像素灰度；
步骤五，使用当前帧图像与更新的背景模板做差分运算，进行二值化处理，并使用形态学开运算处理差分二值化图像，确定运动目标位置。
2.如权利要求1所述的基于帧差法和背景差分法结合的前景像素提取方法，其特征在于，所述步骤二中，利用公式(1)生成二值化的图像作为背景mask模板，所述公式(1)为：
3.如权利要求1所述的基于帧差法和背景差分法结合的前景像素提取方法，其特征在于，所述步骤三中，利用公式(2)为对二值化后的差分图像进行形态学腐蚀操作，消除图像中的细小噪声，所述公式(2)为：
其中，mask表示背景掩模，a表示含有运动目标的二值化图像，b表示结构化元素。
4.如权利要求1所述的基于帧差法和背景差分法结合的前景像素提取方法，其特征在于，所述步骤四中，帧间差分法包括：
其中，tt表示第t帧的背景模板，it表示第t帧图像。
5.如权利要求1所述的基于帧差法和背景差分法结合的前景像素提取方法，其特征在于，所述步骤五中，根据公式(4)，使用当前帧图像与更新的背景模板做差分运算，进行二值化处理，所述公式(4)为：
其中，t表示检测结果，灰度值255表示运动区域，灰度值0表示背景区域。
6.一种如权利要求1所述基于帧差法和背景差分法结合的前景像素提取方法的基于帧差法和背景差分法结合的前景像素提取系统。
7.一种实现权利要求1～5任意一项所述基于帧差法和背景差分法结合的前景像素提取方法的信息数据处理终端。
8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的基于帧差法和背景差分法结合的前景像素提取方法。
技术总结本发明属于图像分割技术领域，公开了一种基于帧差法和背景差分法结合的前景像素提取方法及系统，利用帧间差分法提取当前帧图像的背景部分，并大致确定运动目标的位置；生成二值化图像作为背景mask模板；对二值化之后的差分图像进行形态学腐蚀操作和膨胀操作；利用帧间差分法生成的mask掩模和当前帧图像来初始化和更新背景模板，利用当前帧图像对应的mask像素位置灰度来更新背景模板的背景像素灰度；使用当前帧图像与更新的背景模板做差分运算，进行二值化处理，确定运动目标位置。本发明利用帧差法实时有效的前景检测方法和稳定的背景差分方法，弥补各自缺点，将算法的性能提高到最大。
技术研发人员：曾强;阿都建华
受保护的技术使用者：成都信息工程大学
技术研发日：2020.03.02
技术公布日：2020.06.09
