一种端到端的浮游生物数据库构建系统及方法与流程

专利2022-06-29  79


本发明涉及图像处理技术领域,具体涉及一种端到端的浮游生物数据库构建系统及方法。



背景技术:

水下原位视频采集技术的发展与应用为水下环境的有效监控注入了新的活力的同时也带来了一些新的问题。一方面高速的视频采集系统产生了大量冗余数据,占用了大量的计算机内存,降低了浮游生物研究的效率,从而阻碍了浮游生物的实时性研究。另一方面,机器学习的发展需要大量的训练数据,对海量的数据进行人工标定耗时费力,自动处理的方法亟待提出。同时,由于景深,目标运动等因素的影响,高速显微视频采集设备中获得的数据往往存在部分模糊的现象,严重影响浮游生物数据库的质量进而影响到科学家们对浮游生物的研究。因此一种高效而准确的浮游生物数据库的构建方法亟待提出。



技术实现要素:

基于上述情况,本发明首先提供一种端到端的浮游生物数据库自动构建系统,以得到高质量的浮游生物的数据库,为海洋生态系统以及生物多样性的研究提供便捷条件。

为了实现上述目的,本发明所采用的具体技术方案如下:

一种端到端的浮游生物数据库构建系统,其关键在于:包括视频采集处理单元、目标检测单元、目标识别单元以及浮游生物数据库构建单元,其中:

所述视频采集处理单元用于记录浮游生物生存状态的视频信息并拆分成帧图像;

所述目标检测单元:用于接收所述视频采集处理单元上传的帧图像,并进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域;

所述目标识别单元:用于识别所述浮游生物感兴趣域中的同一目标对象

所述浮游生物数据库构建单元:用于将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。

基于上述系统,本发明还提出一种端到端的浮游生物数据库构建方法,包括以下步骤:

s1:通过视频采集处理单元记录浮游生物生存状态的视频信息并拆分成帧图像fi,i为图像帧序号;

s2:对每一帧图像进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域ri;

s3:用于识别所述浮游生物感兴趣域中的同一目标对象;

s4:将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。

进一步地,步骤s2包括:

s21:将帧图像fi进行拉普拉斯变换得到相应的高通图像hi;

s22:删除全局清晰度指标低于预设阈值的高通图像;

s23:将筛选出的高通图像进行阈值分割和形态学处理,将浮游生物区域与背景区域隔离得到二值图像bi,通过图像分割得到浮游生物感兴趣域;

s24:删除局部清晰度指标低于预设阈值的浮游生物感兴趣域,得到最终清晰的浮游生物感兴趣域ri。

进一步地,所述全局清晰度指标通过计算,其中hi(x,y)表示第i张高通图像中坐标(x,y)处的像素值,为第i张高通图像各个像素点的均值。

进一步地,所述局部清晰度指标通过计算,其中n为二值图像bi中目标区域的像素个数,表示局部均值,hi(x,y)表示第i张高通图像中坐标(x,y)处的像素值,bi(x,y)表示第i张二值图像中坐标(x,y)处的像素值。

进一步地,步骤s3的具体步骤包括:

s31:通过两个浮游生物感兴趣域的长宽比和面积比判断是否可能包含同一目标对象;

s32:对可能包含同一目标对象的两个浮游生物感兴趣域进行图像配准,将二者变换到相同的坐标系下;

s33:判断目标重合度是否大于预设阈值,如果目标重合度大于预设阈值,则认定二者属于同一目标对象的感兴趣域;否则,认为二者属于不同目标对象的感兴趣域。

进一步地,所述目标重合度包括按照计算的第一指标,以及按照计算的第二指标,当所述第一指标和所述第二指标均大于各自对应的阈值时,认定两个浮游生物感兴趣域属于同一目标对象的感兴趣域,其中:

boverlap(x,y)=b1(x,y)·b2(x,y)表示两个感兴趣区域中浮游生物的重合区域;

表示目标区域;

b1(x,y)和b2(x,y)分别表示待处理的两个浮游生物感兴趣域的二值图像;

area1和area2分别为待处理的两个浮游生物感兴趣域的二值图像面积。

进一步地,步骤s4具体包括:

s41:计算具有同一目标对象的两个感兴趣区域的显著特征图像,记为s1和s2;

s42:根据两个感兴趣区域的显著特征图像s1和s2得出初始决策图d,其中:

s43:边界的融合采用加权的融合方法,非边界的区域直接从原图像中选取,具体地:

s431:先从决策图像d中确定出决策边界,并对决策边界使用3×3的核进行膨胀构成边界区域:

s432:对决策图像进行修正,得到:

此时决策图像dm包含三部分:标识第一张原图清晰的部分map1,标识第二张原图清晰的部分map2和边界部分mapb;

s433:将map1和map2直接从相应的原图像中提取得到f1和f2,边界区域fb的融合方法如式:其中ωi(x,y)=(d-di(x,y))/(1 d),而表示边界区域中的点(x,y)到map1和map2中最近的非零点的距离的和;

s434:按照f=f1 f2 fb得到高度清晰的融合图像。

进一步地,步骤s42中采用形态学的方法剔除噪声,若决策图像的长和宽分别为m和n,当某区域面积小于则视为较小区域,需要将其去除。

本发明的有益效果:

基于本发明提出的系统或方法构建浮游生物数据库,一方面解决了高速视频采集系统中产生的大量的数据冗余现象,减少了内存的消耗,有利于对浮游生物的实时性监控,另一方面,高质量的浮游生物数据库提供了完整的浮游生物形态结构特征,提高了浮游生物研究的准确性,对生物多样性以及海洋生态系统的研究具有重要意义。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明的检测系统结构框图;

图2为本发明的检测方法流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。

需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示,本实施例首先提供一种端到端的浮游生物数据库构建系统,以解决从大量冗余数据中提取细节性信息构建高质量的浮游生物数据库的问题。

通过图1可以看出,本系统包括依次连接的视频采集处理单元、目标检测单元、目标识别单元以及浮游生物数据库构建单元,其中:

所述视频采集处理单元用于记录浮游生物生存状态的视频信息并拆分成帧图像,通常为连续的图像帧序列;

所述目标检测单元:用于接收所述视频采集处理单元上传的帧图像,并进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域;

具体实施时,目标检测单元对得到的图像序列进行两次基于清晰度指标的扫描以及图像分割算法得到较为清晰的浮游生物感兴趣域;

所述目标识别单元:用于识别所述浮游生物感兴趣域中的同一目标对象

所述浮游生物数据库构建单元:用于将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。

如图2所示,本实施例还提供一种端到端的浮游生物数据库构建方法,包括以下步骤:

s1:通过视频采集处理单元记录浮游生物生存状态的视频信息并拆分成帧图像fi,i为图像帧序号;

s2:对每一帧图像进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域ri;

具体包括:

s21:将帧图像fi进行拉普拉斯变换得到相应的高通图像hi;

如式:hi=fi*l,式中,fi为第i张原图像,l为3×3的滤波器[1,1,1;1,-8,1;1,1,1];

s22:删除全局清晰度指标低于预设阈值的高通图像;

针对图像序列中存在的冗余信息,我们利用全局的清晰度指标(gc)对高通图像进行筛选,所述全局清晰度指标通过计算,其中hi(x,y)表示第i张高通图像中坐标(x,y)处的像素值,为第i张高通图像各个像素点的均值。gc值越大说明图像越清晰,更有可能含有清晰的浮游生物的信息,gc值越小说明该张图像越平滑,不包含浮游生物的细节性信息,因此我们设置一个gc的阈值tgc来删除无用信息,以减小内存的消耗,提高浮游生物数据库的构建效率;

s23:将筛选出的高通图像进行阈值分割和形态学处理,将浮游生物区域与背景区域隔离得到二值图像bi,通过图像分割得到浮游生物感兴趣域;

s24:删除局部清晰度指标低于预设阈值的浮游生物感兴趣域,得到最终清晰的浮游生物感兴趣域ri。

所述局部清晰度指标通过计算,其中n为二值图像bi中目标区域的像素个数,表示局部均值,hi(x,y)表示第i张高通图像中坐标(x,y)处的像素值,bi(x,y)表示第i张二值图像中坐标(x,y)处的像素值;

s3:识别所述浮游生物感兴趣域中的同一目标对象;

步骤s3的具体步骤包括:

s31:通过两个浮游生物感兴趣域的长宽比和面积比判断是否可能包含同一目标对象;

具体实施时,根据同一个目标在连续几帧中的形态相近的特点,采用两个目标区域的长度之比与宽度之比的和ratiol和面积之比ratios对相似性进行初始判断,分别表示为:

其中,分别为与b1和b2中闭合连通域有相同二阶矩的椭圆的长轴,分别为b1和b2中闭合连通域有相同二阶矩的椭圆的短轴,area1,area2分别为b1和b2中闭合连通域的像素的个数。当两个目标的长和宽都相等时,ratiol=2,当两个目标的面积相等时,ratios=1。考虑到浮游生物的流动性以及数据中存在的各向异性模糊现象,本文中我们设置参数为:当条件不满足时,这两个感兴趣域视为不同的目标区域,若满足上述条件,这两个感兴趣域可能包含同一个目标,然后进行下一步的判断。

s32:对可能包含同一目标对象的两个浮游生物感兴趣域进行图像配准,将二者变换到相同的坐标系下;

s33:判断目标重合度是否大于预设阈值,如果目标重合度大于预设阈值,则认定二者属于同一目标对象的感兴趣域;否则,认为二者属于不同目标对象的感兴趣域;

具体实施时,所述目标重合度包括按照计算的第一指标,以及按照计算的第二指标,当所述第一指标和所述第二指标均大于各自对应的阈值时,认定两个浮游生物感兴趣域属于同一目标对象的感兴趣域,其中:

boverlap(x,y)=b1(x,y)·b2(x,y)表示两个感兴趣区域中浮游生物的重合区域;

表示目标区域;

b1(x,y)和b2(x,y)分别表示待处理的两个浮游生物感兴趣域的二值图像;

area1和area2分别为待处理的两个浮游生物感兴趣域的二值图像面积。

s4:将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。

步骤s4具体包括:

s41:计算具有同一目标对象的两个感兴趣区域的显著特征图像,记为s1和s2,s(x,y)定义高通图像中以(x,y)为中心的(2w 1)×(2w 1)的区域中数值的方差,w为控制窗口大小,为了提高图像融合的效率,我们采用积分图像的方法来进行加速,通过积分图像,显著性特征图的计算就可以转化为简单的加减运算来完成,有效地提升了算法的运行效率;

s42:根据两个感兴趣区域的显著特征图像s1和s2得出初始决策图d,其中:针对初始决策图像中存在的噪声现象,我们采用形态学的方法剔除噪声。若决策图像的长和宽分别为m和n,若某区域面积小于则视为较小区域,为达到更好的视觉效果,需要将其去除,得到新的决策图像

s43:边界的融合采用加权的融合方法,非边界的区域直接从原图像中选取,具体地:

s431:先从决策图像d中确定出决策边界,并对决策边界使用3×3的核进行膨胀构成边界区域:

s432:对决策图像进行修正,得到此时决策图像dm包含三部分:标识第一张原图清晰的部分map1,标识第二张原图清晰的部分map2和边界部分mapb;

s433:将map1和map2直接从相应的原图像中提取得到f1和f2,边界区域fb的融合方法如式:其中:

ωi(x,y)=(d-di(x,y))/(1 d),而表示边界区域中的点(x,y)到map1和map2中最近的非零点的距离的和;

s434:按照f=f1 f2 fb得到高度清晰的融合图像。

综上所述,本发明通过提供一种端到端的浮游生物数据库构建系统及方法,解决了高速视频采集系统中产生的大量的数据冗余现象,减少了内存的消耗,有利于对浮游生物的实时性监控,同时,高质量的浮游生物数据库提供了完整的浮游生物形态结构特征,提高了浮游生物研究的准确性,对生物多样性以及海洋生态系统的研究具有重要意义。

此外,以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。


技术特征:

1.一种端到端的浮游生物数据库构建系统,其特征在于:包括视频采集处理单元、目标检测单元、目标识别单元以及浮游生物数据库构建单元,其中:

所述视频采集处理单元用于记录浮游生物生存状态的视频信息并拆分成帧图像;

所述目标检测单元:用于接收所述视频采集处理单元上传的帧图像,并进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域;

所述目标识别单元:用于识别所述浮游生物感兴趣域中的同一目标对象

所述浮游生物数据库构建单元:用于将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。

2.一种端到端的浮游生物数据库构建方法,其特征在于,包括以下步骤:

s1:通过视频采集处理单元记录浮游生物生存状态的视频信息并拆分成帧图像fi,i为图像帧序号;

s2:对每一帧图像进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域ri;

s3:识别所述浮游生物感兴趣域中的同一目标对象;

s4:将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。

3.根据权利要求2所述的端到端的浮游生物数据库构建方法,其特征在于,步骤s2包括:

s21:将帧图像fi进行拉普拉斯变换得到相应的高通图像hi;

s22:删除全局清晰度指标低于预设阈值的高通图像;

s23:将筛选出的高通图像进行阈值分割和形态学处理,将浮游生物区域与背景区域隔离得到二值图像bi,通过图像分割得到浮游生物感兴趣域;

s24:删除局部清晰度指标低于预设阈值的浮游生物感兴趣域,得到最终清晰的浮游生物感兴趣域ri。

4.根据权利要求3所述的端到端的浮游生物数据库构建方法,其特征在于,所述全局清晰度指标通过计算,其中hi(x,y)表示第i张高通图像中坐标(x,y)处的像素值,为第i张高通图像各个像素点的均值。

5.根据权利要求3或4所述的端到端的浮游生物数据库构建方法,其特征在于,所述局部清晰度指标通过计算,其中n为二值图像bi中目标区域的像素个数,表示局部均值,hi(x,y)表示第i张高通图像中坐标(x,y)处的像素值,bi(x,y)表示第i张二值图像中坐标(x,y)处的像素值。

6.根据权利要求2或3所述的端到端的浮游生物数据库构建方法,其特征在于,步骤s3的具体步骤包括:

s31:通过两个浮游生物感兴趣域的长宽比和面积比判断是否可能包含同一目标对象;

s32:对可能包含同一目标对象的两个浮游生物感兴趣域进行图像配准,将二者变换到相同的坐标系下;

s33:判断目标重合度是否大于预设阈值,如果目标重合度大于预设阈值,则认定二者属于同一目标对象的感兴趣域;否则,认为二者属于不同目标对象的感兴趣域。

7.根据权利要求6所述的端到端的浮游生物数据库构建方法,其特征在于,所述目标重合度包括按照计算的第一指标,以及按照计算的第二指标,当所述第一指标和所述第二指标均大于各自对应的阈值时,认定两个浮游生物感兴趣域属于同一目标对象的感兴趣域,其中:

boverlap(x,y)=b1(x,y)·b2(x,y)表示两个感兴趣区域中浮游生物的重合区域;

表示目标区域;

b1(x,y)和b2(x,y)分别表示待处理的两个浮游生物感兴趣域的二值图像;

area1和area2分别为待处理的两个浮游生物感兴趣域的二值图像面积。

8.根据权利要求2所述的端到端的浮游生物数据库构建方法,其特征在于,步骤s4具体包括:

s41:计算具有同一目标对象的两个感兴趣区域的显著特征图像,记为s1和s2;

s42:根据两个感兴趣区域的显著特征图像s1和s2得出初始决策图d,其中:

s43:边界的融合采用加权的融合方法,非边界的区域直接从原图像中选取,具体地:

s431:先从决策图像d中确定出决策边界,并对决策边界使用3×3的核进行膨胀构成边界区域:

s432:对决策图像进行修正,得到此时决策图像dm包含三部分:标识第一张原图清晰的部分map1,标识第二张原图清晰的部分map2和边界部分mapb;

s433:将map1和map2直接从相应的原图像中提取得到f1和f2,边界区域fb的融合方法如式:其中ωi(x,y)=(d-di(x,y))/(1 d),而表示边界区域中的点(x,y)到map1和map2中最近的非零点的距离的和;

s434:按照f=f1 f2 fb得到高度清晰的融合图像。

9.根据权利要求8所述的端到端的浮游生物数据库构建方法,其特征在于,步骤s42中采用形态学的方法剔除噪声,若决策图像的长和宽分别为m和n,当某区域面积小于则视为较小区域,需要将其去除。

技术总结
本发明提供一种端到端的浮游生物数据库构建系统及方法,系统包括视频采集处理单元,目标检测单元,目标识别单元和浮游生物数据库构建单元,其中,视频采集处理单元记录浮游生物生存状态的视频信息并拆分成帧图像;目标检测单元进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域;目标识别单元识别浮游生物感兴趣域中的目标对象;浮游生物数据库构建单元同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。本发明可解决数据冗余现象,减少内存消耗,有利于对浮游生物实时监控,同时提供了完整的浮游生物形态结构特征,提高准确性,对生物多样性和海洋生态研究具有重要意义。

技术研发人员:王楠;杨学文;郑海永;俞智斌;付民;顾兆瑞;郑冰;崔燕妮
受保护的技术使用者:中国海洋大学
技术研发日:2020.01.10
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-18692.html

最新回复(0)