本发明涉及图像处理技术领域,具体涉及一种端到端的浮游生物数据库构建系统及方法。
背景技术:
水下原位视频采集技术的发展与应用为水下环境的有效监控注入了新的活力的同时也带来了一些新的问题。一方面高速的视频采集系统产生了大量冗余数据,占用了大量的计算机内存,降低了浮游生物研究的效率,从而阻碍了浮游生物的实时性研究。另一方面,机器学习的发展需要大量的训练数据,对海量的数据进行人工标定耗时费力,自动处理的方法亟待提出。同时,由于景深,目标运动等因素的影响,高速显微视频采集设备中获得的数据往往存在部分模糊的现象,严重影响浮游生物数据库的质量进而影响到科学家们对浮游生物的研究。因此一种高效而准确的浮游生物数据库的构建方法亟待提出。
技术实现要素:
基于上述情况,本发明首先提供一种端到端的浮游生物数据库自动构建系统,以得到高质量的浮游生物的数据库,为海洋生态系统以及生物多样性的研究提供便捷条件。
为了实现上述目的,本发明所采用的具体技术方案如下:
一种端到端的浮游生物数据库构建系统,其关键在于:包括视频采集处理单元、目标检测单元、目标识别单元以及浮游生物数据库构建单元,其中:
所述视频采集处理单元用于记录浮游生物生存状态的视频信息并拆分成帧图像;
所述目标检测单元:用于接收所述视频采集处理单元上传的帧图像,并进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域;
所述目标识别单元:用于识别所述浮游生物感兴趣域中的同一目标对象
所述浮游生物数据库构建单元:用于将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。
基于上述系统,本发明还提出一种端到端的浮游生物数据库构建方法,包括以下步骤:
s1:通过视频采集处理单元记录浮游生物生存状态的视频信息并拆分成帧图像fi,i为图像帧序号;
s2:对每一帧图像进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域ri;
s3:用于识别所述浮游生物感兴趣域中的同一目标对象;
s4:将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。
进一步地,步骤s2包括:
s21:将帧图像fi进行拉普拉斯变换得到相应的高通图像hi;
s22:删除全局清晰度指标低于预设阈值的高通图像;
s23:将筛选出的高通图像进行阈值分割和形态学处理,将浮游生物区域与背景区域隔离得到二值图像bi,通过图像分割得到浮游生物感兴趣域;
s24:删除局部清晰度指标低于预设阈值的浮游生物感兴趣域,得到最终清晰的浮游生物感兴趣域ri。
进一步地,所述全局清晰度指标通过
进一步地,所述局部清晰度指标通过
进一步地,步骤s3的具体步骤包括:
s31:通过两个浮游生物感兴趣域的长宽比和面积比判断是否可能包含同一目标对象;
s32:对可能包含同一目标对象的两个浮游生物感兴趣域进行图像配准,将二者变换到相同的坐标系下;
s33:判断目标重合度是否大于预设阈值,如果目标重合度大于预设阈值,则认定二者属于同一目标对象的感兴趣域;否则,认为二者属于不同目标对象的感兴趣域。
进一步地,所述目标重合度包括按照
boverlap(x,y)=b1(x,y)·b2(x,y)表示两个感兴趣区域中浮游生物的重合区域;
b1(x,y)和b2(x,y)分别表示待处理的两个浮游生物感兴趣域的二值图像;
area1和area2分别为待处理的两个浮游生物感兴趣域的二值图像面积。
进一步地,步骤s4具体包括:
s41:计算具有同一目标对象的两个感兴趣区域的显著特征图像,记为s1和s2;
s42:根据两个感兴趣区域的显著特征图像s1和s2得出初始决策图d,其中:
s43:边界的融合采用加权的融合方法,非边界的区域直接从原图像中选取,具体地:
s431:先从决策图像d中确定出决策边界,并对决策边界使用3×3的核进行膨胀构成边界区域:
s432:对决策图像进行修正,得到:
s433:将map1和map2直接从相应的原图像中提取得到f1和f2,边界区域fb的融合方法如式:
s434:按照f=f1 f2 fb得到高度清晰的融合图像。
进一步地,步骤s42中采用形态学的方法剔除噪声,若决策图像的长和宽分别为m和n,当某区域面积小于
本发明的有益效果:
基于本发明提出的系统或方法构建浮游生物数据库,一方面解决了高速视频采集系统中产生的大量的数据冗余现象,减少了内存的消耗,有利于对浮游生物的实时性监控,另一方面,高质量的浮游生物数据库提供了完整的浮游生物形态结构特征,提高了浮游生物研究的准确性,对生物多样性以及海洋生态系统的研究具有重要意义。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明的检测系统结构框图;
图2为本发明的检测方法流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示,本实施例首先提供一种端到端的浮游生物数据库构建系统,以解决从大量冗余数据中提取细节性信息构建高质量的浮游生物数据库的问题。
通过图1可以看出,本系统包括依次连接的视频采集处理单元、目标检测单元、目标识别单元以及浮游生物数据库构建单元,其中:
所述视频采集处理单元用于记录浮游生物生存状态的视频信息并拆分成帧图像,通常为连续的图像帧序列;
所述目标检测单元:用于接收所述视频采集处理单元上传的帧图像,并进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域;
具体实施时,目标检测单元对得到的图像序列进行两次基于清晰度指标的扫描以及图像分割算法得到较为清晰的浮游生物感兴趣域;
所述目标识别单元:用于识别所述浮游生物感兴趣域中的同一目标对象
所述浮游生物数据库构建单元:用于将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。
如图2所示,本实施例还提供一种端到端的浮游生物数据库构建方法,包括以下步骤:
s1:通过视频采集处理单元记录浮游生物生存状态的视频信息并拆分成帧图像fi,i为图像帧序号;
s2:对每一帧图像进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域ri;
具体包括:
s21:将帧图像fi进行拉普拉斯变换得到相应的高通图像hi;
如式:hi=fi*l,式中,fi为第i张原图像,l为3×3的滤波器[1,1,1;1,-8,1;1,1,1];
s22:删除全局清晰度指标低于预设阈值的高通图像;
针对图像序列中存在的冗余信息,我们利用全局的清晰度指标(gc)对高通图像进行筛选,所述全局清晰度指标通过
s23:将筛选出的高通图像进行阈值分割和形态学处理,将浮游生物区域与背景区域隔离得到二值图像bi,通过图像分割得到浮游生物感兴趣域;
s24:删除局部清晰度指标低于预设阈值的浮游生物感兴趣域,得到最终清晰的浮游生物感兴趣域ri。
所述局部清晰度指标通过
s3:识别所述浮游生物感兴趣域中的同一目标对象;
步骤s3的具体步骤包括:
s31:通过两个浮游生物感兴趣域的长宽比和面积比判断是否可能包含同一目标对象;
具体实施时,根据同一个目标在连续几帧中的形态相近的特点,采用两个目标区域的长度之比与宽度之比的和ratiol和面积之比ratios对相似性进行初始判断,分别表示为:
s32:对可能包含同一目标对象的两个浮游生物感兴趣域进行图像配准,将二者变换到相同的坐标系下;
s33:判断目标重合度是否大于预设阈值,如果目标重合度大于预设阈值,则认定二者属于同一目标对象的感兴趣域;否则,认为二者属于不同目标对象的感兴趣域;
具体实施时,所述目标重合度包括按照
boverlap(x,y)=b1(x,y)·b2(x,y)表示两个感兴趣区域中浮游生物的重合区域;
b1(x,y)和b2(x,y)分别表示待处理的两个浮游生物感兴趣域的二值图像;
area1和area2分别为待处理的两个浮游生物感兴趣域的二值图像面积。
s4:将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。
步骤s4具体包括:
s41:计算具有同一目标对象的两个感兴趣区域的显著特征图像,记为s1和s2,s(x,y)定义高通图像中以(x,y)为中心的(2w 1)×(2w 1)的区域中数值的方差,w为控制窗口大小,为了提高图像融合的效率,我们采用积分图像的方法来进行加速,通过积分图像,显著性特征图的计算就可以转化为简单的加减运算来完成,有效地提升了算法的运行效率;
s42:根据两个感兴趣区域的显著特征图像s1和s2得出初始决策图d,其中:
s43:边界的融合采用加权的融合方法,非边界的区域直接从原图像中选取,具体地:
s431:先从决策图像d中确定出决策边界,并对决策边界使用3×3的核进行膨胀构成边界区域:
s432:对决策图像进行修正,得到
s433:将map1和map2直接从相应的原图像中提取得到f1和f2,边界区域fb的融合方法如式:
ωi(x,y)=(d-di(x,y))/(1 d),而
s434:按照f=f1 f2 fb得到高度清晰的融合图像。
综上所述,本发明通过提供一种端到端的浮游生物数据库构建系统及方法,解决了高速视频采集系统中产生的大量的数据冗余现象,减少了内存的消耗,有利于对浮游生物的实时性监控,同时,高质量的浮游生物数据库提供了完整的浮游生物形态结构特征,提高了浮游生物研究的准确性,对生物多样性以及海洋生态系统的研究具有重要意义。
此外,以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
1.一种端到端的浮游生物数据库构建系统,其特征在于:包括视频采集处理单元、目标检测单元、目标识别单元以及浮游生物数据库构建单元,其中:
所述视频采集处理单元用于记录浮游生物生存状态的视频信息并拆分成帧图像;
所述目标检测单元:用于接收所述视频采集处理单元上传的帧图像,并进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域;
所述目标识别单元:用于识别所述浮游生物感兴趣域中的同一目标对象
所述浮游生物数据库构建单元:用于将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。
2.一种端到端的浮游生物数据库构建方法,其特征在于,包括以下步骤:
s1:通过视频采集处理单元记录浮游生物生存状态的视频信息并拆分成帧图像fi,i为图像帧序号;
s2:对每一帧图像进行基于清晰度的扫描和图像分割,得到清晰的浮游生物感兴趣域ri;
s3:识别所述浮游生物感兴趣域中的同一目标对象;
s4:将同一目标对象在不同的浮游生物感兴趣域中的图像信息进行融合,形成每个目标对象清晰的形态结构特征数据库。
3.根据权利要求2所述的端到端的浮游生物数据库构建方法,其特征在于,步骤s2包括:
s21:将帧图像fi进行拉普拉斯变换得到相应的高通图像hi;
s22:删除全局清晰度指标低于预设阈值的高通图像;
s23:将筛选出的高通图像进行阈值分割和形态学处理,将浮游生物区域与背景区域隔离得到二值图像bi,通过图像分割得到浮游生物感兴趣域;
s24:删除局部清晰度指标低于预设阈值的浮游生物感兴趣域,得到最终清晰的浮游生物感兴趣域ri。
4.根据权利要求3所述的端到端的浮游生物数据库构建方法,其特征在于,所述全局清晰度指标通过
5.根据权利要求3或4所述的端到端的浮游生物数据库构建方法,其特征在于,所述局部清晰度指标通过
6.根据权利要求2或3所述的端到端的浮游生物数据库构建方法,其特征在于,步骤s3的具体步骤包括:
s31:通过两个浮游生物感兴趣域的长宽比和面积比判断是否可能包含同一目标对象;
s32:对可能包含同一目标对象的两个浮游生物感兴趣域进行图像配准,将二者变换到相同的坐标系下;
s33:判断目标重合度是否大于预设阈值,如果目标重合度大于预设阈值,则认定二者属于同一目标对象的感兴趣域;否则,认为二者属于不同目标对象的感兴趣域。
7.根据权利要求6所述的端到端的浮游生物数据库构建方法,其特征在于,所述目标重合度包括按照
boverlap(x,y)=b1(x,y)·b2(x,y)表示两个感兴趣区域中浮游生物的重合区域;
b1(x,y)和b2(x,y)分别表示待处理的两个浮游生物感兴趣域的二值图像;
area1和area2分别为待处理的两个浮游生物感兴趣域的二值图像面积。
8.根据权利要求2所述的端到端的浮游生物数据库构建方法,其特征在于,步骤s4具体包括:
s41:计算具有同一目标对象的两个感兴趣区域的显著特征图像,记为s1和s2;
s42:根据两个感兴趣区域的显著特征图像s1和s2得出初始决策图d,其中:
s43:边界的融合采用加权的融合方法,非边界的区域直接从原图像中选取,具体地:
s431:先从决策图像d中确定出决策边界,并对决策边界使用3×3的核进行膨胀构成边界区域:
s432:对决策图像进行修正,得到
s433:将map1和map2直接从相应的原图像中提取得到f1和f2,边界区域fb的融合方法如式:
s434:按照f=f1 f2 fb得到高度清晰的融合图像。
9.根据权利要求8所述的端到端的浮游生物数据库构建方法,其特征在于,步骤s42中采用形态学的方法剔除噪声,若决策图像的长和宽分别为m和n,当某区域面积小于