本发明涉及人工智能,具体地指一种基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法。
背景技术:
1、体外受精-胚胎移植作为治疗不孕不育症的有效方法已经发展了40多年。在体外受精-胚胎移植中,评估体外培养的胚胎发育潜能是关键技术之一。目前,一些学者提出了利用原核期胚胎形态来初步评估胚胎的发育潜能,以增加选择移植胚胎的参数。当精子和卵细胞融合后,卵胞浆中的相关因子会促使细胞核发生破裂和解聚。同时,卵细胞中的其他成分也被激活。这一过程导致原本停滞在第二次减数分裂后期的卵子能够继续进行减数分裂并排除第二极体。卵子的染色体被膜包围形成雌原核,而精子头部的染色体则解聚形成雄原核。
2、胚胎在时差培养箱中培养时,原核的大小、位置和排列与胚胎的发育、妊娠和着床有关,两个大小相等位于中心且并列的原核是较为理想的原核期胚胎。可见,原核的个数和形态参数都是评估胚胎的发育潜能的重要参数。因此,对胚胎图像中原核的识别计数非常有意义,能为胚胎技术人员提供相应的参考。然而,目前原核的识别计数存在以下几个问题:
3、(1)在时差培养箱,用专业的镜头记录胚胎发育的状况,再利用智能分析系统来识别胚胎中目标。但是由于镜头记录的胚胎图像存在多聚焦图像不清晰问题,即不同原核在不同焦距下的图像清晰度不一致,导致对原核的识别计数不够准确,从而影响对胚胎质量的评估;
4、(2)图像处理算法基于原核的大小、与周围区域对比度及其纹理的多样性来检测原核,因此结果强烈依赖于胚胎图像。此外,基于单个图像的目标识别无法准确地检测到所有目标。主要原因是一些目标聚焦在离镜片特定距离的地方,从而另一些目标细胞可能会模糊。在胚胎发育过程中,不同的焦平面突出了原核的不同细节。单个原核的纹理细节通常不是在所有焦平面上都清晰可见的。
5、这些问题会影响普通模型对原核的识别计数,从而影响胚胎的质量评估。
技术实现思路
1、本发明针对上述现有技术的不足之处,提出一种基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,基于监督学习和自监督学习算法实现对胚胎图像自动聚焦任务的预测。
2、为实现上述目的,本发明设计的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特殊之处在于,包括如下步骤:
3、s1将一组待检测的多聚焦胚胎细胞图像使用拉普拉斯算子进行模糊评估,删除曝光模糊的胚胎图像;
4、s2构建融合模型,对多聚焦胚胎细胞图像提取浅层局部特征,对于不同的胚胎细胞图像之间通过信息交互模块获得图像特征之间的公共信息以及差异特征,再通过特征重建模块恢复融合图像的细节信息;
5、s3采用检测模型对多聚焦胚胎细胞图像中的原核个数进行识别。
6、优选地,步骤s1中使用拉普拉斯算子计算每一张胚胎图像的二阶导数,通过方差评估模糊度,方差值越大,图像越清晰;方差值越小,图像越模糊。
7、优选地,步骤s2中提取浅层局部特征通过特征提取模块实现,包括卷积层和批量归一化bn层和激活函数。所述激活函数使用hardswish激活函数。
8、优选地,步骤s2中所述信息交互模块包括权重矩阵生成模块、差异信息提取模块、公共信息注入模块和融合输出模块,所述权重矩阵生成模块用于提取不同聚焦胚胎细胞图像之间的可学习的权重矩阵;所述差异信息提取模块用于提取差异信息特征;所述公共信息注入模块从不同聚焦胚胎图像中提取公共信息,所述融合输出模块用于融合差异信息提取模块、公共信息注入模块的输出。
9、优选地,所述权重矩阵生成模块使用可学习的权重矩阵生成两个不同聚焦胚胎图像特征图 f1、 f2的查询向量 q1, q2、键向量 k1, k2和值向量 v1, v2,
10、;
11、;
12、其中, f1, f2是从图像中提取的特征图,是模型中的可学习参数;
13、计算特征图 f2的查询向量 q2和特征图 f1的键向量 k1之间的相似性矩阵,乘以特征图 f1的值向量 v1以推断查询向量 q2和值向量 v1之间的公共信息:
14、;
15、其中 dk是比例因子。
16、优选地,所述差异信息提取模块去除公共信息获得差异信息,将差异信息注入特征图 f2的查询向量 q2中,再经过归一化和多层感知,得到输出特征:
17、。
18、优选地,所述公共信息注入模块计算特征图 f1的查询向量 q1和特征图 f2的键向量 k2之间的相似性矩阵,乘以特征图 f2的值向量 v2以提取查询向量 q1和值向量 v2之间的公共信息,将公共信息注入查询向量 q1中,再经过归一化和多层感知,得到输出特征,表示为:
19、;
20、。
21、优选地,所述融合输出模块将差异信息提取模块的输出、公共信息注入模块的输出进行融合,得到融合特征。
22、优选地,骤s3中所述检测模型将融合后的图像输入检测网络,以获得检测结果:
23、;
24、其中 d表示检测器, id是最后的检测结果, if为融合图像。
25、优选地,步骤s2中所述融合模型和步骤s3中所述检测模型以端到端的方式协同训练,损失函数为融合损失融合和检测损失检测的组合,
26、;
27、其中是加权融合损失常数,是检测损失重要性的超参数;
28、训练过程中的融合损失包括强度损失和纹理损失两部分,公式如下,
29、;
30、其中用于平衡纹理损失和强度损失的重要因子;
31、将强度损失linde和纹理损失ltexture定义如下,
32、;
33、;
34、其中 h和 w是源图像的高度和宽度, p=1,2,3,4,对应四个聚焦, ip为输入图像, if为融合图像,表示l2范数的操作,表示绝对运算,表示寻找梯度图的运算,该梯度图测量图像的纹理信息。
35、本发明提出的一种基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法的有益效果为:
36、1、本发明在数据预处理阶段进行拉普拉斯信息评估,剔除高曝光模糊胚胎图像,从而防止曝光模糊图像对于后续图像融合以及原核目标检测的干扰;
37、2、本发明针对原核目标在不同聚焦图像中清晰度不同导致原核目标识别受阻,设计了基于交叉注意力的融合网络,通过融合多聚焦胚胎图像,得到包含所有原核目标的清晰融合图像,为检测器提供更好的输入特征,提高原核目标检测效率;
38、3、本发明针对在图像融合领域,很难为训练高级视觉任务模型提供融合图像的基础事实,并且单阶段联合训练策略可能会导致难以保持低级和高级视觉任务之间的效果平衡,设计了一个联合的低级和高级训练策略来训练融合网络;
39、4、本发明构建了一个联合优化框架,该框架协同优化低级和高级任务,联合优化对于产生更好的融合质量和检测精度更有效果。
1.一种基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:包括如下步骤:
2.根据权利要求1所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:步骤s1中使用拉普拉斯算子计算每一张胚胎图像的二阶导数,通过方差评估模糊度,方差值越大,图像越清晰;方差值越小,图像越模糊。
3.根据权利要求1所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:步骤s2中提取浅层局部特征通过特征提取模块实现,包括卷积层和批量归一化bn层和激活函数;所述激活函数使用hardswish激活函数。
4.根据权利要求1所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:步骤s2中所述信息交互模块包括权重矩阵生成模块、差异信息提取模块、公共信息注入模块和融合输出模块,所述权重矩阵生成模块用于提取不同聚焦胚胎细胞图像之间的可学习的权重矩阵;所述差异信息提取模块用于提取差异信息特征;所述公共信息注入模块从不同聚焦胚胎图像中提取公共信息,所述融合输出模块用于融合差异信息提取模块、公共信息注入模块的输出。
5.根据权利要求4所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:所述权重矩阵生成模块使用可学习的权重矩阵生成两个不同聚焦胚胎图像特征图f1、f2的查询向量q1,q2、键向量k1,k2和值向量v1,v2,
6.根据权利要求5所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:所述差异信息提取模块去除公共信息获得差异信息,将差异信息注入特征图f2的查询向量q2中,再经过归一化和多层感知,得到输出特征:
7.根据权利要求6所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:所述公共信息注入模块计算特征图f1的查询向量q1和特征图f2的键向量k2之间的相似性矩阵,乘以特征图f2的值向量v2以提取查询向量q1和值向量v2之间的公共信息,将公共信息注入查询向量q1中,再经过归一化和多层感知,得到输出特征,表示为:
8.根据权利要求4所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:所述融合输出模块将差异信息提取模块的输出、公共信息注入模块的输出进行融合,得到融合特征。
9.根据权利要求8所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:步骤s3中所述检测模型将融合后的图像输入检测网络,以获得检测结果:
10.根据权利要求1所述的基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法,其特征在于:步骤s2中所述融合模型和步骤s3中所述检测模型以端到端的方式协同训练,损失函数为融合损失融合和检测损失检测的组合,
