基于多视角学习的心房全自动分割跟踪定位方法与流程

专利2022-06-29  146


本发明属于图像分析技术领域,涉及基于多视角学习的心房全自动分割跟踪定位方法。



背景技术:

在众多医学影像学手段中,心脏磁共振(cardiacmagneticresonance,cmr)的软组织对比度最高,其通过多参数、多平面、多序列成像可同时对心脏的解剖结构、运动功能和组织特征改变等进行“一站式”观察,从而成为心功能和心肌局限性纤维化评价的金标准。在房颤消融术前精确分析评估患者的心房结构及纤维化程度,可以判断患者预后,指导治疗方案的选择,对提高房颤病人治疗效果,降低医疗成本有重大意义。虽然心脏核磁检查在心脏疾病诊断、危险分层及预后判断上具有独特价值,但是将该技术广泛应用于临床依然面临三大亟待解决的难题:

1)心脏核磁影像伪影重,心房壁薄,分割重建难度高;

2)cmr数据处理需要专业医师人工勾画,非常耗时;

3)临床高水平的影像诊断医师缺口大。

因此,研究心房壁核磁影像的精确自动分割算法,对提高医生诊断的时效性具有重要意义。目前,心房分割主要在单视角层面进行(例如水平位),但是不同层面的心房呈现连接相关,因此结合心房三维结构在其他视角上的投影约束,可以进一步提高分割精度。因此,本项目将利用多视角学习机制,通过三维卷积神经网络实现心房的全自动分割跟踪定位。



技术实现要素:

有鉴于此,本发明的目的在于提供一种基于多视角学习的心房全自动分割跟踪定位方法。首先要将心房壁分割出来,为了提高临床诊断的时效性,本项目将针对心房核磁影像构建多视角学习网络,从而实现端到端的左心房分割,该技术的突破可缩短临床心脏核磁影像的后处理时间。

为达到上述目的,本发明提供如下技术方案:

基于多视角学习的心房全自动分割跟踪定位方法,所述方法为:

将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上;其中,输入的图像将被裁剪成固定尺寸的体层数据,每个分支都将对断层数据进行逐层分割;

裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致;

为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化,算法利用评估分割效果的dice系数和交叉熵联合计算训练过程中的loss,其中,dice系数的计算方法为:

其中,n代表裁剪后的体层数据里像素总个数,pi为预测的分割结果里i位置上像素的预测值,gi代表分割结果的金标准里i位置上像素的对应值;交叉熵的计算方法为:

融合dice系数及交叉熵,网络训练的总loss计算方式为:

loss=λ(1-d) (1-λ)c

其中,λ为调和系数,用以调和dice系数与交叉熵在计算梯度时的影响程度。

可选的,所述方法还包括测试阶段,算法将对输入的核磁影像数据进行裁剪,从而获得出m例尺寸一致的三维数据,设计的分割网络会对裁剪出的每一例数据进行预测;每个像素可能被包含在z∈[1,m]个裁剪后的数据中,在单个视角上的分割预测值为多次预测后的平均值,用以提高预测结果的鲁棒性:

其中,为在第j个裁剪的数据中,i位置上像素对应的预测值。

可选的,所述算法将融合冠状位、矢状位、横断位不同分支上面的分割结果,获得最终的分割结果预测:

其中,η1 η2 η3=1,该组调和参数的具体数值根据训练的结果以及不同视角的分辨率共同决定;当的时候,则认为i位置上像素为心房壁位置所在。

本发明的有益效果在于:可提高心房核磁后处理的效率,降低主观因素导致的误差,并实现端到端的心房自动分割。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:

图1为心房分割的多视角神经网络结构图;

图2为核磁影像多点区域裁剪示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。

其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。

针对心脏核磁左心房的三维智能分割问题,本项目提出了基于多视角学习的三维深度神经网络,通过从不同视角对核磁影像进行分割,保证了分割结果的空间一致性与平滑性。为实现上述发明目的,本技术发明提供以下技术方案:

算法设计了多视角分割跟踪定位网络,分别将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上。其中,输入的图像将被裁剪成固定尺寸的体层数据,每个分支都将对断层数据进行逐层分割。

进一步的,裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致。

为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化,算法利用评估分割效果的dice系数和交叉熵联合计算训练过程中的loss,其中,dice系数的计算方法为:

其中,n代表裁剪后的体层数据里像素总个数,pi为预测的分割结果里i位置上像素的预测值,gi代表分割结果的金标准里i位置上像素的对应值。交叉熵的计算方法为:

融合dice系数及交叉熵,网络训练的总loss计算方式为:

loss=λ(1-d) (1-λ)c

其中,λ为调和系数,用以调和dice系数与交叉熵在计算梯度时的影响程度。

进一步的,在测试阶段,算法将对输入的核磁影像数据进行裁剪,从而获得出m例尺寸一致的三维数据,设计的分割网络会对裁剪出的每一例数据进行预测。由于每个像素可能被包含在z∈[1,m]个裁剪后的数据中,因此其在单个视角上的分割预测值为多次预测后的平均值,用以提高预测结果的鲁棒性:

其中,为在第j个裁剪的数据中,i位置上像素对应的预测值。

进一步的,算法将融合不同分支上面(冠状位、矢状位、横断位)的分割结果,获得最终的分割结果预测:

其中,η1 η2 η3=1,该组调和参数的具体数值根据训练的结果以及不同视角的分辨率共同决定。当的时候,则认为i位置上像素为心房壁位置所在。

在本发明的一种具体实施方式中,上述技术方案包括以下步骤:

第一个步骤:算法设计了多视角分割算法,分别将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上(如图1所示)。

其中,输入的图像将被裁剪成固定尺寸的体层数据(如图2所示),每个分支都将对断层体数据进行逐层分割。

进一步的,裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都是用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致。

为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化,算法利用评估分割效果的dice系数和交叉熵联合计算训练过程中的loss,其中,dice系数的计算方法为:

其中,n代表裁剪后的体层数据里像素总个数,pi为预测的分割结果里i位置上像素的预测值,gi代表分割结果的金标准里i位置上像素的对应值。交叉熵的计算方法为:

融合dice系数及交叉熵,网络训练的总loss计算方式为:

loss=λ(1-d) (1-λ)c

其中,λ为调和系数,用以调和dice系数与交叉熵在计算梯度时的影响程度。

进一步的,在测试阶段,算法将对输入的核磁影像数据进行裁剪,从而获得出m例尺寸一致的三维数据,设计的分割网络会对裁剪出的每一例数据进行预测。由于每个像素可能被包含在z∈[1,m]个裁剪后的数据中,因此其在单个视角上的分割预测值为:

其中,为在第j个裁剪的数据中,i位置上像素对应的预测值。

进一步的,算法将融合不同分支上面(冠状位、矢状位、横断位)的分割结果,获得最终的分割结果预测:

其中,η1 η2 η3=1,具体的数值根据训练的结果以及不同视角的分辨率共同决定。当的时候,则认为i位置上像素为心房壁位置所在。

最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。


技术特征:

1.基于多视角学习的心房全自动分割跟踪定位方法,其特征在于:所述方法为:

将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上;其中,输入的图像将被裁剪成固定尺寸的体层数据,每个分支都将对断层数据进行逐层分割;

裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致;

为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化,算法利用评估分割效果的dice系数和交叉熵联合计算训练过程中的loss,其中,dice系数的计算方法为:

其中,n代表裁剪后的体层数据里像素总个数,pi为预测的分割结果里i位置上像素的预测值,gi代表分割结果的金标准里i位置上像素的对应值;交叉熵的计算方法为:

融合dice系数及交叉熵,网络训练的总loss计算方式为:

loss=λ(1-d) (1-λ)c

其中,λ为调和系数,用以调和dice系数与交叉熵在计算梯度时的影响程度。

2.根据权利要求1所述的基于多视角学习的心房全自动分割跟踪定位方法,其特征在于:所述方法还包括测试阶段,算法将对输入的核磁影像数据进行裁剪,从而获得出m例尺寸一致的三维数据,设计的分割网络会对裁剪出的每一例数据进行预测;每个像素可能被包含在z∈[1,m]个裁剪后的数据中,在单个视角上的分割预测值为多次预测后的平均值,用以提高预测结果的鲁棒性:

其中,为在第j个裁剪的数据中,i位置上像素对应的预测值。

3.根据权利要求1所述的基于多视角学习的心房全自动分割跟踪定位方法,其特征在于:所述算法将融合冠状位、矢状位、横断位不同分支上面的分割结果,获得最终的分割结果预测:

其中,η1 η2 η3=1,该组调和参数的具体数值根据训练的结果以及不同视角的分辨率共同决定;当的时候,则认为i位置上像素为心房壁位置所在。

技术总结
本发明涉及一种基于多视角学习的心房全自动分割跟踪定位方法,属于图像分析技术领域。所述方法为将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上;其中,输入的图像将被裁剪成固定尺寸的体层数据,每个分支都将对断层数据进行逐层分割;裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致;本发明可提高心房核磁后处理的效率,降低主观因素导致的误差,并实现端到端的心房自动分割。

技术研发人员:肖晶晶;丁海艳;司东岳;吴艳芳;尹杰
受保护的技术使用者:中国人民解放军陆军军医大学第二附属医院
技术研发日:2020.01.14
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-49216.html

最新回复(0)