本发明涉及一种图像处理方法，尤其是涉及一种多参数磁共振图像全自动配准与分割方法。
背景技术：
对多参数磁共振(mp-mri)中的各序列影像进行配准，并分割出目标病灶，是开展脑肿瘤影像分析与计算的重要步骤。
多参数磁共振(mp-mri)包括t1w-mri、t2w-mri、dwi-mri等多个影像序列，t1w-mri、t2w-mri序列提供了不同对比度下的脑部形态影像，dwi-mri提供了脑部的分子影像，结合多个序列可对脑肿瘤进行全面分析。由于mp-mri扫描过程中患者可能存在头动，且各磁共振序列的分辨率不一致，由此，图像配准是开展脑肿瘤影像分析与计算的首要步骤。传统方法通过构建目标函数，选择形变模型，借助优化算法进行图像配准。avantsbb等人提出了一种基于对称微分同胚与互相关的图像配准方法(syn)，并在2009国际脑配准竞赛取得了最佳配准精度。然而传统配准方法需要针对每一对待配准图像进行反复迭代优化，难以调整配准参数，计算耗时可长达77分钟。随着人工智能技术的快速发展，研究者们将深度学习应用于图像配准。caox等人提出了一种基于卷积神经网络(cnn)的脑部图像配准算法，首先通过基于cnn的回归模型估计形变场，然后通过基于全卷积神经网络(fcn)的回归模型生成最终配准结果，取得了与传统方法相当的配准精度，并大幅缩减计算时间。
脑肿瘤可分割为坏死、水肿、增强和非增强区域，各区域影像特征与肿瘤分级密切相关，由此脑肿瘤分割是开展脑肿瘤影像分析与计算的另一重要步骤。在基于传统图像处理算法的脑肿瘤分割中，gooyaa等人提出了一种基于最大期望算法的联合分割与配准策略，利用分割与配准的互补信息，同时进行脑肿瘤图像分割与配准，取得了优于单独分割或配准的结果，然而由于该算法参数复杂，分割与配准时间可长达3-6小时。采用基于深度学习的肿瘤分割模型可大幅缩短分割时间。复旦大学lizeju等人利用151例低级别脑肿瘤患者数据，以人工标注的肿瘤征象子区域为金标准，训练cnn分割脑肿瘤子区域；pereiras等人训练基于cnn的神经网络模型，在脑肿瘤分割竞赛(brats)中取得了第一名的成绩。然而，研究者们将基于深度学习的分割与配准看作独立任务，没有充分利用其互补信息。
传统的图像配准和分割方法耗时长，无法满足临床需求；现有深度学习方法将配准和分割看作两个独立的问题，忽略了配准与分割的协同作用。现有方法无法利用分割与配准的互补信息以进一步提升配准和分割精度。
技术实现要素：
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种多参数磁共振图像全自动配准与分割方法。
本发明的目的可以通过以下技术方案来实现：
一种多参数磁共振图像全自动配准与分割方法，该方法包括配准模型与分割模型的联合训练，具体包括如下步骤：
(1)以多参数磁共振图像中的一个序列为参考图像，其他序列为浮动图像，构建以参考图像为基准并对浮动图像进行配准的配准模型，生成用于图像配准的形变场φ，并建立基于图像灰度相似性测度的配准损失函数lossr；
(2)构建对参考图像和浮动图像进行目标分割的分割模型，建立关于参考图像与浮动图像的分割损失函数losss；
(3)构建衡量分割模型对参考图像和浮动图像分割结果轮廓相似性的轮廓相似性损失函数lossc以及融合灰度信息与轮廓信息的联合损失函数lossrc；
(4)以联合损失函数lossrc最小为目标，交替训练配准模型和分割模型直到满足收敛条件。
所述的配准模型包括卷积神经网络。
所述的分割模型包括三维全卷积神经网络。
步骤(1)中配准损失函数lossr具体为：
lossr＝-nmi(f,φ(m))，
其中，f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，nmi(f,φ(m))为m和φ(m)的局部归一化互信息。
步骤(2)中分割损失函数losss具体为：
losss＝d(seg(f),s) d(seg(φ(m)),s)，
其中，f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，s为分割标注模板，seg(f)为f的分割结果，seg(φ(m))为φ(m)的分割结果，d(seg(f),s)为seg(f)与s的dice分数，d(seg(φ(m)),s)为seg(φ(m))与s的dice分数。
步骤(3)中轮廓相似性损失函数lossc具体为：
lossc＝d(seg(f),seg(φ(m)))，
其中，f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，seg(f)为f的分割结果，seg(φ(m))为φ(m)的分割结果，d(seg(f),seg(φ(m)))为seg(f)与seg(φ(m))的dice分数。
步骤(3)中联合损失函数lossrc具体为：
lossrc＝lossr βlossc，
其中，lossr为配准损失函数，lossc为轮廓相似性损失函数，β为加权权重。
步骤(4)具体为：首先对配准模型进行训练，更新形变场φ，利用形变场φ对浮动图像进行配准变换，校正浮动图像偏移与形变，更新分割损失函数，进行分割模型训练，进而更新联合损失函数，反复交替训练分割模型和配准模型直至迭代次数达到设定值或分割与配准精度达到既定指标。
与现有技术相比，本发明具有如下优点：
本发明将配准和分割进行联合，配准与分割可相互促进，配准可以将多序列图像更好地对齐，从而为分割提供更准确的多序列图像融合信息以提升分割精度；而分割又可为配准提供分割目标的轮廓形状信息，结合轮廓形状信息与图像自身灰度信息，可进一步提升配准精度。
附图说明
图1为本发明一种多参数磁共振图像全自动配准与分割方法的流程框图；
图2为本发明配准与分割联合训练的过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
如图1所示，一种多参数磁共振图像全自动配准与分割方法，该方法包括配准模型与分割模型的联合训练，具体包括如下步骤：
步骤1：以多参数磁共振图像中的一个序列为参考图像，其他序列为浮动图像，构建以参考图像为基准并对浮动图像进行配准的配准模型，生成用于图像配准的形变场φ，配准模型包括卷积神经网络。进而并建立基于图像灰度相似性测度的配准损失函数lossr：
lossr＝-nmi(f,φ(m))，
其中，f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，nmi(f,φ(m))为m和φ(m)的局部归一化互信息。
采用adam优化算法进行损失函数优化与模型训练，训练过程中得到用于图像配准的形变场φ。利用φ可对m进行变换，校正m相对于f的位移和形变，使m与f中的像素对齐。
步骤2：构建对参考图像和浮动图像进行目标分割的分割模型，分割模型采用三维全卷积神经网络。进而建立关于参考图像与浮动图像的分割损失函数losss：
losss＝d(seg(f),s) d(seg(φ(m)),s)，
其中，f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，s为分割标注模板，seg(f)为f的分割结果，seg(φ(m))为φ(m)的分割结果，d(seg(f),s)为seg(f)与s的dice分数，d(seg(φ(m)),s)为seg(φ(m))与s的dice分数。采用adam优化算法进行损失函数优化与模型训练，训练过程中得到参考图像f与浮动图像m的分割结果seg(f)与seg(φ(m))。
步骤3：不同序列是对同一目标进行成像，在不同序列中的目标分割结果应该是一致的，因此以dice分数衡量分割结果seg(f)与seg(φ(m))的轮廓相似性，构建衡量分割模型对参考图像和浮动图像分割结果轮廓相似性的轮廓相似性损失函数lossc以及融合灰度信息与轮廓信息的联合损失函数lossrc，从而借助分割结果为配准提供额外的轮廓相似性信息。
其中，轮廓相似性损失函数lossc具体为：
lossc＝d(seg(f),seg(φ(m)))，
f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，seg(f)为f的分割结果，seg(φ(m))为φ(m)的分割结果，d(seg(f),seg(φ(m)))为seg(f)与seg(φ(m))的dice分数。
联合损失函数lossrc具体为：
lossrc＝lossr βlossc，
lossr为配准损失函数，lossc为轮廓相似性损失函数，β为加权权重。
步骤4：以联合损失函数lossrc最小为目标，交替训练配准模型和分割模型直到满足收敛条件。具体地，首先对配准模型进行训练，更新形变场φ，利用形变场φ对浮动图像进行配准变换，校正浮动图像偏移与形变，更新分割损失函数，进行分割模型训练，进而更新联合损失函数，反复交替训练分割模型和配准模型直至迭代次数达到设定值或分割与配准精度达到既定指标。图2为本实施例中配准与分割联合训练的过程示意图，图中待箭头实线表示配准过程，带箭头虚线表示分割过程。本发明训练得到配准模型和分割模型后将两者级联，从而配准模型用于mp-mri影像中的各序列影像进行配准，分割模型用于分割出目标病灶(如脑肿瘤等)轮廓。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
1.一种多参数磁共振图像全自动配准与分割方法，其特征在于，该方法包括配准模型与分割模型的联合训练，具体包括如下步骤：
(1)以多参数磁共振图像中的一个序列为参考图像，其他序列为浮动图像，构建以参考图像为基准并对浮动图像进行配准的配准模型，生成用于图像配准的形变场φ，并建立基于图像灰度相似性测度的配准损失函数lossr；
(2)构建对参考图像和浮动图像进行目标分割的分割模型，建立关于参考图像与浮动图像的分割损失函数losss；
(3)构建衡量分割模型对参考图像和浮动图像分割结果轮廓相似性的轮廓相似性损失函数lossc以及融合灰度信息与轮廓信息的联合损失函数lossrc；
(4)以联合损失函数lossrc最小为目标，交替训练配准模型和分割模型直到满足收敛条件。
2.根据权利要求1所述的一种多参数磁共振图像全自动配准与分割方法，其特征在于，所述的配准模型包括卷积神经网络。
3.根据权利要求1所述的一种多参数磁共振图像全自动配准与分割方法，其特征在于，所述的分割模型包括三维全卷积神经网络。
4.根据权利要求1所述的一种多参数磁共振图像全自动配准与分割方法，其特征在于，步骤(1)中配准损失函数lossr具体为：
lossr＝-nmi(f,φ(m))，
其中，f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，nmi(f,φ(m))为m和φ(m)的局部归一化互信息。
5.根据权利要求1所述的一种多参数磁共振图像全自动配准与分割方法，其特征在于，步骤(2)中分割损失函数losss具体为：
losss＝d(seg(f),s) d(seg(φ(m)),s)，
其中，f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，s为分割标注模板，seg(f)为f的分割结果，seg(φ(m))为φ(m)的分割结果，d(seg(f),s)为seg(f)与s的dice分数，d(seg(φ(m)),s)为seg(φ(m))与s的dice分数。
6.根据权利要求1所述的一种多参数磁共振图像全自动配准与分割方法，其特征在于，步骤(3)中轮廓相似性损失函数lossc具体为：
lossc＝d(seg(f),seg(φ(m)))，
其中，f为参考图像，m为浮动图像，φ(m)为采用形变场φ变换后的浮动图像，seg(f)为f的分割结果，seg(φ(m))为φ(m)的分割结果，d(seg(f),seg(φ(m)))为seg(f)与seg(φ(m))的dice分数。
7.根据权利要求1所述的一种多参数磁共振图像全自动配准与分割方法，其特征在于，步骤(3)中联合损失函数lossrc具体为：
lossrc＝lossr βlossc，
其中，lossr为配准损失函数，lossc为轮廓相似性损失函数，β为加权权重。
8.根据权利要求1所述的一种多参数磁共振图像全自动配准与分割方法，其特征在于，步骤(4)具体为：首先对配准模型进行训练，更新形变场φ，利用形变场φ对浮动图像进行配准变换，校正浮动图像偏移与形变，更新分割损失函数，进行分割模型训练，进而更新联合损失函数，反复交替训练分割模型和配准模型直至迭代次数达到设定值或分割与配准精度达到既定指标。
技术总结