本发明属于图像处理领域，涉及一种基于条件生成对抗网络的mr图像分割方法及装置。
背景技术：
近年来，图像分割技术在医学影像领域得到了越来越多的应用。例如，弥漫性低级胶质瘤(lower-gradegliomas,lgg)是最常见的中枢神经系统肿瘤。lgg是世界卫生组织(worldhealthorganization,who)规定的ii级和iii级胶质瘤，包括星形胶质细胞瘤、少突胶质细胞瘤、少突星形胶质细胞瘤。由于ii级和iii级胶质瘤具有高度的侵袭性，因此，想要通过外科手术完全切除是不可能的，切除后残余的肿瘤通常导致复发并恶化为胶质母细胞瘤(glioblastoma,gbm)。众所周知，肿瘤发现的越早，病人的生存机率就越高。现有技术针对临床通常使用磁共振成像(magneticresonanceimaging,mri)来评估脑肿瘤，并且医生在评估脑肿瘤时通常采用人工分割的方法，这种方式既耗时又需要专业知识。目前，深度学习算法在医学图像分析中取得了极大的成功，但是仍普遍存在标记数据不足的问题。介于临床上医生通常使用粗略测量来评估肿瘤，故而实现对肿瘤进行自动分割和定量分析十分必要。
目前，该领域相关的研究主要有：goodfellow等人[1]首先以对抗性方式训练生成模型，生成对抗网络(generativeadversarialnetworks,gans)由生成器和判别器两部分组成，它们在训练过程中相互竞争以提高各自的性能。为了保证生成图像的真实性，gans学习真实数据的潜在分布，并从相同的分布中生成新的样本。但是，最初的gans生成的结果十分不稳定，特别是对大型图像的生成。为了提高生成结果的可控性，条件生成对抗网络(conditionalgenerativeadversarialnetworks,cgan)在生成器和判别器中同时加入了条件信息。
现有技术利用gans生成的医学图像来扩充原始训练集，可以缓解分类任务中由于数据量小而造成的问题。然而，生成的医学图像很少用于分割任务，这主要是因为生成的图像没有相应的精确病变分割掩膜。在大部分已有文献中，生成的样本通常来自一个与原始数据相同的特别稀疏的类，分类标签比分割掩膜更容易获得，因此，人工生成的医学图像一般用于扩充数据集以提高后续的检测和分类结果，不能够解决图像分割中标记数据不足的问题。
技术实现要素：
本发明的目的在于针对上述现有技术中图像分割标记数据不足的问题，提供一种基于条件生成对抗网络的mr图像分割方法及装置，使人工生成的图像分割结果更接近真实图像。
为了实现上述目的，本发明有如下的技术方案：
一种基于条件生成对抗网络的mr图像分割方法，包括以下步骤：
通过低级mr图像y和分割掩膜x训练cgan网络，得到训练好的cgan模型；
根据输入的分割掩膜x，使用训练好的cgan模型自动生成人工图像y’；
利用人工图像y’和分割掩膜x预训练u-net网络；
通过低级mr图像y和分割掩膜x继续训练u-net网络，得到训练好的u-net模型；
利用训练好的u-net模型进行mr图像分割。
作为优选，本发明基于条件生成对抗网络的mr图像分割方法一种实施例中，所述的cgan网络由生成器和判别器两部分组成，生成器采用u-net架构，判别器采用cnn架构。
作为优选，本发明基于条件生成对抗网络的mr图像分割方法一种实施例中，所述的u-net架构由编码器和解码器组成，在编码器和解码器堆栈中的镜像层之间设置跳跃连接；所述的跳跃连接用于在输入和输出之间直接通过网络传输低级的图像信息。
作为优选，本发明基于条件生成对抗网络的mr图像分割方法一种实施例中，所述的cgan网络的损失函数为：
lcgan(g,d)＝ex,y[logd(x,y)] ex,z[log(1-d(x,g(x,z)))]
式中，x为分割掩膜，y为低级mr图像，z为随机噪声，d(x,y)表示输入的图像来自于真实图像的概率，d(x,g(x,z))表示输入图像来自生成图像的概率；
g(x,z)为分割掩膜x对应的人工生成图像。
作为优选，本发明基于条件生成对抗网络的mr图像分割方法一种实施例中，所述的随机噪声z为dropout的形式，应用于生成器的d1-d4层；
生成器和判别器的损失函数通过将gan的目标函数与l1距离函数相结合得到；
所述的l1距离计算式为ll1(g)＝ex,y[||y-g(x,z)||1]；
生成器和判别器的损失函数计算式如下：
上式中，λ为超参数，设定为100；g为生成器，d为判别器。
作为优选，本发明基于条件生成对抗网络的mr图像分割方法一种实施例中，设ytrue为手工分割掩膜，ypred为u-net网络的分割结果，u-net网络的dice损失函数为：
训练过程使用敏感性、特异性、总体准确性、dice相似系数、雅尔卡指数和马修斯相关系数来评估分割性能；所有定量测量均在手工分割掩膜和预测分割结果之间按像素计算；
上述度量指标分别表示如下：
良好的分割效果具有较高的敏感性和特异性；利用dice和jaccard指标来衡量预测结果和金标准之间的相似性，这些指标代表了精度和灵敏度的调和平均值，最大值为1表示最优结果，0表示最差结果；mcc用来衡量分类质量，包括真阳性和假阳性以及真阴性和假阴性。
作为优选，本发明基于条件生成对抗网络的mr图像分割方法一种实施例中，判别器中使用patchgan，图像分割的u-net模型采用改进的u-net架构，改进的u-net架构有以下特点：(1)在卷积过程中填充所有图层以保持图像大小不变，获得一个与输入图像大小相同的分割映射；(2)解码路径中的每一步都包含与编码路径对应的特征映射的拼接；(3)将最后一层的softmax函数替换为sigmoid函数来处理每个像素是黑色还是白色的二分类问题。
本发明还提供了一种基于条件生成对抗网络的mr图像分割装置，包括生成系统和分割系统，生成系统通过低级mr图像y和分割掩膜x训练cgan网络，得到训练好的cgan模型，根据输入的分割掩膜x，使用训练好的cgan模型自动生成人工图像y’；分割系统利用人工图像y’和分割掩膜x预训练u-net网络，通过低级mr图像y和分割掩膜x继续训练u-net网络，得到训练好的u-net模型，利用训练好的u-net模型进行mr图像分割。
本发明还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述的处理器在执行所述计算机程序时实现本发明上述基于条件生成对抗网络的mr图像分割方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现所述基于条件生成对抗网络的mr图像分割方法的步骤。
相较于现有技术，本发明具有如下的有益效果：针对强度不均匀、不同序列强度范围不同以及来自不同采集协议的低级mr图像，本发明生成的图像更接近于真实图像，生成的图像与输入分割掩膜具有相似的形状特征，与真实的mr图像具有相似的纹理特征。输入手工分割掩膜与输出人工图像虽然外观不同，但它们具有相同的底层结构和形状。本发明利用cgan网络能够从输入的各种掩膜上学习一个给定数据集的分布，利用手工分割掩膜的形状特征生成的图像，扩充和丰富了原始数据集的数据多样性，进而在分割中取得了更好的性能。与常规数据扩充方式相比，生成图像扩充方法在提高数据多样性方面表现的更好。与此同时，本发明提出的图像分割方法在训练过程中收敛速度更快、损失更小且分割精度更高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1本发明的mr图像分割方法针对低级胶质瘤分割的整体框架图；
图2(a)本发明条件生成对抗网络的生成器架构示意图；
图2(b)本发明条件生成对抗网络的判别器架构示意图；
图3本发明用于生成图像的u-net网络针对低级胶质瘤分割的框架图；
图4tcga数据集的低级胶质瘤mr图像和分割掩膜示意图：
(a)pre-contrast；(b)flair；(c)post-contrast；(d)groundtruth；
图5cgan生成的人工低级胶质瘤图像：
(a)pre-contrast；(b)flair；(c)post-contrast；(d)groundtruth；
图6(a)在realdatasets与real generateddatasets数据集上的训练过程损失函数变化图；
图6(b)在real augmenteddatasets与alldatasets数据集上的训练过程损失函数变化图；
图7在测试集上的局部分割结果图：
(a)realdataset；(b)real generateddatasets；(c)real augmenteddatasets；(d)alldatasets。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提还可以进行若干简单的修改和润饰，所获得的所有其他实施例，都属于本发明保护的范围。
在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施方案中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本发明所描述的实施例还可以与其它的实施例相结合。
本发明期望得到的生成图像需满足两个要求：(1)人工生成的低级胶质瘤图像尽可能地接近真实的低级胶质瘤图像；(2)生成的低级胶质瘤图像与对应的分割掩膜一一对应。为了解决低级胶质瘤分割中标记数据不足的问题，提出在扩充后的小数据集上分割低级胶质瘤的框架，如图1所示，用cgan生成标记胶质瘤图像，以扩充标记数据集，提高低级胶质瘤分割结果。提出的框架由生成系统和分割系统两部分组成，如图1所示。生成系统分为条件生成对抗网络训练阶段和人工胶质瘤图像生成阶段。cgan网络结构如图2(a)和图2(b)所示，由生成器(generatornetwork,g)和判别器(discriminatornetwork,d)两部分组成。
本发明提出的基于条件生成对抗网络的mr图像分割装置框架由生成系统和分割系统两部分组成，如图1所示。在生成模型训练阶段，用低级胶质瘤mr图像y和分割掩膜x训练生成模型；在人工胶质瘤图像生成阶段，根据输入的分割掩膜x，使用训练好的cgan模型自动生成人工胶质瘤图像y’。分割系统基于改进的u-net网络，分为预训练阶段和训练阶段。在预训练阶段，利用人工生成胶质瘤图像y’和分割掩膜xu-net预训练网络；在训练阶段，在预训练模型的基础上，用低级胶质瘤mr图像y和分割掩膜x继续训练u-net网络。
实验使用的影像数据来自美国国家癌症研究所赞助的癌症影像档案(thecancerimagingarchive,tcia)，其中包含癌症基因组图谱(thecancergenomeatlas,tcga)患者对应的mr影像。从tcga-lgg集合中选取110例患者，其影像数据分别来以下自5个机构：thomasjeffersonuniversity(tcga-cs,16例)，henryfordhospital(tcga-du,45例)，unc(tcga-ez,1例)，casewestern(tcga-fg,14例)，casewesternst.joseph’s(tcga-ht,34例)。所选100例患者包括51例ii级胶质瘤，58例iii级胶质瘤，1例肿瘤的分级未知。所选数据包括前对比(pre-contrast)、flair和后对比(post-contrast)三个序列，如图4所示，(d)为手工分割掩膜。随机选取10例患者作为测试集，100例患者作为训练集，每例患者的术前影像切片数量在20～88之间不等，包含含瘤切片和不含瘤切片。在同一个病人mr图像集中，含瘤切片数明显低于仅存在背景类的切片。所有切片裁剪到256×256大小，灰度归一化预处理。
cgan学习从输入x(条件)到随机噪声z再到输出y的映射的模型。条件信息的添加使cgan能够根据输入的分割掩膜(条件)生成满足第二个要求的低级胶质瘤图像(输出)。
cgan的损失函数表示为：
lcgan(g,d)＝ex,y[logd(x,y)] ex,z[log(1-d(x,g(x,z)))](1)
其中x为分割掩膜，y为低级胶质瘤mr图像，z为随机噪声，d(x,y)表示输入的图像来自于真实图像的概率，d(x,g(x,z))表示输入图像来自生成图像的概率。假设x为分割掩膜，y为对应的低级胶质瘤mr图像，则g(x,z)为x对应的人工生成胶质瘤图像，随机噪声z为dropout的形式，在训练和测试时应用于生成器的d1-d4层，如图2(a)所示。仅使用对抗性损失可能无法将梯度表达为期望的胶质瘤形状，因此，增加l1距离损失以促进学习过程。
l1距离可以表示为：
ll1(g)＝ex,y[||y-g(x,z)||1](2)
通过将gan的目标函数与l1距离函数相结合，生成器和判别器的损失函数分别定义为：
λ为超参数，设定为100。
生成器网络结构：选择u-net架构作为cgan的生成器网络，u-net网络已经在不同的生物医学图像分割应用中取得了良好的效果。从图2(a)中可以观察到生成器网络的结构设置。可以发现，u-net架构一般由编码器和解码器组成，编码器和解码器堆栈中的镜像层之间有跳跃连接(skipconnection)。跳跃连接的主要作用是在输入和输出之间直接通过网络传输一些低级的图像信息。输入分割掩膜与输出人工胶质瘤图像的虽然外观不同，但它们具有相同的底层结构和形状，若所有信息都经过普通的编码器-解码器网络流通则很容易丢失底层结构和形状。此外，为了使人工生成的图像具有多样性，在解码器的d1-d4层使用了dropout。
判别器网络结构：判别器网络是典型的cnn结构，图2(b)为详细网络结构。它根据输入的真实胶质瘤mr图像和人工胶质瘤图像，然后输出一个判断:当前输入图像是真还是假？在判别器中使用文献[36]中提出的patchgan，判别器只需分辨每个70×70的patch是真还是假，因此，网络运行速度更快，参数更少，可以应用于任意大的图像。patch大小为70×70。
最终形成的用于图像分割的u-net模型引入一个改进的u-net，它和原始u-net网络有三个主要差异：(1)在卷积过程中填充所有图层以保持图像大小不变，这样我们获得一个与输入图像大小相同的分割映射。(2)在解码路径中的每一步都包含与编码路径对应的特征映射的拼接。裁剪被移除，因为每一个填充卷积的边界像素丢失了。(3)将最后一层的softmax函数替换为sigmoid函数，因为低级胶质瘤分割输出结果的每个像素(黑色或白色)是一个二分类问题。
设ytrue为手工分割掩膜，ypred为u-net网络的分割结果，分割网络的dice损失函数为：
对低级胶质瘤图像的分割可以看作是对每个像素的二分类。因此，将tp、tn、fp、fn等二分类问题中的常用概念作为计算评价指标，每个像素的评价指标分别表示真阳性、真阴性、假阳性和假阴性检测的个数。使用敏感性、特异性、总体准确性、dice相似系数、雅尔卡指数(jaccardindex)和马修斯相关系数(mattewscorrelationcoefficient,mcc)来评估分割性能。所有定量测量都是在手工分割掩膜和预测分割结果之间按像素计算的。度量指标表示如下：
良好的分割效果具有较高的敏感性和特异性。利用dice和jaccard指标来衡量预测结果和金标准之间的相似性，指标代表了精度和灵敏度的调和平均值，最大值为1表示最优结果，0表示最差结果。mcc用来衡量分类的质量，包括真阳性和假阳性以及真阴性和假阴性。
用低级胶质瘤训练集训练cgan网络，利用训练好的网络生成人工胶质瘤图像，如图5所示。脑mr图像存在强度不均匀、不同序列强度范围不同和来自不同的采集协议等问题。结果表明，该生成器生成的图像在l1感觉上接近于真实图像。生成的胶质瘤图像与输入分割掩膜具有相似的形状特征，与真实的胶质瘤mr图像具有相似的纹理特征。输入手工分割掩膜与输出人工胶质瘤图像的虽然外观不同，但它们具有相同的底层结构和形状。生成结果验证了在图像到图像转换环境下cgan生成各种胶质瘤图像的有效性。
比较本发明方法与常规数据扩充方式对低级胶质瘤分割的影响，将图3所示的u-net分割网络分别在四种数据集上训练：(1)原始数据集(realdatasets)，只包含真实数据集，不使用任何数据扩充方式；(2)原始数据集 生成数据集(real generateddatasets)，包含人工生成的胶质瘤图像和原始数据集；(3)原始数据集 常规扩充数据集(real augmenteddatasets)，在原始数据集的基础上采用常规扩充后的数据集；(4)原始数据集 常规扩充数据集 生成数据集(real augmented generateddataset,alldatsets)，人工生成的胶质瘤图像和在原始数据集的基础上采用常规扩充后的数据集。四种训练数据集上的损失函数变化如图6(a)和图6(b)所示，可以看出本发明提出的方法在训练过程中收敛速度更快、损失更小，且分割精度更高。
脑肿瘤在空间位置和结构上具有高度可变性，上述四种训练模型在测试集上的定量评估结果如表1所示。从表中的实验结果可看出，经过人工生成胶质瘤图像预训练的模型表现出更好的分割性能，而常规数据扩充方式对提高网络分割性能作用有限。
在相同的训练参数和测试集下，本发明提出的方法在测试集上明显得到了更好的结果。与原始数据集上训练的分割模型相比，本发明提出的人工生成图像扩充方法在测试集上分割结果的dice系数提高了5.37％，jac.提高了5.42％；与常规数据扩充方法相比，本发明提出的人工生成图像扩充方法在测试集上分割结果的dice系数提高了4.39％，jac.提高了4.42％；在两个数据集都存在常规数据扩充的情况下，含有本发明提出的人工生成图像扩充的数据集在测试集上分割结果的dice系数提高了4.01％，jac.提高了3.89％。
表1四种训练模型在测试集上的评估结果
四种训练模型在测试集上的部分分割结果如图7所示。从分割结果中可以看到，在原始数据集和经过传统扩充的数据集上的分割结果存在一些离群点，经过人工生成图像扩充的数据集上的分割结果则消除了这些离群点，使得分割结果更加接近于真实的肿瘤形态。
实验结果表明，本发明所提出的低级胶质瘤分割框架能够利用cgan从输入的各种掩膜上学习一个给定数据集的分布，利用手工分割掩膜的形状特征生成的胶质瘤图像扩充和丰富了原始数据集的数据多样性，进而在胶质瘤分割中取得了更好的性能。与常规数据扩充方式相比，生成图像扩充方法在提高数据多样性方面表现的更好。
低级胶质瘤的自动分割对临床诊断和治疗计划的制定有着重要的意义。本发明通过对抗性学习生成具有精确掩膜的胶质瘤图像，用于扩充数据集以提高低级胶质瘤分割网络的性能。评估如何通过对抗性学习来提高特定操作在医学图像分析中的表现。结果表明，所生成的带精确掩膜的低级胶质瘤图像可以成功地应用于计算机辅助诊断的算法中。本发明所提出的方法为低级胶质瘤在医学影像分析中提供了应用于更鲁棒的电脑辅助诊断系统的参考。
以上结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，还可以对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域技术人员可以对本发明进行各种改动和变型，这些不脱离本发明的精神和范围的修改和变型也属于本发明权利要求及其等同技术的范围之内。
1.一种基于条件生成对抗网络的mr图像分割方法，其特征在于，包括以下步骤：
通过低级mr图像y和分割掩膜x训练cgan网络，得到训练好的cgan模型；
根据输入的分割掩膜x，使用训练好的cgan模型自动生成人工图像y’；
利用人工图像y’和分割掩膜x预训练u-net网络；
通过低级mr图像y和分割掩膜x继续训练u-net网络，得到训练好的u-net模型；
利用训练好的u-net模型进行mr图像分割。
2.根据权利要求1所述基于条件生成对抗网络的mr图像分割方法，其特征在于：cgan网络由生成器和判别器两部分组成，生成器采用u-net架构，判别器采用cnn架构。
3.根据权利要求2所述基于条件生成对抗网络的mr图像分割方法，其特征在于：所述的u-net架构由编码器和解码器组成，在编码器和解码器堆栈中的镜像层之间设置跳跃连接；所述的跳跃连接用于在输入和输出之间直接通过网络传输低级的图像信息。
4.根据权利要求2所述基于条件生成对抗网络的mr图像分割方法，其特征在于：
所述的cgan网络的损失函数为：
lcgan(g,d)＝ex,y[logd(x,y)] ex,z[log(1-d(x,g(x,z)))]
式中，x为分割掩膜，y为低级mr图像，z为随机噪声，d(x,y)表示输入的图像来自于真实图像的概率，d(x,g(x,z))表示输入图像来自生成图像的概率；
g(x,z)为分割掩膜x对应的人工生成图像。
5.根据权利要求4所述基于条件生成对抗网络的mr图像分割方法，其特征在于：所述的随机噪声z为dropout的形式，应用于生成器的d1-d4层；
生成器和判别器的损失函数通过将gan的目标函数与l1距离函数相结合得到；
所述的l1距离计算式为ll1(g)＝ex,y[||y-g(x,z)||1]；
生成器和判别器的损失函数计算式如下：
上式中，λ为超参数，设定为100；g为生成器，d为判别器。
6.根据权利要求1所述基于条件生成对抗网络的mr图像分割方法，其特征在于：
设ytrue为手工分割掩膜，ypred为u-net网络的分割结果，u-net网络的dice损失函数为：
训练过程使用敏感性、特异性、总体准确性、dice相似系数、雅尔卡指数和马修斯相关系数来评估分割性能；所有定量测量均在手工分割掩膜和预测分割结果之间按像素计算；
上述度量指标分别表示如下：
良好的分割效果具有较高的敏感性和特异性；利用dice和jaccard指标来衡量预测结果和金标准之间的相似性，这些指标代表了精度和灵敏度的调和平均值，最大值为1表示最优结果，0表示最差结果；mcc用来衡量分类质量，包括真阳性和假阳性以及真阴性和假阴性。
7.根据权利要求1所述基于条件生成对抗网络的mr图像分割方法，其特征在于：判别器中使用patchgan，图像分割的u-net模型采用改进的u-net架构，改进的u-net架构有以下特点：(1)在卷积过程中填充所有图层以保持图像大小不变，获得一个与输入图像大小相同的分割映射；(2)解码路径中的每一步都包含与编码路径对应的特征映射的拼接；(3)将最后一层的softmax函数替换为sigmoid函数来处理每个像素是黑色还是白色的二分类问题。
8.一种基于条件生成对抗网络的mr图像分割装置，其特征在于，包括生成系统和分割系统，生成系统通过低级mr图像y和分割掩膜x训练cgan网络，得到训练好的cgan模型，根据输入的分割掩膜x，使用训练好的cgan模型自动生成人工图像y’；分割系统利用人工图像y’和分割掩膜x预训练u-net网络，通过低级mr图像y和分割掩膜x继续训练u-net网络，得到训练好的u-net模型，利用训练好的u-net模型进行mr图像分割。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述的处理器在执行所述计算机程序时实现如权利要求1至7中任一项所述基于条件生成对抗网络的mr图像分割方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于条件生成对抗网络的mr图像分割方法的步骤。
技术总结