本发明涉及图像重建技术领域，具体涉及一种基于多判别器的多重解析网络缺失ct投影数据估计方法。
背景技术：
作为目前一种常规有效的临床医学诊断工具，x射线计算机断层摄影术为临床医生的诊断提供了丰富的人体器官组织信息。但是由相关研究表明：一次完全的ct扫描通常伴随着较高程度的电离辐射，而高剂量电离辐射可诱发人体新陈代谢异常乃至癌症、白血病等疾病。
临床上减少病患辐射量的重要方法之一就是减小ct扫描范围，即将探测器的旋转角度范围限制在某个小于标准的区间内，从而在总体上大幅减少了患者所受x射线辐射量。虽然限制ct设备扫描范围能够降低患者所受x射线辐射量，但同时会造成所获ct投影数据部分缺失，即获得的是不完全投影数据，使重建ct图像质量明显下降，以至于无法满足临床诊断的需要。同样在多排ct成像中，x射线辐射量的降低会造成重建图像质量的明显下降。随着扫描范围的减小，虽然患者受到的辐射剂量大幅降低，但是重建图像出现大量星条状伪影和噪声，严重影响了对特征点的分辨。因此，如何在减小扫描范围，即投影数据不完全条件下重建出符合临床诊断要求、高质量的ct图像具有重要的科学意义和临床实用价值，也引起了国内外学者越来越多的重视。
2014年美国北卡罗来纳大学教堂山分校idea研究团队利用随机森林、卷积神经网络等算法，结合自动上下文模型从mri和低剂量pet图像中估计正常剂量pet图像或ct图像。boublil等人提出了使用人工神经网络来提升常用ct图像重建算法性能的理论框架，并将其成功应用于低剂量医学图像重建。dosovitskiy等人证明了可以通过解码器网络反转深度卷积网络特征来重建目标图像。kingma等人提出变分自动编码器(vae)，其通过在潜在单元上施加先验来使编码器正规化，使得可以通过从潜在单元采样或插入潜在单元来生成图像。然而，由于其基于像素方式高斯似然的训练目标，vae生成的图像通常是模糊的。wright等人将图像完成作为从输入中恢复稀疏信号的任务，通过求解稀疏线性系统，可以从一些损坏的输入中恢复图像。然而，该算法要求图像高度结构化(即，假设数据点位于低维子空间中)，例如：良好对齐的面部图像。pathak等人提出用上下文编码器模型来对图像进行重建，但仍存在生成图像缺失边界的像素值不一致性的问题。
技术实现要素：
针对现有技术的不足，本发明的目的在于提供一种基于多判别器的多重解析网络缺失ct投影数据估计方法，以解决现有技术中存在的ct投影数据的清晰度不足的问题。
为了解决上述背景提出的技术问题，本发明通过以下技术方案实现：
一种基于多判别器的多重解析网络缺失ct投影数据估计方法，所述方法包括：
获取稀疏缺失ct投影数据图像；
将所述稀疏缺失ct投影数据图像输入至多重解析网络模型，生成完整ct投影数据估计图像；
通过卷积滤波反投影方法对所述完整ct投影数据估计图像进行重建处理，得到ct图像；
所述多重解析网络模型包括生成网络、多个缺失区域判别网络和全局判别网络。
进一步的，所述多重解析网络模型的建立方法包括：
将完整ct投影数据图像集作为训练数据图像集；
对所述训练数据图像集进行稀疏缺失处理，得到训练集；
通过所述训练集对生成网络进行训练，获取图像的稀疏缺失部分预测结果；
对所述稀疏缺失部分预测结果进行切割提取，获取稀疏缺失区域的估计图；
将非稀疏缺失部分的真实投影数据图像和稀疏缺失区域的估计图进行整合处理，得到整合稀疏缺失投影数据估计图；
通过所述稀疏缺失区域对应的真实投影数据图像和稀疏缺失区域的估计图共同对区域判别网络进行训练；
通过所述完整ct投影数据图像和整合稀疏缺失投影数据估计图对全局判别器进行训练，获取多重解析网络模型。
进一步的，所述多重解析网络模型的重建损失为：
其中，x是投影数据图像真实值；
进一步的，所述多重解析网络模型的对抗性损失为：
其中，x是投影数据图像真实值，d(x)是将数据x输入到鉴别器d中得到的输出值，g(z)为参数函数。
进一步的，所述多重解析网络模型的联合损失函数为：
j(x)＝lrec λglag λ1la1 λ2la2 ...λilai(3)
其中，lrec即前面描述的重建损失lrec(x)，λg为全局判别器的对抗性损失在联合损失中的比重率，lag为全局判别器的对抗性损失；λ1是区域判别器1的对抗性损失在联合损失中的比重率，λ2是区域判别器2的对抗性损失在联合损失中的比重率，λi是区域判别器i的对抗性损失在联合损失中的比重率，i为区域判别器的个数为；lai为区域判别器i的对抗性损失。
进一步的，所述多重解析网络模型的训练优化函数为adam优化器。
与现有技术相比，本发明所达到的有益效果是：
本发明采用全局判别器和多个区域判别器结合训练，提取图像信息特征，多个区域判别器能很好地预测每一块稀疏缺失区域的投影数据，帮助生成具有更清晰边界的细节特征，全局判别器能确保生成图像地整体真实性，能显著提高预测的ct投影数据图像清晰度以及缺失区域边界的连贯性，进而提升ct图像的质量，峰值信噪比值和结构相似性值均体现了本发明方法的优越性。
附图说明
图1是本发明方法的总体流程图；
图2是多判别器的多重解析网络模型。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种基于多判别器的多重解析网络缺失ct投影数据估计方法，所述方法包括：
获取不完整ct投影数据图像；
将所述不完整ct投影数据图像输入至多重解析网络模型，获取完整ct投影数据图像的预测结果；
将所述预测结果的多个稀疏缺失区域进行切割提取，与获取的不完整ct投影数据图像的非缺失部分的真实投影数据整合，得到整合稀疏缺失投影数据估计图。
通过卷积滤波反投影方法对所述整合稀疏缺失投影数据估计图进行重建处理得到ct图像。
多重解析网络模型包括生成网络、多个缺失区域判别网络和全局判别网络。
多重解析网络模型的建立方法包括：
将完整ct投影数据图像集作为训练数据图像集；
对所述训练数据图像集进行稀疏缺失处理，得到训练集；
通过所述训练集对生成网络进行训练，获取图像的稀疏缺失部分预测结果；
对所述稀疏缺失部分预测结果进行切割提取，获取稀疏缺失区域的估计图；
将非稀疏缺失部分的真实投影数据图像和稀疏缺失区域的估计图进行整合处理，得到整合稀疏缺失投影数据估计图；
通过所述稀疏缺失区域对应的真实投影数据图像和稀疏缺失区域的估计图共同对区域判别网络进行训练；
通过所述完整ct投影数据图像和整合稀疏缺失投影数据估计图对全局判别器进行训练，获取多重解析网络模型。
多重解析网络模型的训练方法的步骤具体如下：
(1)将完整ct投影数据图像集作为训练数据图像集，对一定数量的完整ct投影数据图像进行预处理，即在扫描角度上或探测器方向上进行稀疏缺失处理，得到训练集，对应的投影数据图像分别为竖直方向、水平方向的缺失，对于缺失范围内的投影数据图像的像素值设置为0。
(2)构建多判别器的多重解析网络模型，如图1、图2所示，该模型包括一个生成网络、若干个缺失区域判别网络及一个全局判别网络。本发明的创新之处在于在生成对抗性网络的基础上添加的多个区域判别网络，构成多重解析网络。
(3)将训练集的ct投影数据作为输入图像来训练生成网络，获取图像的稀疏缺失部分预测结果；对所述稀疏缺失部分的预测结果进行切割提取，获取多个稀疏缺失区域的估计图；
(4)将上述多个稀疏区域的估计图与其对应的在完整ct投影数据中的真实值共同训练该缺失区域所对应的区域判别网络，使得该缺失区域估计结果不断逼近真实数据值。
(5)将非稀疏缺失部分的真实投影数据图像和稀疏缺失区域的估计图进行整合处理，得到整合稀疏缺失投影数据估计图。将整合稀疏缺失投影数据估计图和完整ct投影数据真实值共同训练全局判别器，使得整体ct投影数据估计结果逼近完整的ct投影数据真实值。
(6)关于区域判别器的设置取决于ct投影数据稀疏缺失的区域个数，具体判别网络的卷积层数、步长等与稀疏缺失区域的尺寸有关。
(7)使用卷积滤波反投影(filteredback-projection,fbp)方法从生成的投影数据图像中重建出ct图像。
本发明旨在提出多判别器的多重解析网络模型，主要在判别网络进行一定的创新，用多个判别器来处理稀疏缺失的投影数据图像，并保持一一对应的关系，且能满足多种图像缺失尺寸的重建工作。在医学图像重建上，对于有限扫描角度上缺失以及探测器方向上投影角度缺失时的ct投影数据图像，该模型可以重建出清晰度较高且缺失边界连贯性较高的的ct图像。
实施例
本实施例为基于多判别器的多重解析网络的缺失ct投影数据估计方法，在实际应用中，包括以下步骤：
(1)训练数据为124张完整的ct投影数据，图像尺寸为720×1024像素；
模拟医学上ct有限扫描角度上稀疏缺失情况下的ct投影数据图像，即在竖直方向上对图像进行遮挡处理，将该区域像素值设置为0。本实施例在扫描角度上设置4块遮挡区域，在投影数据图像上的体现为：遮挡的起始像素点分别为[0，0]，[0，256]，[0，512]，[0，768]，遮挡的宽度为128个像素点，高度为720个像素点。经处理后的缺失ct投影数据图像是具有4块缺失区域的稀疏缺失投影数据图像。
(2)多判别器的多重解析网络模型每次训练124张图像，训练迭代250次，使用生成器输出的投影数据估计结果和完整的投影数据真实值之间的l2距离，将重建损失定义为：
其中，x是投影数据图像真实值，
将对抗性损失
其中，x是投影数据图像真实值，d(x)是将数据x输入到鉴别器d中得到的输出值，g为参数函数，将像素值从噪声分布(生成的像素值)z映射到数据分布(投影数据原图像素值)χ。
联合损失函数j(x)为(1)中的重建损失和(2)中多个对抗损失的联合函数，本实施例中有4个对抗性损失即i为4：
j(x)＝lrec λglag λ1la1 λ2la2 ... λilai(3)
其中，lrec即前面描述的重建损失lrec(x)，λg为全局判别器的对抗性损失在联合损失中的比重率，lag为全局判别器的对抗性损失。λ1是区域判别器1的对抗性损失在联合损失中的比重率，λ2是区域判别器2的对抗性损失在联合损失中的比重率，λi是区域判别器i的对抗性损失在联合损失中的比重率，i为区域判别器的个数为。lai为区域判别器i的对抗性损失。训练优化函数使用adam优化器，学习率取值为0.0002；
(3)生成网络的输出是尺寸大小为720×1024像素的投影数据估计图像，将该估计图像对应的4块缺失区域的估计部分剪切出，分别为f1，f2，f3，f4，同时将完整的ct投影数据真实值图像的相对应4块区域也剪切出，分别为r1，r2，r3，r4。
(4)构建多个区域判别器，本实施例中4个区域判别器分别为d1，d2，d3，d4。区域判别器的结构需根据相应缺失区域块的尺寸来设置，本实施例中4个区域判别器的输入输出均采用与缺失区域尺寸一致的128×720像素。
(5)将(3)中的第一块缺失区域投影数据估计图像f1和第一块缺失区域投影数据真实值r1作为(4)中区域判别器d1的输入，f2和r2作为区域判别器d2的输入，f3和r3作为区域判别器d3的输入，f4和r4作为区域判别器d4的输入，分别训练对应区域的判别网络。
(6)将(1)中完整的ct投影数据真实值图像和(3)中含有4块区域稀疏缺失的ct投影数据估计图像共同作为全局判别器的输入，训练全局判别网络。
(7)经过250此迭代训练多判别器的多重解析网络模型。
(8)测试数据为31张稀疏缺失的ct投影数据，图像尺寸为720×1024像素；用已训练好的多判别器的多重解析网络模型，生成稀疏缺失的ct投影数据估计图像。
(9)使用卷积滤波反投影(filteredback-projection,fbp)方法从(8)中生成的图像中重建出ct图像。
本发明是基于多判别器的网络模型，判别器的个数取决于缺失区域的块数，将每块缺失部分单独训练生成该缺失部分的预测投影数据；本发明不仅能满足于等宽或等高的稀疏视图缺失，对于同一张投影数据缺失区域面积宽高不一的稀疏缺失也能做到很好的估计。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
1.一种基于多判别器的多重解析网络缺失ct投影数据估计方法，其特征在于，所述方法包括：
获取稀疏缺失ct投影数据图像；
将所述稀疏缺失ct投影数据图像输入至多重解析网络模型，生成完整ct投影数据估计图像；
通过卷积滤波反投影方法对所述完整ct投影数据估计图像进行重建处理，得到ct图像；
所述多重解析网络模型包括生成网络、多个缺失区域判别网络和全局判别网络。
2.根据权利要求1所述的一种基于多判别器的多重解析网络缺失ct投影数据估计方法，其特征在于，所述多重解析网络模型的建立方法包括：
将完整ct投影数据图像集作为训练数据图像集；
对所述训练数据图像集进行稀疏缺失处理，得到训练集；
通过所述训练集对生成网络进行训练，获取图像的稀疏缺失部分预测结果；
对所述稀疏缺失部分预测结果进行切割提取，获取稀疏缺失区域的估计图；
将非稀疏缺失部分的真实投影数据图像和稀疏缺失区域的估计图进行整合处理，得到整合稀疏缺失投影数据估计图；
通过所述稀疏缺失区域对应的真实投影数据图像和稀疏缺失区域的估计图共同对区域判别网络进行训练；
通过所述完整ct投影数据图像和整合稀疏缺失投影数据估计图对全局判别器进行训练，获取多重解析网络模型。
3.根据权利要求1所述的一种基于多判别器的多重解析网络缺失ct投影数据估计方法，其特征在于，
所述多重解析网络模型的重建损失为：
其中，x是投影数据图像真实值；
4.根据权利要求1所述的一种基于多判别器的多重解析网络缺失ct投影数据估计方法，其特征在于，所述多重解析网络模型的对抗性损失为：
其中，x是投影数据图像真实值，d(x)是将数据x输入到鉴别器d中得到的输出值，g(z)为参数函数。
5.根据权利要求1所述的一种基于多判别器的多重解析网络缺失ct投影数据估计方法，其特征在于，所述多重解析网络模型的联合损失函数为：
j(x)＝lrec λglag λ1la1 λ2la2 ...λilai(3)
其中，lrec即前面描述的重建损失lrec(x)，λg为全局判别器的对抗性损失在联合损失中的比重率，lag为全局判别器的对抗性损失；λ1是区域判别器1的对抗性损失在联合损失中的比重率，λ2是区域判别器2的对抗性损失在联合损失中的比重率，λi是区域判别器i的对抗性损失在联合损失中的比重率，i为区域判别器的个数为；lai为区域判别器i的对抗性损失。
6.根据权利要求1所述的一种基于多判别器的多重解析网络缺失ct投影数据估计方法，其特征在于，所述多重解析网络模型的训练优化函数为adam优化器。
技术总结