本发明涉及医学图像处理和人工智能技术领域，特别涉及一种ct影像肺部分叶方法及系统。
背景技术：
人体肺部位于胸腔内，依靠肺根和肺韧带悬浮于纵膈两侧。人体各器官要正常工作都离不开氧气，而肺是输送氧气、排出二氧化碳的唯一器官，通过呼吸，肺泡会随时与大气接触并进行气体交换，吸入氧气、呼出二氧化碳。人体共有两个肺，左右各有一肺，肺表面覆盖胸膜和隔胸膜脏层。左肺狭长，被斜裂分成上、下叶；右肺宽短，按斜裂和水平裂分为上、中、下叶。因此，肺部一共分为五叶，包括左肺上叶、左肺下叶，右肺上叶、右肺中叶和右肺下叶。肺斜裂的体表投影对应于第三胸椎棘突至锁骨中线与第六肋相交处的斜线，右肺水平裂面的体表投影为右第四胸肋关节水平至腋中线与斜裂相交处。
目前通常使用x光片或ct影像进行肺部疾病的辅助诊断。ct（computedtomography），即电子计算机断层扫描，它是利用精确准直的x线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。ct的工作程序是这样的：它根据人体不同组织对x线束的吸收与透过率的不同，应用灵敏度极高的仪器对人体进行测量，然后将测量所获取的数据输入电子计算机，电子计算机对数据进行处理后，就可摄下人体被检查部位的断面或立体的图像，发现体内任何部位的细小病变。ct的扫描方式分为分平扫、造影增强扫描和造影扫描三。平扫是指不用造影增强或造影的普通扫描，一般ct检查都是先作平扫。
现有区分不同肺叶的方法主要依靠医生肉眼观察进行区分，其缺点是：1）对于完整的ct影像数据进行肺叶的区分，需要耗费大量时间；2）不同医生的判断结果可能存在差异；3）分叶结果不易记录，不能直观地展示给他人进行观看。
技术实现要素：
为了解决现有人工区分肺叶存在的耗费时间长、分叶结果有差异及不易记录展示等问题，本发明提供了一种ct影像肺部分叶方法，包括：
在ct平扫影像数据中标注肺部轮廓与不同的肺叶区域；
根据所述ct平扫影像数据和已标注的肺部轮廓数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型；
根据所述肺部轮廓分割模型提取出肺部轮廓，并利用第二神经网络对所述肺部轮廓数据和已标注的不同的肺叶区域进行训练学习，得到肺部分叶分割模型；
根据所述ct平扫影像数据和肺部分叶分割模型，分割出肺部分叶，并进行三维展示。
所述在ct平扫影像数据中标注肺部轮廓与不同的肺叶区域的步骤具体包括：
获取ct平扫影像数据，并清洗所述ct平扫影像数据；
采用手工勾勒标注法在清洗后的ct平扫影像数据中标注肺部轮廓与不同的肺叶区域。
所述根据所述ct平扫影像数据和已标注的肺部轮廓数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型的步骤具体包括：
调整清洗后的ct平扫影像分辨率至第一分辨率统一值，并根据预设的第一灰度值裁剪范围裁剪所述ct平扫影像的数值矩阵，对裁剪后的所述影像的数值矩阵中的数据进行归一化处理，使裁剪后的所述影像的数值矩阵中所有数值变为0-1之间的一个数值；
将归一化处理后的ct平扫影像数据进行随机裁剪，并使用随机裁剪后的ct平扫影像数据和已标注的肺部轮廓数据作为训练数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型。
所述第一灰度值裁剪范围为[-200，400]，所述随机裁剪的尺寸为[256,256,128]。
所述第一神经网络和第二神经网络均为3d-unet网络；所述第一神经网络的3d-unet网络训练过程中使用的损失函数包括dice-loss和交叉熵损失函数；所述第二神经网络的3d-unet网络训练过程中使用的损失函数包括两个dice-loss。
本发明还提供了一种ct影像肺部分叶系统，包括：
标注模块，用于在ct平扫影像数据中标注肺部轮廓与不同的肺叶区域；
第一训练学习模块，用于根据所述ct平扫影像数据和所述标注模块已标注的肺部轮廓数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型；
第二训练学习模块，用于根据所述第一训练学习模块得到的肺部轮廓分割模型提取出肺部轮廓，利用第二神经网络对所述肺部轮廓数据和所述标注模块已标注的不同的肺叶区域进行训练学习，得到肺部分叶分割模型；
分割展示模块，用于根据所述ct平扫影像数据和第二训练学习模块得到的肺部分叶分割模型，分割出肺部分叶，并进行三维展示。
所述标注模块包括：
获取清洗单元，用于获取及清洗ct平扫影像数据，去除存在伪影和/或扭曲变形的ct平扫影像数据；
标注单元，用于采用手工勾勒标注法在所述获取清洗单元清洗后的ct平扫影像数据中标注肺部轮廓与不同的肺叶区域。
所述第一训练学习模块包括：
第一设置单元，用于预设第一灰度值裁剪范围；
第一调整单元，用于调整清洗后的所述ct平扫影像分辨率至第一分辨率统一值；
第一裁剪单元，用于根据所述第一设置单元预设的第一灰度值裁剪范围裁剪所述ct平扫影像的数值矩阵；
第一归一化单元，用于将所述第一裁剪单元裁剪后的所述影像的数值矩阵中所有数值变为0-1之间的一个数值；
第二裁剪单元，用于将所述第一归一化单元处理后的ct平扫影像数据进行随机裁剪；
第一训练单元，用于使用所述第二裁剪单元裁剪后的ct平扫影像数据和所述标注单元已标注的肺部轮廓数据作为训练数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型。
所述第一神经网络和第二神经网络均为3d-unet网络；所述第一神经网络的3d-unet网络训练过程中使用的损失函数包括dice-loss和交叉熵损失函数；所述第二神经网络的3d-unet网络训练过程中使用的损失函数包括两个dice-loss。
本发明提供的ct影像肺部分叶方法及系统，通过将ct影像与人工智能技术相结合，利用人工智能深度学习技术，使计算机在短期内学习到了大量的ct影像特征，提高了ct影像数据的处理效率。本发明提供的ct影像肺部分叶方法及系统，可以快速地分割出肺部区域及肺部分叶，并对分割出的肺部分叶进行三维重建，便于直观展示分叶后的结果，可广泛应用于各种肺部疾病的检查，例如肺结节、肺癌、新冠肺炎等，为准确定位肺部目标区域提供帮助，以及辅助医生制定更有针对性的治疗方案。
附图说明
图1是本发明实施例提供的ct影像肺部分叶方法流程图；
图2是本发明实施例3d-unet神经网络的结构示意图；
图3a是本发明实施例一原始ct平扫影像示意图；
图3b是本发明实施例用肺部轮廓分割模型对图3a提取的肺部轮廓示意图；
图4是本发明实施例另一原始ct平扫影像示意图；
图5是对图4所示ct平扫影像数据进行人工标注的肺部分叶示意图；
图6是使用肺部分叶分割模型对图4所示ct平扫影像数据分割出的肺部分叶示意图；
图7是本发明实施例提供的ct影像肺部分叶系统的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明技术方案作进一步描述。
参见图1，本发明实施例提供的ct影像肺部分叶方法，具体包括如下步骤：
步骤s1、获取ct平扫影像数据，并标注ct平扫影像数据中肺部轮廓与不同的肺叶区域。
本实施例采集了1000例ct平扫影像数据，包括400例健康ct平扫影像数据、300例肺炎ct平扫影像数据和300例肺结节ct平扫影像数据，其中选取800例作为训练数据、200例作为测试数据，并标注了ct平扫影像数据中肺部轮廓与不同的肺叶区域，具体过程如下：
步骤s101、获取ct平扫影像数据，并清洗ct平扫影像数据。
ct平扫影像数据来源于多个被授权医疗中心及地区的不同年龄的人群，例如图3a是本实施例某一原始ct平扫影像示意图。清洗ct平扫影像数据，主要是指去除存在伪影和/或扭曲变形的ct平扫影像数据，以便得到符合神经网络训练要求的数据。
步骤s102、标注清洗后的ct平扫影像数据中肺部轮廓与不同的肺叶区域。
在具体应用中，采用手工勾勒标注法分别从矢状位、冠状位和柱状位三个方向进行数据标注，并参考原始二维ct平扫影像数据，对标注的三维结果进行三维修饰，使标注结果更加连续；标注的肺部轮廓和不同的肺叶区域数据格式保存为nrrd格式。
步骤s2、利用第一神经网络对ct平扫影像数据和已标注的肺部轮廓数据进行训练学习，得到肺部轮廓分割模型，并根据肺部轮廓分割模型提取出肺部轮廓。
由于ct平扫影像数据中包含肺部以外的其他脏器组织器官，这会对人工智能算法分割肺部分叶造成影响，因此需要先进行肺部轮廓的提取，具体过程如下：
步骤s201、调整清洗后的ct平扫影像分辨率至分辨率统一值，并根据预设的第一灰度值裁剪范围裁剪ct平扫影像的数值矩阵，对裁剪后的数据进行归一化处理。
ct平扫影像数据中的spacing信息包括每例ct平扫影像数据的切片厚度信息和每个像素点实际的长度与宽度信息。由于ct平扫影像数据库中存在不同的spacing数值，增加了计算机识别图像的困难，因此需要统一spacing值，例如spacing值可设定为所有spacing数值的中位数。本实施例spacing数值设为[1mm，1mm，2.5mm]。
ct平扫影像数据中的ct值代表x射线穿过各组织或器官被吸收后的衰减值，单位为hu（hounsfieldunit）；对ct值设置合适的取值范围，可以对应的看到ct平扫影像数据中不同的组织或器官。由于本实施例需要分割出肺部区域，因此设置ct值取值范围[-200，400]，并以此作为第一灰度值裁剪范围，对统一分辨率后的ct平扫影像的数值矩阵进行灰度值裁剪。在裁剪之后，还需要通过如下公式对ct平扫影像的数值矩阵中的数据进行归一化处理，使裁剪后的ct平扫影像的数值矩阵中所有数值变为0-1之间的一个数值：
其中，k代表裁剪后的ct平扫影像的数值矩阵中像素点的值。
步骤s202、将归一化处理后的ct平扫影像数据进行随机裁剪，并使用随机裁剪后的ct平扫影像数据和已标注的肺部轮廓数据作为训练数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型。
由于肺部ct平扫影像数据尺寸较大，每例ct平扫影像数据在深度学习过程中会占用大量显存，因此需要对归一化处理后的ct平扫影像数据进行随机裁剪。本实施例设置的随机裁剪尺寸为[256,256,128]。
由于不同的ct层之间具有语义相关性，因此选择三维的神经网络进行训练学习。本实施例第一神经网络采用3d-unet网络，其网络结构如图2所示。由于不仅需要正确地分割出整个肺部区域，而且还需要正确地分割出肺部边界，因此第一神经网络的3d-unet网络训练过程中使用dice-loss和交叉熵（crossentropyloss）两个损失函数。dice-loss是医学图像分割中常用的损失函数，dice是一种集合相似度度量函数，通常用于计算两个样本的相似度，dice-loss的数学表达式如下：
其中，
交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在深度学习中可以表示真实概率分布与预测概率分布之间的差异性，交叉熵的值越小，模型预测效果就越好。多分类问题的交叉熵损失函数如下：
其中，y表示样本的真实标签，p表示模型预测的样本分类概率，
在具体应用中，选择在测试集上dice分数最高的一轮模型作为最终的肺部轮廓分割模型。
步骤s203、根据肺部轮廓分割模型，提取出肺部轮廓。
图3b是本实施例使用得到的最终肺部轮廓分割模型对图3a所示的ct平扫影像提取出的肺部轮廓示意图。
步骤s3、利用第二神经网络对肺部轮廓数据和已标注的不同的肺叶区域进行训练学习，得到肺部分叶分割模型。
使用肺部轮廓数据和已标注的不同的肺叶区域作为训练数据，利用第二神经网络进行训练学习，得到肺部分叶分割模型。图4是本实施例另一ct平扫影像数据，图5是本实施例对图4所示的肺部进行人工标注的不同肺叶区域。本实施例第二神经网络与第一神经网络相同，即也选用3d-unet网络。但由于不仅需要准确地分割出五个肺叶，而且还需要准确地分割出不同肺叶与背景，因此第二神经网络的3d-unet网络训练过程中使用的损失函数包括两个dice-loss，其中一个dice-loss用于分割出五个肺叶，另一个dice-loss用于分割出五个肺叶与背景。
在具体应用中，选择在测试集上dice分数最高的一轮模型作为最终的肺部分叶分割模型。
步骤s4、根据ct平扫影像数据和肺部分叶分割模型，分割出肺部分叶，并进行三维展示。
将任一例ct平扫影像数据输入肺部分叶分割模型，可以得到肺部分叶结果。例如，图4所示的ct平扫影像数据输入肺部分叶分割模型，可以得到如图6所示的肺部分叶结果。将得到的肺部分叶结果进行三维重建，并展示三维重建结果。在实际应用中，可以对三维的肺部分叶结果进行旋转查看，以便对不同的分叶结果进行查看。
参见下表1，本实施例采集了1000例来自多个中心及地区的不同年龄的ct平扫影像数据，选取800例作为训练数据，进行神经网络3d-unet训练学习，得到肺部分叶分割模型；选取200例作为测试数据，输入肺部分叶分割模型，分割出肺部分叶。由表1可以看出，训练集损失函数dice和测试集损失函数dice的分数均接近1，且训练集损失函数dice和测试集损失函数dice的分数接近，从而验证了肺部分叶区域分割模型的准确性和泛化性。同时，通过ct影像也可验证肺部分叶分割模型的准确性：图5是对图4所示ct平扫影像数据进行人工标注的肺部分叶结果示意图，图6是使用肺部分叶分割模型对图4所示ct平扫影像数据分割出的肺部分叶结果示意图；由图5与图6的比对可以看出，通过肺部分叶分割模型分割出的肺部分叶结果与ct平扫影像中标注的肺部分叶结果的相近似度极高，从而再次验证了肺部分叶分割模型的准确性。
表1
本发明实施例提供的ct影像肺部分叶方法，通过将ct影像与人工智能技术相结合，利用人工智能深度学习技术，使计算机在短期内学习到了大量的ct影像特征，提高了ct影像数据的处理效率。本发明实施例提供的ct影像肺部分叶方法，可以快速地分割出肺部区域及肺部分叶，并对分割出的肺部分叶进行三维重建，便于直观展示分叶后的结果，可广泛应用于各种肺部疾病的检查，例如肺结节、肺癌、新冠肺炎等，为准确定位肺部目标区域提供帮助，以及辅助医生制定更有针对性的治疗方案。
参见图7，本发明实施例还提供了一种ct影像肺部分叶系统，该系统包括：
标注模块，用于在ct平扫影像数据中标注肺部轮廓与不同的肺叶区域；
第一训练学习模块，用于根据ct平扫影像数据和标注模块已标注的肺部轮廓数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型；
第二训练学习模块，用于根据第一训练学习模块得到的肺部轮廓分割模型提取出肺部轮廓，利用第二神经网络对肺部轮廓数据和标注模块已标注的不同的肺叶区域进行训练学习，得到肺部分叶分割模型；
分割展示模块，用于根据ct平扫影像数据和第二训练学习模块得到的肺部分叶分割模型，分割出肺部分叶，并进行三维展示。
其中，标注模块进一步包括：
获取清洗单元，用于获取及清洗ct平扫影像数据，去除存在伪影和/或扭曲变形的ct平扫影像数据；
标注单元，用于采用手工勾勒标注法在获取清洗单元清洗后的ct平扫影像数据中标注肺部轮廓与不同的肺叶区域。
其中，第一训练学习模块进一步包括：
第一设置单元，用于预设第一灰度值裁剪范围；
第一调整单元，用于调整清洗后的ct平扫影像分辨率至第一分辨率统一值；
第一裁剪单元，用于根据第一设置单元预设的第一灰度值裁剪范围裁剪ct平扫影像的数值矩阵；
第一归一化单元，用于将第一裁剪单元裁剪后的影像的数值矩阵中所有数值变为0-1之间的一个数值；
第二裁剪单元，用于将第一归一化单元处理后的ct平扫影像数据进行随机裁剪；
第一训练单元，用于使用第二裁剪单元裁剪后的ct平扫影像数据和标注单元已标注的肺部轮廓数据作为训练数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型。
在具体应用中，第一神经网络和第二神经网络均为3d-unet网络；第一神经网络的3d-unet网络训练过程中使用的损失函数包括dice-loss和交叉熵（crossentropyloss）两个损失函数；第二神经网络的3d-unet网络训练过程中使用的损失函数包括两个dice-loss。
本发明实施例提供的ct影像肺部分叶方法及系统，通过将ct影像与人工智能技术相结合，利用人工智能深度学习技术，使计算机在短期内学习到了大量的ct影像特征，提高了ct影像数据的处理效率。本发明实施例提供的ct影像肺部分叶方法及系统，可以快速地分割出肺部区域及肺部分叶，并对分割出的肺部分叶进行三维重建，便于直观展示分叶后的结果，可广泛应用于各种肺部疾病的检查，例如肺结节、肺癌、新冠肺炎等，为准确定位肺部目标区域提供帮助，以及辅助医生制定更有针对性的治疗方案。
在实际应用中，本实施例中所涉及的各个功能模块及单元，均可以由运行在计算机硬件上的计算机程序实现，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的硬件指的是包含一个或者多个处理器和存储介质的服务器或者台式计算机、笔记本电脑等；所述的存储介质可为磁碟、光盘、只读存储记忆体（read-onlymemory，rom）或随机存储记忆体（randomaccessmemory，ram）等；所述计算机程序由不限于c、c 等计算机语言实现。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种ct影像肺部分叶方法，其特征在于，包括：
在ct平扫影像数据中标注肺部轮廓与不同的肺叶区域；
根据所述ct平扫影像数据和已标注的肺部轮廓数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型；
根据所述肺部轮廓分割模型提取出肺部轮廓，并利用第二神经网络对所述肺部轮廓数据和已标注的不同的肺叶区域进行训练学习，得到肺部分叶分割模型；
根据所述ct平扫影像数据和肺部分叶分割模型，分割出肺部分叶，并进行三维展示。
2.如权利要求1所述的ct影像肺部分叶方法，其特征在于，所述在ct平扫影像数据中标注肺部轮廓与不同的肺叶区域的步骤具体包括：
获取ct平扫影像数据，并清洗所述ct平扫影像数据；
采用手工勾勒标注法在清洗后的ct平扫影像数据中标注肺部轮廓与不同的肺叶区域。
3.如权利要求2所述的ct影像肺部分叶方法，其特征在于，所述根据所述ct平扫影像数据和已标注的肺部轮廓数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型的步骤具体包括：
调整清洗后的ct平扫影像分辨率至第一分辨率统一值，并根据预设的第一灰度值裁剪范围裁剪所述ct平扫影像的数值矩阵，对裁剪后的所述影像的数值矩阵中的数据进行归一化处理，使裁剪后的所述影像的数值矩阵中所有数值变为0-1之间的一个数值；
将归一化处理后的ct平扫影像数据进行随机裁剪，并使用随机裁剪后的ct平扫影像数据和已标注的肺部轮廓数据作为训练数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型。
4.如权利要求3所述的ct影像肺部分叶方法，其特征在于，所述第一灰度值裁剪范围为[-200，400]，所述随机裁剪的尺寸为[256,256,128]。
5.如权利要求4所述的ct影像肺部分叶方法，其特征在于，所述第一神经网络和第二神经网络均为3d-unet网络；所述第一神经网络的3d-unet网络训练过程中使用的损失函数包括dice-loss和交叉熵损失函数；所述第二神经网络的3d-unet网络训练过程中使用的损失函数包括两个dice-loss。
6.一种ct影像肺部分叶系统，其特征在于，包括：
标注模块，用于在ct平扫影像数据中标注肺部轮廓与不同的肺叶区域；
第一训练学习模块，用于根据所述ct平扫影像数据和所述标注模块已标注的肺部轮廓数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型；
第二训练学习模块，用于根据所述第一训练学习模块得到的肺部轮廓分割模型提取出肺部轮廓，利用第二神经网络对所述肺部轮廓数据和所述标注模块已标注的不同的肺叶区域进行训练学习，得到肺部分叶分割模型；
分割展示模块，用于根据所述ct平扫影像数据和第二训练学习模块得到的肺部分叶分割模型，分割出肺部分叶，并进行三维展示。
7.如权利要求6所述的ct影像肺部分叶系统，其特征在于，所述标注模块包括：
获取清洗单元，用于获取及清洗ct平扫影像数据，去除存在伪影和/或扭曲变形的ct平扫影像数据；
标注单元，用于采用手工勾勒标注法在所述获取清洗单元清洗后的ct平扫影像数据中标注肺部轮廓与不同的肺叶区域。
8.如权利要求7所述的ct影像肺部分叶系统，其特征在于，所述第一训练学习模块包括：
第一设置单元，用于预设第一灰度值裁剪范围；
第一调整单元，用于调整清洗后的所述ct平扫影像分辨率至第一分辨率统一值；
第一裁剪单元，用于根据所述第一设置单元预设的第一灰度值裁剪范围裁剪所述ct平扫影像的数值矩阵；
第一归一化单元，用于将所述第一裁剪单元裁剪后的所述影像的数值矩阵中所有数值变为0-1之间的一个数值；
第二裁剪单元，用于将所述第一归一化单元处理后的ct平扫影像数据进行随机裁剪；
第一训练单元，用于使用所述第二裁剪单元裁剪后的ct平扫影像数据和所述标注单元已标注的肺部轮廓数据作为训练数据，利用第一神经网络进行训练学习，得到肺部轮廓分割模型。
9.如权利要求8所述的ct影像肺部分叶系统，其特征在于，所述第一神经网络和第二神经网络均为3d-unet网络；所述第一神经网络的3d-unet网络训练过程中使用的损失函数包括dice-loss和交叉熵损失函数；所述第二神经网络的3d-unet网络训练过程中使用的损失函数包括两个dice-loss。
技术总结