本发明涉及ct序列图像分割方法与系统，尤其是涉及一种脊柱ct序列图像分割方法与系统。
背景技术：
脊柱手术因其切口小、损伤少在世界各地正如火如荼地开展起来，而精准的手术规划是脊柱手术成功的关键，其中各类医学影像技术则是脊柱手术术前计划制定的基石。常规的脊柱手术的规划严重依赖于外科医生的主观经验，这正是因为常规医学影像提供的客观信息还不够全面。目前，脊柱外科医生的手术方案制定主要依赖于传统的二维影像，包括x光平片、ct和核磁共振。x光能快速地提供脊柱骨性结构的二维信息，在诊断椎体骨折、脊柱畸形等方面有重要临床价值，但在脊柱手术方案制定上价值比较有限。核磁共振因能清晰显示脊柱周围的部分神经而在脊柱疾病的诊疗上有举足轻重的地位，但目前核磁共振仅在临床上提供几个二维切面的影像信息，这对于手术方案的仔细规划是远远不够的。
ct因为扫描快速、价格合适而普及面非常广，其在脊柱的诊疗上也有非常重要的地位。相对于常规的ct而言，薄层ct密度分辨力好，能提供更多的信息，除了能清晰显示骨性结构，在显示椎间盘、神经、血管等软性组织也有非常良好的效果，从而使其在诊断侧隐窝狭窄、椎间孔狭窄、椎管狭窄、椎间盘突出、韧带肥厚等各种病因而引起的神经受压、脊柱骨折、厚重韧带骨化、脊柱肿瘤等脊柱疾病有着非常重要的诊断价值。同时，在薄层ct的基础上，三维重建血管神经等软性组织对于脊柱疾病的诊疗具有非常重大的临床意义。以往的方法是往血管里注射造影剂等方法去增强血管神经的显示，从而实现三维重建。但这种造影剂增强的方法会增加肾脏代谢的负担，对于一些肾功能不全的患者则风险较高，同时部分患者对造影剂存在过敏反应。因此，如何准确地将脊柱的骨性组织及其毗邻的非骨性组织进行分割并完成三维数字化重建显得至关重要，将为脊柱疾病的诊疗提供全方位多视角的辅助，同时为脊柱疾病的手术导航和机器人手术提供新的技术解决方案。
技术实现要素：
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种脊柱ct序列图像分割方法与系统。
本发明的目的可以通过以下技术方案来实现：
一种脊柱ct序列图像分割方法，该方法包括训练阶段和测试阶段，
所述的训练阶段包括如下步骤：
(a1)人工标注：获取多套ct序列图像，并对ct序列图像中的骨性结构以及各类非骨性组织进行人工语义分割得到人工标注的三维掩模图像；
(a2)数据集预处理：对ct序列图像及其人工标注的三维掩模图像进行预处理，构建全局语义分割数据集；
定位并截取ct序列图像及其人工标注的三维掩模图像中的脊柱核心段，构建局部语义分割数据集；
(a3)构建全局语义分割网络和局部语义分割网络；
(a4)采用预处理的全局语义分割数据集对全局语义分割网络进行训练，采用局部语义分割数据集对局部语义分割网络进行训练；
所述的测试阶段包括如下步骤：
(b1)获取待分割的ct序列图像；
(b2)对ct序列图像进行预处理；
(b3)采用训练好的全局语义分割网络对预处理后的ct序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像；
(b4)根据全局三维掩模图像，定位并截取脊柱核心段，采用训练好的局部语义分割网络对ct序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像；
(b5)根据脊柱核心段在全局三维掩模图像中的定位，将脊柱核心段的局部三维掩模图像插入全局三维掩模图像中，合成最终的三维掩模图像。
步骤(a2)具体包括：1、标准化操作，即依序执行：(a)将ct序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作；(c)将白化操作后的ct序列图像按照既定的窗口大小分割为小块体数据；2、数据增广形成新样本，即随机执行以下一个或多个操作：(d)对ct序列图像的3个维度的体素间距增加一小量随机扰动；(e)对ct序列图像添加小量随机噪声；(f)对小块体数据进行随机左右镜像和前后镜像变换。
步骤(b2)具体包括：(a)将ct序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作。
所述的全局语义分割网络和局部语义分割网络均为全卷积生成对抗网络。
所述的全卷积生成对抗网络包括生成模型和判别模型，所述的生成模型输入为预处理后的ct序列图像，输出为三维掩模图像，所述的判别模型用于判别生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异并更新生成模型参数，进而使得生成模型输出的三维掩模图像与人工标注的三维掩模图像无限趋近。
生成模型的损失函数
其中函数
式中，
一种脊柱ct序列图像分割系统，该系统基于上述方法进行ct序列图像分割，所述的ct序列图像分割系统包括：
影像获取模块(1)：该模块获取ct序列图像；
预处理模块(2)：该模块对ct序列图像进行预处理；
模型训练模块(3)：该模块对全局语义分割网络和局部语义分割网络进行训练；
语义分割模块(4)：该模块首先采用预先训练的全局语义分割网络对预处理后的ct序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像，然后采用预先训练的局部语义分割网络对ct序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像，最后将全局三维掩模图像和局部三维掩模图像合成为最终的三维掩模图像。
与现有技术相比，本发明具有如下优点：
(1)本发明采用基于深度学习的方法对脊柱ct序列图像中骨性结构以及各类非骨性组织进行快速自动分割，分割结果准确可靠；
(2)本发明设置全局语义分割网络和局部语义分割网络对脊柱ct序列图像进行全局语义分割和局部语义分割，全局语义分割将ct序列图像中的骨性结构以及非骨性组织进行初步分离，局部语义分割则将ct序列图像中脊柱核心段的各类不同的非骨性组织(如神经、血管、韧带等)进行细分割，进而分割结果更加精准；
(3)本发明全局语义分割网络和局部语义分割网络均采用全卷积生成对抗网络，进一步提高了分割结果的准确可靠性；
(4)本发明对脊柱ct序列图像进行快速有效分割，进而在此基础上可进行三维重建，无需造影剂的增强即可实现软组织的识别，减轻了肾脏代谢的负担，避免了造影剂过敏反应，为脊柱疾病诊疗方案的制定提供全方位多视角的影像辅助，也为脊柱疾病的手术导航和机器人手术提供新的技术解决方案。
附图说明
图1为本发明一种脊柱ct序列图像分割方法的流程框图；
图2为本发明实施例中局部语义分割网络的结构示意图；
图3为本发明一种脊柱ct序列图像分割系统的结构框图；
图4为本实施例中某脊柱ct序列图像的三维掩模图像的切片，4(a)为人工标注的三维掩模图像的切片，4(b)为通过3d-unet生成模型生成的三维掩模图像的切片；
图5为本实施例中三维重建后的效果示意图；
图6为本实施例中手术规划示意图。
图中，1为影像获取模块，2为预处理模块，3为模型训练模块，4为语义分割模块。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
如图1所示，一种脊柱ct序列图像分割方法，该方法包括训练阶段和测试阶段，
训练阶段包括如下步骤：
(a1)人工标注：获取多套ct序列图像，并对ct序列图像中的骨性结构以及各类非骨性组织进行人工语义分割得到人工标注的三维掩模图像；
(a2)数据集预处理：对ct序列图像及其人工标注的三维掩模图像进行预处理，构建全局语义分割数据集；
定位并截取ct序列图像及其人工标注的三维掩模图像中的脊柱核心段，构建局部语义分割数据集；
(a3)构建全局语义分割网络和局部语义分割网络；
(a4)采用预处理的全局语义分割数据集对全局语义分割网络进行训练，采用局部语义分割数据集对局部语义分割网络进行训练；
测试阶段包括如下步骤：
(b1)获取待分割的ct序列图像；
(b2)对ct序列图像进行预处理；
(b3)采用训练好的全局语义分割网络对预处理后的ct序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像；
(b4)根据全局三维掩模图像，定位并截取脊柱核心段，采用训练好的局部语义分割网络对ct序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像；
(b5)根据脊柱核心段在全局三维掩模图像中的定位，将脊柱核心段的局部三维掩模图像插入全局三维掩模图像中，合成最终的三维掩模图像。
步骤(a2)具体包括：1、标准化操作，即依序执行：(a)将ct序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作；(c)将白化操作后的ct序列图像按照既定的窗口大小分割为小块体数据；2、数据增广形成新样本，即随机执行以下一个或多个操作：(d)对ct序列图像的3个维度的体素间距增加一小量随机扰动；(e)对ct序列图像添加小量随机噪声；(f)对小块体数据进行随机左右镜像和前后镜像变换。
步骤(b2)具体包括：(a)将ct序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作。
全局语义分割网络和局部语义分割网络均为全卷积生成对抗网络。
全卷积生成对抗网络包括生成模型和判别模型，生成模型输入为预处理后的ct序列图像，输出为三维掩模图像，判别模型用于判别生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异并更新生成模型参数，进而使得生成模型输出的三维掩模图像与人工标注的三维掩模图像无限趋近。
生成模型的损失函数
其中函数
式中，
具体地，全局语义分割网络和局部语义分割网络采用的全卷积生成对抗网络的结构相同，内部参数根据实际训练结果获得，本实施例以局部语义分割网络为例进行说明。局部语义分割网络采用的全卷积生成对抗网络的具体结构如图2所示，图中，3d-unet即为3d-unet生成模型，图中虚线框中为判别模型。判别模型中：
第1层是卷积层conv0，卷积核大小为3×3×3，卷积核数目为n，步长为1，激活函数为elu函数；
第2层是卷积层conv1，卷积核大小为3×3×3，卷积核数目为n，步长为1，激活函数为elu函数；第3层是卷积层conv2，卷积核大小为3×3×3，卷积核数目为2n，步长为2，激活函数为elu函数；
第4层是卷积层conv3，卷积核大小为3×3×3，卷积核数目为3n，步长为1，激活函数为elu函数；第5层是卷积层conv4，卷积核大小为3×3×3，卷积核数目为2n，步长为2，激活函数为elu函数；
第6层是卷积层conv5，卷积核大小为3×3×3，卷积核数目为3n，步长为1，激活函数为elu函数；第7层是卷积层conv6，卷积核大小为3×3×3，卷积核数目为h，步长为1，激活函数为elu函数；
第8层是卷积层conv7，卷积核大小为3×3×3，卷积核数目为h，步长为1，激活函数为elu函数；第9层是卷积层conv8，卷积核大小为3×3×3，卷积核数目为3n，步长为1，激活函数为elu函数；
第10层是上采样层，上采样因子为2×2×2；
第11层是卷积层conv9，卷积核大小为3×3×3，卷积核数目为3n，步长为1，激活函数为elu函数；第12层是卷积层conv10，卷积核大小为3×3×3，卷积核数目为2n，步长为1，激活函数为elu函数；
第13层是上采样层，上采样因子为2×2×2；
第14层是卷积层conv11，卷积核大小为3×3×3，卷积核数目为2n，步长为1，激活函数为elu函数；第15层是卷积层conv12，卷积核大小为3×3×3，卷积核数目为n，步长为1，激活函数为elu函数；
第16层是卷积层conv13，卷积核大小为3×3×3，卷积核数目为3，步长为1，激活函数为softmax函数。
具体地，本发明全卷积生成对抗网络通过如下方式获得：
收集多套脊柱ct序列图像并对其中的骨性结构(脊柱)以及各类非骨性组织(如神经、血管、韧带)进行人工标注，将标注数据分为训练集、验证集和测试集，采用训练集进行全卷积生成对抗网络的训练。
首先，将训练集中的脊柱ct序列图像进行预处理，该预处理与上述脊柱手术规划实际应用时的预处理相同，包括(a)将脊柱ct序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作；(c)将白化操作后的脊柱ct序列图像按照既定的窗口大小分割为小块体数据。其中，训练时的体素间距标称值、白化操作参数和窗口大小均与实际应用时的预处理操作采用的参数相等。然后，对预处理后的脊柱ct序列图像进行扩增操作包括：对数据集进行限定比例范围内的大小缩放和镜像变换，由此，扩大的训练集中样本的个数，从而提高模型训练的准确性。
完成上述预处理和扩增操作后，便建立上述全卷积生成对抗网络，进而进行全卷积生成对抗网络的训练优化全卷积生成对抗网络中的各个参数，具体训练算法如下：
输入：含有n个样本(x，y)的训练集(x,y)，最小批量数n，最大周期数m，3d-unet生成模型的学习率ηg、判别模型的学习率ηd，其中x表示预处理后的脊柱ct序列图像，y表示人工标注的三维掩模图像；
输出：训练好的网络参数(θg,θd)，θg表示3d-unet生成模型的参数，θd表示判别模型的参数。
训练过程为：
1、构建全卷积生成对抗网络，并随机初始化网络参数(θg,θd)；
2、循环t∈{1,2,…,mn/n}，执行3～8：
3、从乱序训练集获取一个批量的训练数据赋值给(xn,yn)；
4、g(xn；θg)前向传播，g(xn；θg)表示生成模型，输入为xn；
5、d(g(xn；θg)；θd)前向传播，d(g(xn；θg)；θd)表示判别模型，输入为g(xn；θg)；
6、d(yn；θd)前向传播，d(yn；θd)表示判别模型，输入为yn；
7、g(xn；θg)后向传播，更新模型参数θg，具体地：
8、d(·；θd)后向传播，更新模型参数θd，d(·；θd)表示判别模型，输入为yn或g(xn；θg)，具体地：
如图3所示，一种脊柱ct序列图像分割系统，该系统基于上述方法进行ct序列图像分割，ct序列图像分割系统包括：
影像获取模块1：该模块获取ct序列图像；
预处理模块2：该模块对ct序列图像进行预处理；
模型训练模块3：该模块对全局语义分割网络和局部语义分割网络进行训练；
语义分割模块4：该模块首先采用预先训练的全局语义分割网络对预处理后的ct序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像，然后采用预先训练的局部语义分割网络对ct序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像，最后将全局三维掩模图像和局部三维掩模图像合成为最终的三维掩模图像。
该系统预处理模块2预处操作与上述方法中一致，全卷积生成对抗网络也与上述方法中全卷积生成对抗网络一致，这里不再赘述。
本发明基于深度学习的ct序列图像分割方法及系统能够对脊柱ct序列图像中的骨性结构以及各类非骨性组织进行快速自动分割，分割结果准确可靠。在上述自动分割的基础上可以进行病灶定位识别以及手术方案规划。具体而言，首先，通过全卷积生成对抗网络进行自动语义分割并获取对应的三维掩模图像后，将脊柱ct序列图像和对应的三维掩模图像结合进行分析可以检测受压神经，并对检测出的受压神经进行严重程度分类，实现病灶定位识别。另外，还可将获取得到的三维掩模图像进行三维重建获得三维重建影像，进而根据三维重建影像规划手术方案，包括手术医疗器械的选择，植入物的形状、大小和材料。
本实施例采用上述基于深度学习的ct序列图像分割方法及系统进行ct序列图像分割，如图4(a)所示为人工标注的三维掩模图像的切片，4(b)为通过3d-unet生成模型生成的三维掩模图像的切片，图中a为骨性结构，b为非骨性组织，由此，本发明3d-unet生成模型进行语义分割获得的三维掩模图像结果准确。再上述分割的基础上，本实施例进行了脊柱手术规划，图5为本实施例中三维重建后的效果示意图，图中a为骨性结构，c为神经根。通过三维重建后的三维重建影像规划手术方案，由此确定了进入手术操作区域的工作通道d，具体如图6所示。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
1.一种脊柱ct序列图像分割方法，其特征在于，该方法包括训练阶段和测试阶段，
所述的训练阶段包括如下步骤：
(a1)人工标注：获取多套ct序列图像，并对ct序列图像中的骨性结构以及各类非骨性组织进行人工语义分割得到人工标注的三维掩模图像；
(a2)数据预处理：对ct序列图像及其人工标注的三维掩模图像进行预处理，构建全局语义分割数据集；
定位并截取ct序列图像及其人工标注的三维掩模图像中的脊柱核心段，构建局部语义分割数据集；
(a3)构建全局语义分割网络和局部语义分割网络；
(a4)采用预处理的全局语义分割数据集对全局语义分割网络进行训练，采用局部语义分割数据集对局部语义分割网络进行训练；
所述的测试阶段包括如下步骤：
(b1)获取待分割的ct序列图像；
(b2)对ct序列图像进行预处理；
(b3)采用训练好的全局语义分割网络对预处理后的ct序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像；
(b4)根据全局三维掩模图像，定位并截取脊柱核心段，采用训练好的局部语义分割网络对ct序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像；
(b5)根据脊柱核心段在全局三维掩模图像中的定位，将脊柱核心段的局部三维掩模图像插入全局三维掩模图像中，合成最终的三维掩模图像。
2.根据权利要求1所述的一种脊柱ct序列图像分割方法，其特征在于，步骤(a2)具体包括：1、标准化操作，即依序执行：(a)将ct序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作；(c)将白化操作后的ct序列图像按照既定的窗口大小分割为小块体数据；2、数据增广形成新样本，即随机执行以下一个或多个操作：(d)对ct序列图像的3个维度的体素间距增加一小量随机扰动；(e)对ct序列图像添加小量随机噪声；(f)对小块体数据进行随机左右镜像和前后镜像变换。
3.根据权利要求1所述的一种脊柱ct序列图像分割方法，其特征在于，步骤(b2)具体包括：(a)将ct序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作。
4.根据权利要求1所述的一种脊柱ct序列图像分割方法，其特征在于，所述的全局语义分割网络和局部语义分割网络均为全卷积生成对抗网络。
5.根据权利要求4所述的一种脊柱ct序列图像分割方法，其特征在于，所述的全卷积生成对抗网络包括生成模型和判别模型，所述的生成模型输入为预处理后的ct序列图像，输出为三维掩模图像，所述的判别模型用于判别生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异并更新生成模型参数，进而使得生成模型输出的三维掩模图像与人工标注的三维掩模图像无限趋近。
6.根据权利要求5所述的一种脊柱ct序列图像分割方法，其特征在于，生成模型的损失函数
其中函数
式中，
7.一种脊柱ct序列图像分割系统，其特征在于，该系统基于上述权利要求1～6所述任意一项所述的方法进行ct序列图像分割，所述的ct序列图像分割系统包括：
影像获取模块(1)：该模块获取ct序列图像；
预处理模块(2)：该模块对ct序列图像进行预处理；
模型训练模块(3)：该模块对全局语义分割网络和局部语义分割网络进行训练；
语义分割模块(4)：该模块首先采用预先训练的全局语义分割网络对预处理后的ct序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像，然后采用预先训练的局部语义分割网络对ct序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像，最后将全局三维掩模图像和局部三维掩模图像合成为最终的三维掩模图像。
技术总结