本发明涉及医学图像处理领域，尤其涉及一种鼻咽癌的病灶图像分割装置、设备及计算机可读存储介质。
背景技术：
鼻咽癌作为高发恶性肿瘤之一，其发病率为耳鼻咽喉恶性肿瘤之首。而为对鼻咽癌患者进行治疗，需要确定鼻咽癌病灶，临床中一般是通过对核磁共振图像进行图像处理，从而实现对鼻咽癌病灶的识别。
在现有的医学图像处理中，一般是基于数字图像处理、基于传统机器学习或是基于深度学习。
基于数字图像处理的方法，如基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法等图像处理方法。基于传统机器学习的方法，首先对图像分块进行特征提取，再使用分类器如svm等分类器对分块中心像素进行分类。基于深度学习的方法，如u－net、fcn等深度学习模型。该类方法采用端到端的模型，由深度学习模型来自动提取特征。
而发明人在研究中发现，基于数字图像处理的方法过于简单，只使用了图像的一些基本的特征，该类方法适用于分割前景与后景有明显区别的情景。然而，在核磁共振图像中，鼻咽癌病灶与周边的组织非常难以分辨，因此基于数字图像处理的方法在鼻咽癌病灶分割上效果不佳；基于传统机器学习的现有技术存在的缺点主要在于很难拟合大量的数据，在大数据集上性能不如深度学习模型，且需要对图像进行分块处理，速度较慢；基于深度学习的现有技术没有很好地利用深度学习模型里不同层的特征图之间的关联。在核磁共振影像中，鼻咽癌与周边组织非常难以分辨，采用现有的深度学习网络而不加以修改，很难将鼻咽癌分割出来。常见的深度学习分割模型如u－net、fcn等在鼻咽癌病灶分割上效果不佳，且对鼻咽癌病灶的边缘识别不准确。
技术实现要素：
本发明实施例提供一种鼻咽癌的病灶图像分割装置、设备及计算机可读存储介质，能通过循环注意力机制，有效提升对医学图像中的鼻咽癌病灶分割效率。
本发明实施例提供一种鼻咽癌的病灶图像分割装置，包括：
图像获取模块，用于获取待分割图像；
第一循环注意力模块，用于根据所述待分割图像，获取所述待分割图像的初级各层特征图；
第二循环注意力模块，用于根据所述初级各层特征图，获取所述待分割图像的高级各层特征图；
激活函数模块，用于根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构。
作为上述方案的改进，所述待分割图像为mr图像的t1加权像、t2加权像和增强的t1加权像。
作为上述方案的改进，所述第一循环注意力模块包括编码器、第一循环注意力模型和解码器；
所述编码器，用于根据所述待分割图像提取出原始各层特征图；
所述第一循环注意力模型为通道层面的循环注意力模型，用于根据所述原始各层特征图，分别通过全局池化以及卷积层，按深层到浅层的时序，将张量展开为向量输入lstm，各层通过所述lstm得出的向量重构为张量，再与该层对应的原始特征图进行广播点乘后，将更重要的特征权重放大，将较为无关的特征权重缩小，得到第一各层特征图；
所述解码器，用于根据所述第一各层特征图生成所述初级各层特征图。
作为上述方案的改进，所述第一循环注意力模型训练采用的损失函数为dice函数；其中，在训练阶段，对真实病灶进行边缘检测，将检测到的病灶边缘进行上、下、左、右抖动k个像素，将抖动过程中边缘覆盖到的像素对应的损失权重设置为w＿b，其他像素的权重为1；其中，k和w＿b均为正整数。
作为上述方案的改进，所述编码器为resnet－50，所述解码器为u－net架构中的解码器。
作为上述方案的改进，所述第二循环注意力模块包括第二循环注意力模型；
所述第二循环注意力模型为区域层面的循环注意力模型，用于根据所述初级各层特征图，分别通过自适应池化以及卷积层，按深层到浅层的时序，将张量展开为向量输入lstm，最后将lstm得到的向量重构为张量，再上采样到与该层对应的初级特征图同样的分辨率，将该层上采样后的特征图与该层对应的初级特征图进行点乘，即可将更重要的区域权重放大，将较为无关的区域权重缩小，得到所述高级各层特征图。
作为上述方案的改进，所述第二循环注意力模型训练采用的损失函数为dice函数；其中，在训练阶段，对真实病灶进行边缘检测，将检测到的病灶边缘进行上、下、左、右抖动k个像素，将抖动过程中边缘覆盖到的像素对应的损失权重设置为w＿b，其他像素的权重为1；其中，k和w＿b均为正整数。
作为上述方案的改进，k取值为3；w＿b取值为2。
本发明实施例还提供了一种鼻咽癌的病灶图像分割设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的鼻咽癌的病灶图像分割装置。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备实现如上任意一项所述的鼻咽癌的病灶图像分割装置。
本发明实施例提供的一种鼻咽癌的病灶图像分割装置、设备及计算机可读存储介质，通过图像获取模块获取待分割图像，并通过第一循环注意力模块根据所述待分割图像，获取所述待分割图像的初级各层特征图，进一步由第二循环注意力模块根据所述初级各层特征图，获取所述待分割图像的高级各层特征图，最后由激活函数模块根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构，实现对鼻咽癌的病灶图像分割。利用较深层特征图的语义信息来引导较浅层迭代学习通道上以及区域上的注意力权重，使用浅层的特征图更加关注与鼻咽癌更加相关的特征以图像区域，有效提升对医学图像中的鼻咽癌病灶分割效率。
附图说明
图1是本发明实施例1提供的一种鼻咽癌的病灶图像分割装置的结构示意图。
图2是本发明实施例2提供的一种鼻咽癌的病灶图像分割方法的流程示意图。
图3是本发明实施例3提供的一种鼻咽癌的病灶图像分割设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提供了一种鼻咽癌的病灶图像分割装置100。参见图1，是所述病灶图像分割装置100的结构示意图，包括图像获取模块110、第一循环注意力模块120、第二循环注意力模块130和激活函数模块140。
所述图像获取模块110，用于获取待分割图像。所述第一循环注意力模块120，用于根据所述待分割图像，获取所述待分割图像的初级各层特征图。所述第二循环注意力模块130，用于根据所述初级各层特征图，获取所述待分割图像的高级各层特征图。所述激活函数模块140，用于根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构。
在所述病灶图像分割装置100的工作过程中，首先由所述图像获取模块110获取所述待分割图像，然后由所述第一循环注意力模块120根据所述待分割图像，获取所述待分割图像的所述初级各层特征图，再将所述初级各层特征图输入所述第二循环注意力模块130，由所述第二循环注意力模块130根据所述初级各层特征图，获取所述待分割图像的高级各层特征图，并最后由所述激活函数模块140根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构，完成对所述待分割图像的分割任务。
优选地，所述待分割图像为mr图像的t1加权像(t1－weight)、t2加权像(t2－weight)和增强的t1加权像(contrastt1－weight，t1c)。也即，可以将mr图像的t1加权像、t2加权像和增强的t1加权像一同作为所述待分割图像输入到所述病灶图像分割装置100中。
优选地，所述第一循环注意力模块120包括编码器121、第一循环注意力模型122和解码器123。
其中，所述编码器121，用于根据所述待分割图像提取出原始各层特征图。所述第一循环注意力模型122为通道层面的循环注意力模型(cram)，用于根据所述原始各层特征图，分别通过全局池化以及卷积层，按深层到浅层的时序，将张量展开为向量输入lstm，各层通过所述lstm得出的向量重构为张量，再与该层对应的原始特征图进行广播点乘后，将更重要的特征权重放大，将较为无关的特征权重缩小，得到第一各层特征图。所述解码器123，用于根据所述第一各层特征图生成所述初级各层特征图。
具体地，在所述第一循环注意力模块120的工作过程中，由所述编码器110对所述待分割图像进行特征提取，得到所述原始各层特征图。在将所述原始各层特征图按由高层到底层的顺序输入所述第一循环注意力型122，分别通过全局池化以及卷积层，按深层到浅层的时序，将张量展开为向量输入lstm，各层通过lstm后得出的向量重新reshape为张量，再与该层对应的原始特征图进行广播点乘后，将更重要的特征权重放大，将较为无关的特征权重缩小，得到所述第一各层特征图。然后将所述第一各层特征图输入所述解码器123，由所述解码器123根据所述第一各层特征图生成所述初级各层特征图。
更具体地，所述编码器121可以是resnet－50，所述解码器123可以是u－net架构中的解码器，从而提高模型的泛化能力并加快模型训练的收敛。可以理解地，所述编码器121和所述解码器123也可以是其他结构的编码器和解码器，均不影响本发明可取得的有益效果。
优选地，所述第二循环注意力模块130包括第二循环注意力模型131。
其中，所述第二循环注意力模型131为区域层面的循环注意力模型(rram)，用于根据所述初级各层特征图，分别通过自适应池化以及卷积层，按深层到浅层的时序，将张量展开为向量输入lstm，最后将lstm得到的向量重构为张量，再上采样到与该层对应的初级特征图同样的分辨率，将该层上采样后的特征图与该层对应的初级特征图进行点乘，即可将更重要的区域权重放大，将较为无关的区域权重缩小，得到所述高级各层特征图。
优选地，在所述第一循环注意力模型122和所述第二循环注意力模型131的训练中，采用dice函数作为损失函数，使得到的网络模型更加关注鼻咽癌病灶与周边组织的相邻像素，最终分割出来的鼻咽癌病灶在轮廓以及边缘更加拟合医生勾画的鼻咽癌病灶。例如，在训练阶段，对真实病灶进行边缘检测，将检测到的病灶边缘进行上、下、左、右抖动k个像素，将抖动过程中边缘覆盖到的像素对应的损失权重设置为w＿b，其他像素的权重为1；其中，k和w＿b均为正整数。具体地，k取值为3，w＿b取值为2，可以理解地k和w＿b的取值也可以更大或更小，均不影响本发明可取得的有益效果。
本发明实施例1提供的一种鼻咽癌的病灶图像分割装置，通过图像获取模块获取待分割图像，并通过第一循环注意力模块根据所述待分割图像，获取所述待分割图像的初级各层特征图，进一步由第二循环注意力模块根据所述初级各层特征图，获取所述待分割图像的高级各层特征图，最后由激活函数模块根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构，实现对鼻咽癌的病灶图像分割。利用较深层特征图的语义信息来引导较浅层迭代学习通道上以及区域上的注意力权重，使用浅层的特征图更加关注与鼻咽癌更加相关的特征以图像区域，有效提升对医学图像中的鼻咽癌病灶分割效率。
参见图2，是本发明实施例2提供的一种鼻咽癌的病灶图像分割方法的流程示意图。所述病灶图像分割方法包括步骤s210至步骤s240。
s210、获取待分割图像。
s220、根据所述待分割图像，获取所述待分割图像的初级各层特征图。
s230、根据所述初级各层特征图，获取所述待分割图像的高级各层特征图。
s240、根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构。
所述病灶图像分割方法可以由实施例1提供的病灶图像分割装置100执行，在此不做赘述。
本发明实施例2提供的一种鼻咽癌的病灶图像分割方法，通过获取待分割图像，并根据所述待分割图像，获取所述待分割图像的初级各层特征图，进一步根据所述初级各层特征图，获取所述待分割图像的高级各层特征图，最后根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构，实现对鼻咽癌的病灶图像分割。利用较深层特征图的语义信息来引导较浅层迭代学习通道上以及区域上的注意力权重，使用浅层的特征图更加关注与鼻咽癌更加相关的特征以图像区域，有效提升对医学图像中的鼻咽癌病灶分割效率。
参见图3，本发明实施例3提供的一种鼻咽癌的病灶图像分割设备300，包括处理器310、存储器320以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器310执行所述计算机程序时实现如实施例1所述的病灶图像分割装置或如实施例2所述的病灶图像分割方法，在此不作赘述。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述计算机程序时实现如实施例1所述的病灶图像分割装置或如实施例2所述的病灶图像分割方法，在此不作赘述。
参见图3，是本发明实施例3提供的鼻咽癌的病灶图像分割设备300的示意图。所述鼻咽癌的病灶图像分割设备300包括：处理器310、存储器320以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如病灶图像分割程序。所述处理器执行所述计算机程序时实现上述各个病灶图像分割方法实施例中的步骤，例如图2所示的病灶图像分割方法的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如实施例1所述的病灶图像分割装置的各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器320中，并由所述处理器310执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述病灶图像分割终端设备中的执行过程。例如，所述计算机程序可以被分割成图像获取模块、第一循环注意力模块、第二循环注意力模块和激活函数模块，各模块具体功能如下：所述图像获取模块，用于获取待分割图像；所述第一循环注意力模块，用于根据所述待分割图像，获取所述待分割图像的初级各层特征图；所述第二循环注意力模块，用于根据所述初级各层特征图，获取所述待分割图像的高级各层特征图；所述激活函数模块，用于根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构。
所述鼻咽癌的病灶图像分割设备300可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述鼻咽癌的病灶图像分割设备300可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是鼻咽癌的病灶图像分割设备300的示例，并不构成对鼻咽癌的病灶图像分割设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述鼻咽癌的病灶图像分割设备300还可以包括输入输出设备、网络接入设备、总线等。
所称处理器310可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器310是所述鼻咽癌的病灶图像分割设备300的控制中心，利用各种接口和线路连接整个病灶图像分割终端设备的各个部分。
所述存储器320可用于存储所述计算机程序或模块，所述处理器310通过运行或执行存储在所述存储器内的计算机程序或模块，以及调用存储在存储器内的数据，实现所述病灶图像分割终端设备的各种功能。所述存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述鼻咽癌的病灶图像分割设备300集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read－onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
实施本发明实施例3提供的一种鼻咽癌的病灶图像分割设备，在处理器执行存储在存储器中的计算机程序时，通过图像获取模块获取待分割图像，并通过第一循环注意力模块根据所述待分割图像，获取所述待分割图像的初级各层特征图，进一步由第二循环注意力模块根据所述初级各层特征图，获取所述待分割图像的高级各层特征图，最后由激活函数模块根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构，实现对鼻咽癌的病灶图像分割。利用较深层特征图的语义信息来引导较浅层迭代学习通道上以及区域上的注意力权重，使用浅层的特征图更加关注与鼻咽癌更加相关的特征以图像区域，有效提升对医学图像中的鼻咽癌病灶分割效率。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
1.一种鼻咽癌的病灶图像分割装置，其特征在于，包括：
图像获取模块，用于获取待分割图像；
第一循环注意力模块，用于根据所述待分割图像，获取所述待分割图像的初级各层特征图；
第二循环注意力模块，用于根据所述初级各层特征图，获取所述待分割图像的高级各层特征图；
激活函数模块，用于根据所述高级各层特征图和预设的激活函数，输出相应的鼻咽癌病灶分割结构。
2.如权利要求1所述的病灶图像分割装置，其特征在于，所述待分割图像为mr图像的t1加权像、t2加权像和增强的t1加权像。
3.如权利要求1所述的病灶图像分割装置，其特征在于，所述第一循环注意力模块包括编码器、第一循环注意力模型和解码器；
所述编码器，用于根据所述待分割图像提取出原始各层特征图；
所述第一循环注意力模型为通道层面的循环注意力模型，用于根据所述原始各层特征图，分别通过全局池化以及卷积层，按深层到浅层的时序，将张量展开为向量输入lstm，各层通过所述lstm得出的向量重构为张量，再与该层对应的原始特征图进行广播点乘后，将更重要的特征权重放大，将较为无关的特征权重缩小，得到第一各层特征图；
所述解码器，用于根据所述第一各层特征图生成所述初级各层特征图。
4.如权利要求3所述的病灶图像分割装置，其特征在于，所述第一循环注意力模型训练采用的损失函数为dice函数；其中，在训练阶段，对真实病灶进行边缘检测，将检测到的病灶边缘进行上、下、左、右抖动k个像素，将抖动过程中边缘覆盖到的像素对应的损失权重设置为w＿b，其他像素的权重为1；其中，k和w_b均为正整数。
5.如权利要求3所述的病灶图像分割装置，其特征在于，所述编码器为resnet－50，所述解码器为u－net架构中的解码器。
6.如权利要求1所述的病灶图像分割装置，其特征在于，所述第二循环注意力模块包括第二循环注意力模型；
所述第二循环注意力模型为区域层面的循环注意力模型，用于根据所述初级各层特征图，分别通过自适应池化以及卷积层，按深层到浅层的时序，将张量展开为向量输入lstm，最后将lstm得到的向量重构为张量，再上采样到与该层对应的初级特征图同样的分辨率，将该层上采样后的特征图与该层对应的初级特征图进行点乘，即可将更重要的区域权重放大，将较为无关的区域权重缩小，得到所述高级各层特征图。
7.如权利要求6所述的病灶图像分割装置，其特征在于，所述第二循环注意力模型训练采用的损失函数为dice函数；其中，在训练阶段，对真实病灶进行边缘检测，将检测到的病灶边缘进行上、下、左、右抖动k个像素，将抖动过程中边缘覆盖到的像素对应的损失权重设置为w＿b，其他像素的权重为1；其中，k和w_b均为正整数。
8.如权利要求4或7所述的病灶图像分割装置，其特征在于，k取值为3；w_b取值为2。
9.一种鼻咽癌的病灶图像分割设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的鼻咽癌的病灶图像分割装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备实现如权利要求1至8中任意一项所述的鼻咽癌的病灶图像分割装置。
技术总结