1.本发明涉及医学图像处理技术领域，特别涉及一种用于食管光学相干层析图像分割的方法及系统。
背景技术：2.根据光学相干层析(optical coherence tomography，oct)图像进行食管疾病诊断的关键在于图片的精确解析。然而，依赖医生解析图像将面临多种问题。首先，内窥oct图像通常为实时采样，成像对象的健康情况、配合程度以及成像设备的成像位置均会对图像质量产生影响，甚至在图像中形成干扰因素。这些干扰因素为食管组织的识别带来困难。其次，依靠人眼进行分割依赖医生的经验和主观判读。对食管oct图像而言，在复杂的图像形态以及众多干扰因素中识别特定的食管组织并非易事。此外，oct设备在一次扫描过程中会产生数百张图像，这使医生面临繁重的阅片工作。综合上述原因可以看出，研发可靠的自动分割算法，准确量化特定组织层特征对oct设备在食管疾病筛查中的临床应用具有重要意义。
3.食管oct图像分割是一项相对较新的研究。在2017年，johns hopkins大学李兴德课题组首次在几内亚猪食管中实现5个组织层的自动分割
1.。而第一次用于人食管的端到端自动分割算法出现在2021年，由duke大学farsiu课题组发表于biomedical optics express
2.。早期的食管oct图像分割方法多基于数学模型或传统机器学习算法实现。例如，zhang等人在其工作中使用了图搜索算法在几内亚猪食管oct图像上实现了5个组织层分割
1.。2018年，gan等人利用canny边缘检测对该方法进行改进，提升了传统图搜索法在食管oct图像中的分割精度
3.。2019年，wang等人基于小波特征利用稀疏贝叶斯分类器提出了高效的食管组织分割方法，在不使用gpu的情况下，将单幅图片的处理时间降低到了1秒以内
4.。这类方法通常依赖于合理的先验知识或者人工设计的图像特征，因此算法泛化能力相对较差，难以应对实际图片中的个体差异以及复杂的图像形态。
4.基于深度学习的方法是目前oct图像分割研究的热点。这种方法能够直接从图像中学习结构信息，从而免除人工参与，获得自动化程度更高、精度更好的图像分割系统。2019年，li等人以几内亚猪食管为对象，提出了基于u-net的食管自动分割方法
5.。尽管表现良好，但在存在干扰因素的食管oct图像中，基于编码-解码结构的方法常常产生不连续标签、层结构错乱、非组织区域预测等结构方面的拓扑错误。为了解决该问题，wang等人于2020年利用对抗学习提升u-net的特征表达能力，优化了分割后的食管组织形态
6.。yang等人则在特征图中加入了连通性限制，以编码-解码结构为框架设计深度网络分割食管组织，成效显著
2.。
5.尽管相关技术发展迅速，但用于食管oct图像的自动分割算法在实际应用中依然面临诸多挑战。临床中食管组织在亮度方面并无显著特点，直观上肉眼观察，几乎无法将其与非目标区域进行区分，这就意味着计算机需要对图像整体达到专业医生级别的理解才能完成任务。而现有的分割算法多基于图像亮度信息，难以直接应用于本发明所面临的任务
中。另一方面，图像的实时采样带来的干扰众多且难以预测，对算法的鲁棒性提出了更高的要求。因此，研发新的深度学习网络模型，获得快速准确的食管内窥oct图像自动分割方法具有重要意义。
技术实现要素：6.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种用于食管光学相干层析图像分割的方法及系统。
7.为解决上述技术问题，本发明采用的技术方案是：一种用于食管光学相干层析图像分割的方法，包括以下步骤：
8.s1、构建训练数据集；
9.s2、以u-net网络为框架，在该网络中嵌入小波注意力模块，构建得到用于食管光学相干层析图像分割的小波注意力网络；
10.s3、利用步骤s1得到的训练数据集对步骤s2构建的小波注意力网络进行训练；
11.s4、将待分割的食管oct图像输入步骤s3得到的训练好的小波注意力网络中进行自动分割，输出分割结果。
12.优选的是，所述步骤s1具体为：
13.s1-1、采集若干食管组织结构清晰的食管oct图像；
14.s1-2、对所有食管oct图像进行归一化处理；
15.s1-3、设置图像输入尺寸，大于输入尺寸的食管oct图像降采样到输入尺寸，小于输入尺寸的食管oct图像填零至输入图像尺寸；
16.s1-4、将步骤s1-3处理后得到的食管oct图构建形成训练数据集。
17.优选的是，所述步骤s1-2中进行归一化处理的方法具体为：对于任意食管oct图像，将图像任一像素的灰度值与该图像所有像素的灰度值的均值相减后再与该图像所有像素的灰度值标准差相除。
18.优选的是，所述小波注意力网络包括输出层、输出层以及依次连接在所述输出层与输出层之间的第一卷积模块、四个池化层、dropout层(随机失活层)、四个上采样层、第二卷积模块、卷积层，四个池化层依次记为第一池化层、第二池化层、第三池化层和第四池化层，四个上采样层依次记为第一上采样层、第二上采样层、第三上采样层和第四上采样层；
19.相邻的两个池化层之间、第四池化层与dropout层之间以及相邻的两个上采样层之间均嵌入连接有一个小波注意力模块，7个小波注意力模块依次记为：第一、第二、第三、第四、第五、第六、第七小波注意力模块；
20.第一小波注意力模块跨越连接所述第七小波注意力模块，第二小波注意力模块跨越连接所述第六小波注意力模块，第三小波注意力模块跨越连接所述第五小波注意力模块。
21.优选的是，所述小波注意力模块将输入的尺寸为h
×w×
c的特征张量x中c个通道的每张特征图进行小波分解后得到四个分量：近似系数分量dwt-a、水平细节分量dwt-h、垂直细节分量dwt-v和对角细节分量dwt-d，然后对该四个分量进行池化，得到四组特征向量ca、ch、cv和cd；再对该四组特征向量进行元素相加得到频率向量，频率向量经过映射得到注意力向量a；最后将原始的特征张量x的每个通道的特征图根据注意力向量a按照公式(1)
进行调整，得到优化后的特征张量并输出；
[0022][0023]
其中，h，w为特征图尺寸，c表示通道个数，x
i,:,:
含义为第i个通道的特征张量，含义为第i个通道的优化后的特征张量，ai为第i个通道对应的注意力向量a的第i维元素。
[0024]
优选的是，其中，对频率向量的映射通过1
×
1的卷积实现。
[0025]
优选的是，其中，dwt-a、dwt-h、dwt-v和dwt-d通过以下公式(2)计算得到：
[0026][0027][0028]
式中，h,w表示小波域坐标，f(x,y)表示输入图像，φ
h,w
以及为小波函数。
[0029]
优选的是，在所述步骤s3的训练中，根据损失函数l，采用adam方法对网络参数进行迭代更新完成优化，最终得到训练好的小波注意力网络；其中，损失函数l定义如下：
[0030]
l＝l
ce
+λl
dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0031]
其中，l
ce
表示交叉熵损失函数，l
dice
表示dice损失函数，λ为权重参数。
[0032]
优选的是，其中，交叉熵损失函数l
ce
定义如下：
[0033][0034]
dice损失函数定义如下：
[0035][0036]
其中，g
l
表示像素点x属于类l的真实值，p
l
为像素点x属于类l的网络预测概率值，n代表像素点个数；
[0037]
本发明还提供一种用于食管光学相干层析图像分割的系统，该系统包括小波注意力网络，该系统采用如上所述的方法对食管光学相干层析图像进行分割。
[0038]
本发明的有益效果是：本发明提供的用于食管光学相干层析图像分割的方法与系统，在食管oct图像分割中具有显著的优越性，能够获得高准确率和dsc指标，可以实现食管内窥oct图像快速准确的自动分割。
附图说明
[0039]
图1为本发明的小波注意力网络的结构示意图；
[0040]
图2为本发明的小波注意力模块的结构示意图；
[0041]
图3为本发明的实施例1中的分割结果。
具体实施方式
[0042]
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
[0043]
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
[0044]
实施例1
[0045]
本实施例的一种用于食管光学相干层析图像分割的方法，包括以下步骤：
[0046]
s1、构建训练数据集：
[0047]
s1-1、采集若干食管组织结构清晰的食管oct图像；
[0048]
s1-2、对所有食管oct图像进行归一化处理：对于任意食管oct图像，将图像任一像素的灰度值与该图像所有像素的灰度值的均值相减后再与该图像所有像素的灰度值标准差相除。
[0049]
s1-3、设置图像输入尺寸，大于输入尺寸的食管oct图像降采样到输入尺寸，小于输入尺寸的食管oct图像填零至输入图像尺寸；
[0050]
s1-4、将步骤s1-3处理后得到的食管oct图构建形成训练数据集。
[0051]
s2、以u-net网络为框架，在该网络中嵌入小波注意力模块，构建得到用于食管光学相干层析图像分割的小波注意力网络；
[0052]
本实施例中建立的小波注意力网络(wavelet attention network,watnet)以u-net网络
[7]
为基础框架建立得到，其网络结构如图1所示，其中，“c”表示跨越连接，“wat”为小波注意力模块(wavelet attention)。
[0053]
具体的，该小波注意力网络包括输出层、输出层以及依次连接在输出层与输出层之间的第一卷积模块、四个池化层、dropout层、四个上采样层、第二卷积模块、卷积层，四个池化层依次记为第一池化层、第二池化层、第三池化层和第四池化层，四个上采样层依次记为第一上采样层、第二上采样层、第三上采样层和第四上采样层；
[0054]
相邻的两个池化层之间、第四池化层与dropout层之间以及相邻的两个上采样层之间均嵌入连接有一个小波注意力模块，7个小波注意力模块依次记为：第一、第二、第三、第四、第五、第六、第七小波注意力模块；
[0055]
第一小波注意力模块跨越连接第七小波注意力模块，第二小波注意力模块跨越连接第六小波注意力模块，第三小波注意力模块跨越连接第五小波注意力模块。
[0056]
本实施例中，小波注意力模块的结构如图2所示，小波注意力模块将输入的尺寸为h
×w×
c的特征张量x中c个通道的每张特征图进行小波分解后得到四个分量：近似系数分量dwt-a、水平细节分量dwt-h、垂直细节分量dwt-v和对角细节分量dwt-d，然后对该四个分量进行池化，得到四组特征向量ca、ch、cv和cd；再对该四组特征向量进行元素相加得到频率向量(frequency vector)，频率向量经过映射(map)得到注意力向量a(attention vector)；最后将原始的特征张量x的每个通道的特征图根据注意力向量a按照公式(1)进行调整，得到优化后的特征张量并输出；由于优化后的特征张量与输入的张量尺寸一致，因此wat模块可以很容易地嵌入至已有网络框架中，提升现有网络的性能。
[0057][0058]
其中，h，w为特征图尺寸，c表示通道个数，x
i,:,:
含义为第i个通道的特征张量，含义为第i个通道的优化后的特征张量，ai为第i个通道对应的注意力向量a的第i维元素。
[0059]
其中，dwt-a、dwt-h、dwt-v和dwt-d通过以下公式(2)计算得到：
[0060][0061][0062]
式中，h,w表示小波域坐标，f(x,y)表示输入图像，φ
h,w
以及为小波函数。
[0063]
本实施例中，对频率向量的映射通过1
×
1的卷积实现。
[0064]
s3、利用步骤s1得到的训练数据集对步骤s2构建的小波注意力网络进行训练；
[0065]
在步骤s3的训练中，根据损失函数l，采用adam方法对网络参数进行迭代更新完成优化，最终得到训练好的小波注意力网络；其中，损失函数l定义如下：
[0066]
l＝l
ce
+λl
dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0067]
其中，l
ce
表示交叉熵损失函数，l
dice
表示dice损失函数，λ为权重参数。
[0068]
其中，交叉熵损失函数l
ce
定义如下：
[0069][0070]
目标食管组织在内窥oct数据中只占一小部分，尤其精分割阶段，一些层状结构的像素点所占比例更是微小，这种类不平衡性会使网络倾向于对区域更大的类别进行分割，最终会导致组织区域或某些层状结构的丢失。因此，本发明引入dice损失函数使网络参数优化时考虑到各个区域的像素数量缓解类不平衡问题，具体的，dice损失函数定义如下：
[0071][0072]
其中，g
l
表示像素点x属于类l的真实值，p
l
为像素点x属于类l的网络预测概率值，n代表像素点个数。
[0073]
训练中，可根据具体的训练结果调整动量因子、学习率、批量样本数、最大迭代次数等参数的设置，同时，利用验证集对模型参数进行微调。
[0074]
s4、将待分割的食管oct图像输入步骤s3得到的训练好的小波注意力网络中进行自动分割，输出分割结果。
[0075]
在一种实施例中，采集了5个健康小鼠个体的食管内窥oct图像组成了实验数据集。模型的训练数据集来自其中4个小鼠个体，共包含800张小鼠的食管图像(每个个体贡献200张)；模型的测试数据集来自另外1个小鼠个体，共包含200张小鼠食管图像。
[0076]
为了验证watnet的效果，本实施例中将其与unet
[7]
，unet++
[8]
，deeplabv3
[9]
，以及不加wat模块的框架网络backbone(unet+resnet)
[10]
进行对比，此外，为了突出小波注意力模块的优越性，加入通道注意力结构senet
[11]
以及dct注意力模块fcanet
[12]
进行比较。
[0077]
图3展示了其中一幅图片的分割结果，由于光照不均匀，此图片中较暗的组织层难以识别。从图中都可以看出，unet，unet++，deeplabv3以及框架网络均难以分割出完整的组织层。而三个注意力网络分割效果相对较好，其中以所提出的watnet表现最好。
[0078]
为了进一步精确评估分割结果，本实施例中将测试集中的分割准确率以及dice系数(dsc)列于表中。结果表明，三个基于注意力结构的模型(backbone+senet，backbone+fcanet，watnet)效果要优于其它网络，从而证明了注意力机制的有效性。本发明所提出的
for esophageal tissue segmentation on oct images,”biomedical optics express,vol.11,no.6,pp.3095
–
3110,2020.
[0090]
[7]o.ronneberger,p.fischer,and t.brox,“u-net:convolutional networks for biomedical image segmentation,”in medical image computing and computer-assisted intervention,pt iii,vol.9351,2015,pp.234
–
241.
[0091]
[8]z.zhou,m.m.rahman siddiquee,n.tajbakhsh,and j.liang,“unet++:a nested u-net architecture for medical image segmentation,”in deep learning in medical image analysis and multimodal learning for clinical decision support.cham:springer international publishing,2018,pp.3
–
11.
[0092]
[9]l.chen,g.papandreou,f.schroff,and h.adam,“rethinking atrous convolution for semantic image segmentation,”corr,vol.abs/1706.05587,2017.[online].available:http://arxiv.org/abs/1706.05587.
[0093]
[10]k.m.he,x.y.zhang,s.q.ren,and j.sun,“deep residual learning for image recognition,”in 2016 ieee conference on computer vision and pattern recognition(cvpr),2016,pp.770
–
778.
[0094]
[11]j.hu,l.shen,and g.sun,“squeeze-and-excitation networks,”in 2018 ieee/cvf conference on computer vision and pattern recognition(cvpr),2018,pp.7132
–
7141.
[0095]
[12]z.qin,p.zhang,f.wu,and x.li,“fcanet:frequency channel attention networks,”in proceedings of the ieee/cvf international conference on computer vision,2021,pp.783
–
792.
[0096]
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。
技术特征：1.一种用于食管光学相干层析图像分割的方法，其特征在于，包括以下步骤：s1、构建训练数据集；s2、以u-net网络为框架，在该网络中嵌入小波注意力模块，构建得到用于食管光学相干层析图像分割的小波注意力网络；s3、利用步骤s1得到的训练数据集对步骤s2构建的小波注意力网络进行训练；s4、将待分割的食管oct图像输入步骤s3得到的训练好的小波注意力网络中进行自动分割，输出分割结果。2.根据权利要求1所述的用于食管光学相干层析图像分割的方法，其特征在于，所述步骤s1具体为：s1-1、采集若干食管组织结构清晰的食管oct图像；s1-2、对所有食管oct图像进行归一化处理；s1-3、设置图像输入尺寸，大于输入尺寸的食管oct图像降采样到输入尺寸，小于输入尺寸的食管oct图像填零至输入图像尺寸；s1-4、将步骤s1-3处理后得到的食管oct图构建形成训练数据集。3.根据权利要求1所述的用于食管光学相干层析图像分割的方法，其特征在于，所述步骤s1-2中进行归一化处理的方法具体为：对于任意食管oct图像，将图像任一像素的灰度值与该图像所有像素的灰度值的均值相减后再与该图像所有像素的灰度值标准差相除。4.根据权利要求1所述的用于食管光学相干层析图像分割的方法，其特征在于，所述小波注意力网络包括输出层、输出层以及依次连接在所述输出层与输出层之间的第一卷积模块、四个池化层、dropout层、四个上采样层、第二卷积模块、卷积层，四个池化层依次记为第一池化层、第二池化层、第三池化层和第四池化层，四个上采样层依次记为第一上采样层、第二上采样层、第三上采样层和第四上采样层；相邻的两个池化层之间、第四池化层与dropout层之间以及相邻的两个上采样层之间均嵌入连接有一个小波注意力模块，7个小波注意力模块依次记为：第一、第二、第三、第四、第五、第六、第七小波注意力模块；第一小波注意力模块跨越连接所述第七小波注意力模块，第二小波注意力模块跨越连接所述第六小波注意力模块，第三小波注意力模块跨越连接所述第五小波注意力模块。5.根据权利要求4所述的用于食管光学相干层析图像分割的方法，其特征在于，所述小波注意力模块将输入的尺寸为h
×
w
×
c的特征张量x中c个通道的每张特征图进行小波分解后得到四个分量：近似系数分量dwt-a、水平细节分量dwt-h、垂直细节分量dwt-v和对角细节分量dwt-d，然后对该四个分量进行池化，得到四组特征向量ca、ch、cv和cd；再对该四组特征向量进行元素相加得到频率向量，频率向量经过映射得到注意力向量a；最后将原始的特征张量x的每个通道的特征图根据注意力向量a按照公式(1)进行调整，得到优化后的特征张量并输出；其中，h，w为特征图尺寸，c表示通道个数，x
i,:,:
含义为第i个通道的特征张量，含义为第i个通道的优化后的特征张量，a
i
为第i个通道对应的注意力向量a的第i维元素。
6.根据权利要求5所述的用于食管光学相干层析图像分割的方法，其特征在于，其中，对频率向量的映射通过1
×
1的卷积实现。7.根据权利要求6所述的用于食管光学相干层析图像分割的方法，其特征在于，其中，dwt-a、dwt-h、dwt-v和dwt-d通过以下公式(2)计算得到：d通过以下公式(2)计算得到：式中，h,w表示小波域坐标，f(x,y)表示输入图像，φ
h,w
以及为小波函数。8.根据权利要求7所述的用于食管光学相干层析图像分割的方法，其特征在于，在所述步骤s3的训练中，根据损失函数l，采用adam方法对网络参数进行迭代更新完成优化，最终得到训练好的小波注意力网络；其中，损失函数l定义如下：l＝l
ce
+λl
dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；其中，l
ce
表示交叉熵损失函数，l
dice
表示dice损失函数，λ为权重参数。9.根据权利要求8所述的用于食管光学相干层析图像分割的方法，其特征在于，其中，交叉熵损失函数l
ce
定义如下：dice损失函数定义如下：其中，g
l
表示像素点x属于类l的真实值，p
l
为像素点x属于类l的网络预测概率值，n代表像素点个数。10.一种用于食管光学相干层析图像分割的系统，其特征在于，该系统包括小波注意力网络，该系统采用如权利要求1-9中任意一项所述的方法对食管光学相干层析图像进行分割。
技术总结本发明公开了一种用于食管光学相干层析图像分割的方法及系统，该方法包括以下步骤：S1、构建训练数据集；S2、以U-Net网络为框架，在该网络中嵌入小波注意力模块，构建得到用于食管光学相干层析图像分割的小波注意力网络；S3、利用步骤S1得到的训练数据集对步骤S2构建的小波注意力网络进行训练；S4、将待分割的食管OCT图像输入步骤S3得到的训练好的小波注意力网络中进行自动分割，输出分割结果。本发明提供的用于食管光学相干层析图像分割的方法与系统，在食管OCT图像分割中具有显著的优越性，能够获得高准确率和DSC指标，可以实现食管内窥OCT图像快速准确的自动分割。内窥OCT图像快速准确的自动分割。内窥OCT图像快速准确的自动分割。
技术研发人员：王聪 甘萌
受保护的技术使用者：中国科学院苏州生物医学工程技术研究所 济南国科医工科技发展有限公司
技术研发日：2022.08.09
技术公布日：2022/12/2
