本发明涉及视网膜图像分类
技术领域：
，具体涉及一种基于注意力机制的早产儿视网膜图像分类方法和装置。
背景技术：
：早产儿视网膜病变(retinopathyofprematurity,rop)是一种视网膜血管增生性疾病，主要见于早产儿(胎龄小于32周)和低出生体重儿(体重低于1500克)及高水平的氧气补充，是全球儿童致盲的主要原因。由于成像质量受焦点、光照、眼球运动等因素的影响，早产儿视网膜眼底彩照图像存在质量非常低、病变区域与背景分布不平衡等问题，因此基于视网膜眼底彩照的rop自动识别存在很大的挑战性。近年来，随着深度学习的迅速发展，许多基于卷积神经网络(convolutionalneuralnetworks，cnn)的深度学习方法应用于医学图像分析。worrall等人使用imagenet预训练的googlenet网络对rop中是否存在附加疾病(即血管的迂曲和膨胀)进行了分类，识别出异常和正常图像，这是首次尝试使用深度神经网络来识别附加疾病。wang等人利用imagenet上预训练的inception-v2网络识别rop的存在和严重程度。zhang等人使用在imagenet上预训练的vgg16网络来识别rop。但是，大多数基于cnn(卷积神经网络)的方法都没有考虑rop图像中疾病特征与背景分布不平衡导致rop图像分类不准确的问题。技术实现要素：为解决现有技术中的不足，本发明提供一种基于注意力机制的早产儿视网膜图像分类方法和装置，解决了现有技术没有考虑rop图像中疾病特征与背景分布不平衡导致rop图像分类不准确的问题。为了实现上述目标，本发明采用如下技术方案：一种基于注意力机制的早产儿视网膜图像分类方法，包括步骤：将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变rop图像；所述深度注意力网络模型为在原始resnet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力se模块。进一步的，所述互补残差注意力模块包括：通道注意力se模块、最大池化层、平均池化层、二维卷积层、sigmoid层；se模块用于将输入的特征图在通道维度上重新标定得到新的特征图，重新标定后的新的特征图以通道为单位通过最大池化层、平均池化层分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，再经过一个二维卷积和sigmoid激活函数得到特征图空间权重，再将特征图空间权重与原始resnet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-e后与点积之后的特征图进行相加，得到输出的特征图；e为：互补残差注意力模块中se模块计算得到的特征图的权重系数。进一步的，所述通道注意力se模块包括：全局平均池化层、两个1*1卷积层、修正线性单元层和sigmoid层；将高度、宽度和通道数分别为h、w和c的特征图先经过全局平均池化层进行压缩操作，压缩得到c*1*1大小的特征图，再经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元层，进行了非线性变化操作，得到了新的的特征图；再经过一个c*1*1的卷积得到大小为c*1*1的特征图，再经过sigmoid激活函数，得到c个特征图的权重系数e，最后将输入的特征图与得到的c个特征图的权重系数e进行点积，得到经过选择后的具有病变特征信息的特征图。进一步的，所述深度注意力网络模型训练过程为：1)将正常和异常的二维眼底图像按比例分为训练数据集和验证数据集，并进行预处理操作，对训练数据集中的图像数据进行数据增强；2)将resnet18网络在imagenet数据集上训练的权重迁移至预先构建的深度注意力网络模型上，将训练数据集中的图像输入到迁移后的深度注意力网络模型，进行一次前向传播，得到每一分类的得分值，通过softmax激活函数，得出每一类的预测值，并计算所述预测值与真实分类值之间的交叉熵损失函数loss值，用adam优化算法来最小化所述交叉熵损失函数loss值；3)通过验证数据集验证模型，保存验证数据集上准确率最好的模型，得到训练好的深度注意力网络模型。进一步的，所述预测值与真实分类值之间的交叉熵损失函数loss值通过下述公式计算：其中，l表示预测值与真实分类值之间的交叉熵损失函数loss值，m表示训练过程中样本总数量，x表示输入的训练数据集中的图像，y表示真实分类值，a表示深度注意力网络模型的预测值，σ表示softmax激活函数，z表示得分值。进一步的，所述预处理操作包括：下采样和减均值。一种基于注意力机制的早产儿视网膜图像分类装置，包括：预处理模块，用于将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；识别模块，用于将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变rop图像；所述深度注意力网络模型为在原始resnet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力se模块。进一步的，所述互补残差注意力模块包括：通道注意力se模块、最大池化层、平均池化层、二维卷积层、sigmoid层；se模块用于将输入的特征图在通道维度上重新标定得到新的特征图，重新标定后的新的特征图以通道为单位通过最大池化层、平均池化层分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，再经过一个二维卷积和sigmoid激活函数得到特征图空间权重，再将特征图空间权重与原始resnet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-e后与点积之后的特征图进行相加，得到输出的特征图；所述e为：互补残差注意力模块中se模块计算得到的特征图的权重系数。进一步的，所述通道注意力se模块包括：全局平均池化层、两个1*1卷积层、修正线性单元层和sigmoid层；将高度、宽度和通道数分别为h、w和c的特征图先经过全局平均池化层进行压缩操作，压缩得到c*1*1大小的特征图，再经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元层(relu激活函数)，进行了非线性变化操作，得到了新的的特征图；再经过一个c*1*1的卷积得到大小为c*1*1的特征图，再经过sigmoid激活函数，得到c个特征图的权重系数e，最后将输入的特征图与得到的c个特征图的权重系数e进行点积，得到经过选择后的具有病变特征信息的特征图。进一步的，所述深度注意力网络模型训练过程为：1)将正常和异常的二维眼底图像按比例分为训练数据集和验证数据集，并进行预处理操作，对训练数据集中的图像数据进行数据增强；2)将resnet18网络在imagenet数据集上训练的权重迁移至预先构建的深度注意力网络模型上，将训练数据集中的图像输入到迁移后的深度注意力网络模型，进行一次前向传播，得到每一分类的得分值，通过softmax激活函数，得出每一类的预测值，并计算所述预测值与真实分类值之间的交叉熵损失函数loss值，用adam优化算法来最小化所述交叉熵损失函数loss值；3)通过验证数据集验证模型，保存验证数据集上准确率最好的模型，得到训练好的深度注意力网络模型。本发明所达到的有益效果：本发明首次提出了一种基于注意力机制的深度卷积网络并结合迁移学习实现对早产儿视网膜眼底图像中正常/异常的自动分类方法，能对输入的任意尺寸的二维视网膜眼底图像进行分类，该方法依赖基于注意力机制、深度卷积网络和迁移学习的早产儿视网膜图像分类模型，提高识别和分类效率，降低时间成本，可靠性高，为后续的rop自动分级奠定基础；本发明能够获取丰富且重要的全局和局部信息，使得网络能够学习到正确的病变特征，从而使得分类网络能较好解决病变与背景之间极大的数据不平衡问题，进而提高深度注意力网络模型的分类性能。附图说明图1是本发明实施例中进行分类的二维视网膜眼底图像的示意图；图2是本发明实施例中的深度注意力网络模型；图3是本发明实施例中基线网络resnet18网络；图4是本发明实施例中基线网络resnet18网络中的残差层结构图；图5是本发明实施例中互补残差注意力模块结构图；图6是本发明实施例中se模块结构图；图7是本发明实施例中原始resnet18网络和本发明分类的混淆矩阵示意图。具体实施方式下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。实施例1：一种基于注意力机制的早产儿视网膜图像分类方法，包括步骤：步骤1，将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；预处理包括：下采样和减均值的标准化处理；如图1所示，本发明中进行分类的二维视网膜眼底图像的示意图：(a)正常图像，(b)1期，(c)2期，(d)3期，(e)4期，(f)5期，(g)附加疾病。为了防止gpu内存溢出，将原始640×480的二维视网膜眼底图像利用双线性插值进行下采样到320×240；为了提高图像的对比度，对图像进行减均值的标准化处理，即用原始图像的像素值减去其平均像素值。步骤2，将步骤1中预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果，并标注标签，识别出早产儿视网膜病变rop图像。标签“0”表示将输入的二维视网膜眼底图像自动识别为正常图像，标签“1”表示将输入的二维视网膜眼底图像自动识别为rop图像。其中，所述深度注意力网络模型由下述步骤训练生成，包括：1)，将来自550个受试者的8351张(4752张正常图像和3599张rop图像)二维视网膜眼底图像，按7:3的比例分为训练数据集和验证数据集，将来自100个受试者的1443张(850张正常图像和593张rop图像)二维视网膜眼底图像作为验证集，并进行预处理操作，包括下采样和减均值的标准化处理，与上述步骤1中相同。此外，为了防止过拟合和增强深度注意力网络模型的泛化能力，还需对训练集中的图像数据进行数据增强，所述数据增强的方式包括一种或多种：旋转30度、水平翻转、垂直翻转和仿射变换。2)，构建深度注意力网络模型：所述深度注意力网络模型是在原始resnet18网络的基础上添加互补残差注意力模块(crab)和通道注意力模块(se模块)，构建深度注意力网络模型。其中，resnet18表示权重层有18层的残差网络，权重层在此处指的是卷积层和全连接层。本发明的网络是基于原始resnet18卷积神经网络(又称“基线网络”)的改进，针对病变特征与背景分布的不平衡关系，结合空间注意力和通道注意力设计了互补残差注意力模块(complementaryresidualattentionblock,crab)，并将通道注意力模块(se模块)应用到网络中，在原始resnet18网络的基础上添加了互补残差注意力模块(crab)和se模块。附图2是本发明所设计和搭建的适用于早产儿视网膜图像rop识别的深度注意力网络模型。本发明的深度注意力网络在二维卷积神经网络resnet18网络上进行改进的，原始resnet18卷积神经网络(见附图3)是一个18层的残差网络，由一个卷积核大小是7*7，步长为2的二维卷积层、一个最大池化层、4个残差层(见附图4)、一个全局平均池化层、一个全连接层和一个softmax输出层组成的，其中，如图4所示，残差层具有4个卷积核的大小为3*3二维卷积层，且卷积核的步长是1或者2。最大池化层的核的大小为3*3，步长为2，目的是为了不过早合并深度信息，而且还可以减少参数量和增强鲁棒性。x表示残差层的输入，y表示残差层的输出，relu(修正线性单元层)表示激活函数，用于非线性变换。本发明在原始resnet18网络的第三个残差层和第四个残差层后面分别添加互补残差注意力模块(crab)和se模块，输出语义丰富的特征图，然后再经过全局平均池化层、全连接层和softmax层输出预测结果(“正常”图像或“rop”图像)。crab和se模块放在残差层3后面，一方面是避免在高层中丢失更多的图像细节特征，得到具有重要特征的特征图，另一方面当网络比较深的时候，注意力机制能够捕获到高级别的特征，使得网络表达更加多样化。互补残差注意力模块，如附图5所示，crab结合了通道和空间两个维度的注意力机制，所述互补残差注意力模块包括：通道注意力se模块、最大池化层、平均池化层、二维卷积层、sigmoid层；先经过通道注意力模块se模块(见附图6)，得到特征图的权重系数e和相应的特征图，即通过学习的方式自动获取每个通道的重要程度，并且利用得到的重要程度来加强重要特征并抑制对rop识别不重要的特征；然后以通道为单位分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，之后再经过一个卷积核大小为7*7，卷积步长为1的二维卷积和sigmoid激活函数得到1*w*h(w和h分别表示特征图的宽度和高度)的特征图空间权重，再将该特征图空间权重与原始resnet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-e后与点积之后的特征图进行相加，得到输出的特征图。本发明所提出的crab的作用如下：crab采用se模块作为其通道注意力，通过学习自动获得每个通道的重要程度，从而增强目标处理对象重要的通道信息并抑制一些无关的细节信息，然后得到的特征图再经过空间注意力机制，进一步选择聚焦位置，产生更具分辨性的特征表示，从而提高网络的特征提取能力(“特征提取能力”指的是捕捉图像上特征的能力)。本发明中通道注意力模块--se模块，如附图6所示。se模块包括压缩(sequeeze)和激励(excitation)两部分。将上一层得到的高度、宽度和通道数分别为h、w和c的输入特征图先经过压缩操作，得到c*1*1大小的特征图，压缩部分表明这个特征图具有全局感受野。其中，压缩操作通过一个全局平均池化层完成。激励操作指的是上述压缩得到的c*1*1大小的特征图先经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元(rectifiedlinearunit，relu)层，进行了非线性变换，输出维度保持不变；然后再经过一个c*1*1的卷积得到c*1*1大小的特征图，然后再经过sigmoid激活函数，得到c个特征图的权重系数e，这c个特征图的权重系数e代表各通道的重要程度，而这c个权重系数e是通过上述的卷积操作和非线性层relu层及sigmoid层学习得到的。两个1*1卷积的作用是融合各通道的特征图特征。最后将特征图与得到的权重进行点积，得到经过选择后的具有重要病变特征信息的特征图。3)，将resnet18网络在imagenet数据集上训练的权重迁移至深度注意力网络模型上以提高精确度和加快网络的收敛速率。基于pytorch的集成环境和3块带有12gb存储空间的nvidiateslak40gpu完成深度注意力网络模型的训练，即将上述步骤1)中训练数据集图像输入到迁移后的深度注意力网络模型，进行一次前向传播，输出每一分类的得分值，通过softmax激活函数，得出每一类的预测值，并计算所述预测值与真实分类值之间的交叉熵损失函数loss值，使用adam优化算法来最小化所述交叉熵损失函数loss值，基本学习率和权重衰减均设置为0.0001。批尺寸设置为64，迭代次数(epoch)设置为30。在训练期间，通过验证数据集验证模型，保存验证数据集上准确率最好的模型，得到本发明中所述训练好的深度注意力网络模型。其中，所述预测值与真实分类值之间的交叉熵损失函数loss值通过下述公式计算：其中，l表示预测值与真实值之间的交叉熵损失函数loss值，m表示训练过程中样本总数量，x表示输入的训练数据集中的图像，y表示真实分类值，a表示深度注意力网络模型的预测值，σ表示softmax激活函数，z表示得分值。实施例2：一种基于注意力机制的早产儿视网膜图像分类装置，包括：预处理模块，用于将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；识别模块，用于将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变rop图像；所述深度注意力网络模型为在原始resnet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力se模块。进一步的，所述互补残差注意力模块包括：通道注意力se模块、最大池化层、平均池化层、二维卷积层、sigmoid层；se模块用于将输入的特征图在通道维度上重新标定得到新的特征图，重新标定后的新的特征图以通道为单位通过最大池化层、平均池化层分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，再经过一个二维卷积和sigmoid激活函数得到特征图空间权重，再将特征图空间权重与原始resnet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-e后与点积之后的特征图进行相加，得到输出的特征图；所述e为：互补残差注意力模块中se模块计算得到的特征图的权重系数。进一步的，所述通道注意力se模块包括：全局平均池化层、两个1*1卷积层、修正线性单元层和sigmoid层；将高度、宽度和通道数分别为h、w和c的特征图先经过全局平均池化层进行压缩操作，压缩得到c*1*1大小的特征图，再经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元层(relu激活函数)，进行了非线性变化操作，得到了新的的特征图；再经过一个c*1*1的卷积得到大小为c*1*1的特征图，再经过sigmoid激活函数，得到c个特征图的权重系数e，最后将输入的特征图与得到的c个特征图的权重系数e进行点积，得到经过选择后的具有病变特征信息的特征图。进一步的，所述深度注意力网络模型训练过程为：1)将正常和异常的二维眼底图像按比例分为训练数据集和验证数据集，并进行预处理操作，对训练数据集中的图像数据进行数据增强；2)将resnet18网络在imagenet数据集上训练的权重迁移至预先构建的深度注意力网络模型上，将训练数据集中的图像输入到迁移后的深度注意力网络模型，进行一次前向传播，得到每一分类的得分值，通过激活softmax函数，得出每一类的预测值，并计算所述预测值与真实分类值之间的交叉熵损失函数loss值，用adam优化算法来最小化所述交叉熵损失函数loss值；3)通过验证数据集验证模型，保存验证数据集上准确率最好的模型，得到训练好的深度注意力网络模型。实施例3：将本发明方法与现有技术进行对比，实验结果如下：为了定量评估本发明的性能，将来自100个受试者的1443张(850张正常图像和593张rop图像)二维视网膜眼底图像进行所述预处理，使用4个常用的分类评价指标来测试，包括准确率(accuracy)、精确度(precision)、召回率(recall)、f1分数(f1-score)。其中准确率(accuracy)、精确度(precision)、召回率(recall)、f1分数(f1-score)的定义如下：其中tp、fp、tn和fn分别代表真阳性、假阳性、真阴性和假阴性，p和r分别代表精确度(precision)和召回率(recall)。本发明在测试数据集中评估和对比原始resnet18网络、张等人的方法与本发明所述的深度注意力网络模型。为了证明cram模块和se模块的有效性，进行了一系列的消融实验。实验结果如表1所示。表1.本发明方法及其消融实验的分类结果方法/评价指标准确率精确度召回率f1分数基线网络98.19％99.30％96.29％97.78％基线网络 crab99.03％99.82％97.81％98.80％基线网络 se98.96％98.31％97.81％98.06％张等人的方法97.43％98.43％95.27％96.82％深度注意力网络模型99.17％98.56％98.31％98.48％原始resnet18用“基线网络”表示，“基线网络 crab”表示在原始resnet18中添加crab模块，“基线网络 se”表示在原始resnet18中添加se模块，“张等人的方法”表示2018年11月12日发表在期刊名为“ieeeaccess”期刊号(digitalobjectidentifier,doi)为10.1109/access.2018.2881042上的方法。“深度注意力网络模型”是本发明中提出的方法。可以看出原始resnet18的分类准确率是98.19％，张等人的方法的分类准确率是97.43％，改进后也即本发明的分类准确率可达99.17％。本发明的召回率为98.31％，比原始resnet18和张等人的方法分别提高了2.02％和3.04％。从表1中可以看出本发明中设计的crab模块和引用的se模块均比原始的resnet18和张等人的方法的分类准确率高。附图7展示了原始resnet18网络和本发明的分类混淆矩阵。其中，在原始resnet18网络的分类混淆矩阵中，主对角线上的数字846和571分别表示正确识别的正常和异常图像个数，副对角线上的数字4和22分别表示错误识别的正常和异常图像个数；在本发明的分类混淆矩阵中，主对角线上的数字848和583分别表示正确识别的正常和异常图像个数，副对角线上的数字2和10分别表示错误识别的正常和异常图像个数。本发明中的两个类别分类准确率均优于改进前的原始resnet18网络的分类准确率。总之，本发明提出和引用的具有重要特征选择的注意力模块carb模块和se模块保证了早产儿视网膜病变识别的精度和效率。本发明在实验中的表现优于原始resnet18卷积神经网络，此发明能对二维眼底图像做出更优的判断，从另一方面来说，本发明中设计的注意力模块carab并不复杂，可以嵌入到其他任何卷积神经网络中去，使得网络的特征提取能力更强，从而提高网络的整体性能，有助于二维眼底图像的分类和检测，大大提高了二维眼底图像的筛查效率。本发明结合了图像预处理、深度注意力网络模型的搭建与训练以及测试，使后续对早产儿视网膜病变的研究，如病变区域分割、配准以及rop的自动分级研究等有很大的帮助。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上所述仅是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。当前第1页1 2 3
技术特征：1.一种基于注意力机制的早产儿视网膜图像分类方法，其特征在于：包括步骤：
将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；
将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变rop图像；
所述深度注意力网络模型为在原始resnet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力se模块。
2.根据权利要求1所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述互补残差注意力模块包括：通道注意力se模块、最大池化层、平均池化层、二维卷积层、sigmoid层；se模块用于将输入的特征图在通道维度上重新标定得到新的特征图，重新标定后的新的特征图以通道为单位通过最大池化层、平均池化层分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，再经过一个二维卷积和sigmoid激活函数得到特征图空间权重，再将特征图空间权重与原始resnet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-e后与点积之后的特征图进行相加，得到输出的特征图；e为：互补残差注意力模块中se模块计算得到的特征图的权重系数。
3.根据权利要求1或2所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述通道注意力se模块包括：全局平均池化层、两个1*1卷积层、修正线性单元层和sigmoid层；将高度、宽度和通道数分别为h、w和c的特征图先经过全局平均池化层进行压缩操作，压缩得到c*1*1大小的特征图，再经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元层，进行了非线性变化操作，得到了新的大小的特征图；再经过一个c*1*1的卷积得到大小为c*1*1的特征图，再经过sigmoid激活函数，得到c个特征图的权重系数e，最后将输入的特征图与得到的c个特征图的权重系数e进行点积，得到经过选择后的具有病变特征信息的特征图。
4.根据权利要求1所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述深度注意力网络模型训练过程为：
1)将正常和异常的二维眼底图像按比例分为训练数据集和验证数据集，并进行预处理操作，对训练数据集中的图像数据进行数据增强；
2)将resnet18网络在imagenet数据集上训练的权重迁移至预先构建的深度注意力网络模型上，将训练数据集中的图像输入到迁移后的深度注意力网络模型，进行一次前向传播，得到每一分类的得分值，通过softmax激活函数，得出每一类的预测值，并计算所述预测值与真实分类值之间的交叉熵损失函数loss值，用adam优化算法来最小化所述交叉熵损失函数loss值；
3)通过验证数据集验证模型，保存验证数据集上准确率最好的模型，得到训练好的深度注意力网络模型。
5.根据权利要求4所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述预测值与真实分类值之间的交叉熵损失函数loss值通过下述公式计算：
其中，l表示预测值与真实分类值之间的交叉熵损失函数loss值，m表示训练过程中样本总数量，x表示输入的训练数据集中的图像，y表示真实分类值，a表示深度注意力网络模型的预测值，σ表示softmax激活函数，z表示得分值。
6.根据权利要求1或4所述的一种基于注意力机制的早产儿视网膜图像分类方法，其特征是：所述预处理操作包括：下采样和减均值。
7.一种基于注意力机制的早产儿视网膜图像分类装置，其特征在于：包括：
预处理模块，用于将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；
识别模块，用于将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变rop图像；
所述深度注意力网络模型为在原始resnet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力se模块。
8.根据权利要求7所述的一种基于注意力机制的早产儿视网膜图像分类装置，其特征是：所述互补残差注意力模块包括：通道注意力se模块、最大池化层、平均池化层、二维卷积层、sigmoid层；se模块用于将输入的特征图在通道维度上重新标定得到新的特征图，重新标定后的新的特征图以通道为单位通过最大池化层、平均池化层分别进行最大池化和平均池化操作，并将两者的结果在通道方向进行合并，再经过一个二维卷积和sigmoid激活函数得到特征图空间权重，再将特征图空间权重与原始resnet18网络的第三个残差层的输出特征图进行点积，得到点积后的特征图，将第三个残差层的输出特征图乘以残差因子1-e后与点积之后的特征图进行相加，得到输出的特征图；所述e为：互补残差注意力模块中se模块计算得到的特征图的权重系数。
9.根据权利要求7或8所述的一种基于注意力机制的早产儿视网膜图像分类装置，其特征是：所述通道注意力se模块包括：全局平均池化层、两个1*1卷积层、修正线性单元层和sigmoid层；将高度、宽度和通道数分别为h、w和c的特征图先经过全局平均池化层进行压缩操作，压缩得到c*1*1大小的特征图，再经过一个的卷积得到大小的特征图，r表示压缩率，接着经过一个修正线性单元层，进行了非线性变化操作，得到了新的的特征图；再经过一个c*1*1的卷积得到大小为c*1*1的特征图，再经过sigmoid激活函数，得到c个特征图的权重系数e，最后将输入的特征图与得到的c个特征图的权重系数e进行点积，得到经过选择后的具有病变特征信息的特征图。
10.根据权利要求7所述的一种基于注意力机制的早产儿视网膜图像分类装置，其特征是：所述深度注意力网络模型训练过程为：
1)将正常和异常的二维眼底图像按比例分为训练数据集和验证数据集，并进行预处理操作，对训练数据集中的图像数据进行数据增强；
2)将resnet18网络在imagenet数据集上训练的权重迁移至预先构建的深度注意力网络模型上，将训练数据集中的图像输入到迁移后的深度注意力网络模型，进行一次前向传播，得到每一分类的得分值，通过softmax激活函数，得出每一类的预测值，并计算所述预测值与真实分类值之间的交叉熵损失函数loss值，用adam优化算法来最小化所述交叉熵损失函数loss值；
3)通过验证数据集验证模型，保存验证数据集上准确率最好的模型，得到训练好的深度注意力网络模型。
技术总结本发明公开了一种基于注意力机制的早产儿视网膜图像分类方法和装置，包括步骤：将待识别的二维视网膜眼底图像进行预处理，得到预处理后的二维视网膜眼底图像；将预处理后的二维视网膜眼底图像输入到预先训练好的深度注意力网络模型中，输出图像的分类结果识别出早产儿视网膜病变ROP图像；所述深度注意力网络模型为在原始ResNet18网络的第三个残差层和第四个残差层后分别添加互补残差注意力模块和通道注意力SE模块。本发明能够获取丰富且重要的全局和局部信息，使得网络能够学习到正确的病变特征，从而使得分类网络能较好解决病变与背景之间极大的数据不平衡问题，进而提高深度注意力网络模型的分类性能。
技术研发人员：陈新建;彭圆圆;朱伟芳
受保护的技术使用者：苏州大学
技术研发日：2020.02.13
技术公布日：2020.06.09
