本发明属于医学图像人工智能领域，具体涉及一种卷积神经网络方法，通过设计多尺度注意力特征结构进行神经网络训练，提高人体皮肤图像的病变分类准确率。
背景技术：
黑色素瘤是最危险的皮肤癌之一，无法早期确认黑色素瘤可能会延误患者寻求适当的治疗建议和延误手术切除的时机，同时会增加癌症扩散到身体其他器官的风险并可能导致死亡。当皮肤病不是黑色素瘤而被认为是黑色素瘤，可能引起患者焦虑并导致不必要的手术和进一步的检查。由于该病临床及病例类型较多，易与色素痣等相混淆，因此，提升皮肤图像的病变分类准确率具有重大意义。与传统图像分类方法相比较，得益于数据量的积累和计算力的提升，深度学习方法在人工智能领域得到了广泛的应用。如何提取更具有分辨力的特征是提高图像分类准确率的关键所在。
技术实现要素：
为了克服现有技术的不足，本发明提供一种基于多尺度注意力特征的人体皮肤图像病变分类方法，通过设计多尺度注意力特征结构进行神经网络训练，提高人体皮肤图像的病变分类准确率。
为了解决上述技术问题本发明提供如下的技术方案：
一种基于多尺度注意力特征的人体皮肤图像病变分类方法，包括以下步骤：
步骤1：将图片经过预处理，数据增强后传入卷积神经网络进行特征提取得到f1；
步骤2：将步骤1得到的特征图f1分为两个支路进行处理：一条支路直接进行分类输出得到p1，另一条支路进行降维得到通道数为1的注意力图，并进行标准化和阈值化处理，得到注意力图的二值化结果a1；
步骤3：在a1中，找到横轴方向上最左端和最右端为1的位置，纵轴方向上找到最上端和最下端为1的位置，通过这四个位置确定候选框c1；
步骤4：将步骤3得到的候选框c1放置在f1上进行图像裁剪，重新调整候选框内图像大小，传入resnet-50网络得到特征图f2；
步骤5：参照步骤2，将特征图进行双支路处理，得到p2和注意力图a2，在a2中，重复步骤3得到新的候选框c2，在c2和f2上，重复步骤4，传入resnet-50网络得到特征图f3，直接进行分类得到p3；
步骤6：构建训练网络结构的损失函数：(1)每一次分类的交叉熵，也就是p1、p2、p3对应的3个交叉熵；(2)成对损失，将p2对应真实标签位置上的结果加上0.05减去p1对应真实标签位置上的的结果，将p3对应真实标签位置上的结果加上0.05减去p2对应真实标签位置上的结果，将这两部分相加得到成对损失，最终损失函数为交叉熵损失加上成对损失；
步骤7：使用训练好的模型对测试集进行预测，取概率最大值对应的类别作为皮肤病分类结果。
进一步，所述步骤2-5中，对神经网络提取的特征图像，通过二值化注意力特征图针对病灶区域进行两次尺度放大，并在步骤6中，通过构建交叉熵和成对损失函数，综合多尺度信息进行皮肤图像病变的分类。
本发明的有益效果在于：现实情况下皮肤病图像疾病区域没有特定大小，有的图像疾病区域很小，而有的图像疾病区域却占据很大部分。通过对输入图像提取特征并采用裁剪策略得到不同尺度的图像作为下一级输入再次提取特征得到不同尺度的图像。最终，将输入图像转变为3张不同尺度的图像进行训练，让网络更加关注于疾病区域部分，提高网络模型的分类准确率。
附图说明
图1为本次皮肤病多尺度网络结构图。
图2为裁剪候选框示例，即经过二值化处理的注意力图。
具体实施方式
下面结合附图进行进一步描述。
参照图1和图2，一种基于多尺度注意力特征的人体皮肤图像病变分类方法，包括以下步骤：
步骤1.将训练数据集进行数据扩充，扩充的方法有上下翻转，左右翻转，旋转，亮度、对比度、饱和度调整等，扩充之后每一种类别的数目接近，确保不同类别间数据均衡；将图像调整为224×224大小，传入resnet-50网络中进行特征提取，得到7×7×2048的特征图f1；
步骤2.将步骤1得到的特征图f1一条路直接进行分类输出为p1，另一条路将f1与1×1×1的卷积核进行卷积操作得到7×7×1的注意力图，找到注意力图中最小值和最大值，将注意图进行标准化，然后将注意力图进行阈值处理，将大于0.3的置1，小于0.3的置0，然后进行上采样得到224×224大小的a1；
步骤3.通过程序找到图像中所有为1元素的位置，在横轴上找到最大和最小的位置，在纵轴上找到最大和最小的位置，通过横轴和纵轴的最大和最小位置就可以得到一个候选框c1；
步骤4.将f1按照c1的大小进行裁剪，将裁剪后的图像上采样得到224×224的新图像传入resnet-50网络提取特征得到f2；
步骤5.参照步骤2，将特征图进行双支路处理，得到p2和224×224大小的注意力图a2；在a2中，重复步骤3得到新的候选框c2。在c2和f2上，重复步骤4，传入resnet-50网络得到特征图f3，直接进行分类得到p3；
步骤6.构建训练网络结构的损失函数，损失函数包含两部分：(1)每一次分类的交叉熵，也就是p1、p2、p3对应的3个交叉熵，目的是为了提高各自分类的准确率；(2)成对损失，p1、p2和p3的维度均为16×7，16为训练一批图像包含的数据个数，7为疾病的种类，在p1、p2和p3中将每一张图像对应的判别结果为a1、a2和a3，相应的尺度都为1×7，然后在a1、a2和a3中找到该图像对应的真实标签b1、b2和b3，接着将b2加上0.05减去b1得到l1，b3加上0.05减去b2得到l2，最后将所有图像对应的l1 l2求和取平均数作为最终的成对损失；
步骤7.使用训练好的模型对测试集进行预测，取(p1 p2 p3)/3中概率最大值对应的类别作为皮肤病分类结果，这样能够充分利用提取到的皮肤疾病多尺度特征信息，皮肤病存在同一类别病灶区域尺度不一容易被误识别的问题，通过两次裁剪操作就可以得到尺度不同的信息，充分利用不同尺度的特征信息可以提高分类的准确率。
1.一种基于多尺度注意力特征的人体皮肤图像病变分类方法，其特征在于，包括以下步骤：
步骤1：将图片经过预处理，数据增强后传入卷积神经网络进行特征提取得到f1；
步骤2：将步骤1得到的特征图f1分为两个支路进行处理：一条支路直接进行分类输出得到p1，另一条支路进行降维得到通道数为1的注意力图，并进行标准化和阈值化处理，得到注意力图的二值化结果a1；
步骤3：在a1中，找到横轴方向上最左端和最右端为1的位置，纵轴方向上找到最上端和最下端为1的位置，通过这四个位置确定候选框c1；
步骤4：将步骤3得到的候选框c1放置在f1上进行图像裁剪，重新调整候选框内图像大小，传入resnet-50网络得到特征图f2；
步骤5：参照步骤2，将特征图进行双支路处理，得到p2和注意力图a2，在a2中，重复步骤3得到新的候选框c2，在c2和f2上，重复步骤4，传入resnet-50网络得到特征图f3，直接进行分类得到p3；
步骤6：构建训练网络结构的损失函数：(1)每一次分类的交叉熵，也就是p1、p2、p3对应的3个交叉熵；(2)成对损失，将p2对应真实标签位置上的结果加上0.05减去p1对应真实标签位置上的的结果，将p3对应真实标签位置上的结果加上0.05减去p2对应真实标签位置上的结果，将这两部分相加得到成对损失，最终损失函数为交叉熵损失加上成对损失；
步骤7：使用训练好的模型对测试集进行预测，取概率最大值对应的类别作为皮肤病分类结果。
2.根据权利要求1所述的一种基于多尺度注意力特征的人体皮肤图像病变分类方法，其特征在于，所述步骤2-5中，对神经网络提取的特征图像，通过二值化注意力特征图针对病灶区域进行两次尺度放大，并在步骤6中，通过构建交叉熵和成对损失函数，综合多尺度信息进行皮肤图像病变的分类。
技术总结