本发明涉及医学图像处理技术，特别涉及基于深度卷积神经网络(convolutionalneuralnetwork，cnn)的超声图像甲状腺结节良恶性识别的特征可视化方法。
背景技术：
甲状腺结节是指在甲状腺内的肿块，可因吞咽动作随甲状腺上下移动，是临床常见的病症，可由多种病因引起。近年来，甲状腺肿瘤的发病率明显增高，特别是在一些沿海城市，恶性肿瘤的发病率以年均4％的增幅上升，是增长速度最快的恶性肿瘤之一。中国当前甲状腺结节发病率为12.8-18.6％，其中有5-15％为恶性结节。不同性质的结节有不同的治疗手段，甲状腺恶性病变主要以外科手术切除病灶以及部分或全部甲状腺组织为主、放疗为辅的治疗方法，而甲状腺良性病变则可以不需手术、选择性手术或仅需要定期随访等有针对性的治疗方法。早期明确甲状腺结节的性质，不仅可以消除患者的紧张心态，提高生活质量，改善预后，还可以防止过度医疗，造成不必要的医疗资源浪费，同时减少患者的经济负担。因此，发现甲状腺结节后最主要的工作是进行结节良恶性的鉴别。
目前，临床上可用来评估甲状腺结节性质的方法有临床体检(触诊、听诊)、图像学方法(超声、电子计算机断层扫描、磁共振成像、放射性核素显像等)以及病理学方法(细针穿刺活检、切片活检等)。临床上诊断甲状腺结节的金标准是针刺细胞学活检，这是目前最为准确的方法。但穿刺活检有很多局限性：穿刺活检是有创性检查，存在穿刺到重要血管和神经的危险性，并不适用于大规模人群甲状腺结节的筛查；选择过细穿刺针时可能会因为采集的病理标本量不足、病变过小或操作者本身而导致没有穿刺到病变部位，从而造成结果的不准确；结果存在假阴性或假阳性的可能性，即便细针穿刺的结果为阴性，临床上也不能完全排除恶性。基于以上局限性，鉴别不能完全依靠细针穿刺细胞学检查的结果，因此需考虑其他检查方法。ct、mri、放射性核素等图像学方法，由于其放射性损伤对病人危害较大、图像采集时间长、检查费用大且诊断准确性缺乏实验验证等缺点，故没有在临床上大规模采用，而高分辨率b超费用低、方便快捷、无创、无辐射、可以获得结节大小及数目等信息，所以除了细针穿刺细胞学活检外，超声是临床上最常用的检查甲状腺结节的方法。
然而超声检查目前也存在一定局限性。虽然通过超声检查可以获得甲状腺结节的大小、形态、边缘、回声、囊变和钙化等指标，但这些指标缺乏一定的衡量标准，指标的获得很大程度上取决于检查者的主观评价，这就导致同一个病例让不同的医生诊断可能会获得不同的诊断结果，造成结果的不确定性。另一方面，这些诊断指标在大部分情况下缺乏特异性，容易造成假阴性或假阳性的结果。另外，由于成像原理，超声图像上包含明显的斑点和噪声，这些噪声会遮盖正常的解剖组织，造成信息丢失。基于以上原因，大多数用超声检查提示患有甲状腺结节的患者为了明确结节良恶性，进行了不必要的病理诊断或手术，造成不必要的医疗资源浪费，同时也增加了病人痛苦。事实上，超声图像中包含很多客观的有医学意义的信息，这些信息是肉眼难以发现的。如能从临床常规图像学资料中提取出更多信息，用于辅助临床医师进行甲状腺结节良恶性早期诊断，是非常有意义的。采用深度卷积神经网络在大量的有临床手术病理结果的甲状腺结节超声图像上进行训练，在测试集数据以及临床应用中测试，结节良恶性识别率达到85％，可以作为诊断甲状腺结节良恶性的客观辅助诊断技术。
传统机器学习模型一般具有比较好的可解释性，在深度神经网络模型中了解模型究竟从数据中学到了哪些知识(以人类可以理解的方式表达)从而产生最终决策，进而可以发现一些数据中潜在的关联。深度神经网络长久以来被视为一种黑箱模型，即不具有可解释性，因此在很多领域的应用因无法给出依据而受到限制。另外，很多领域对深度学习模型应用的顾虑除了模型本身无法给出足够的信息之外，也有或多或少关于安全性的考虑。为了提高神经网络的可解释性，2014年纽约大学的matthewd.zeiler利用反卷积的相关思想实现了特征可视化，通过可视化可以看到卷积神经网络学习具有辨别性的特征，低层特征基本是颜色、边缘、轮廓等；中间层特征则稍微复杂，学习到的是纹理特征；高层特征则是有区别性、完整的具有辨别能力的关键特征，层数越高，所提取的特征越抽象。采用类别激活映射(classactivationmapping，cam)方法，可以将学习到的区分性特征映射到原图像上。在使用训练好的模型作预测时，根据输出的预测值和线性分类器参数，对上层卷积层输出的特征图进行加权平均，然后上采样到原图像大小，得到类别激活映射图，值越大表示对分类能力越重要，对应原图上表示对类型判别起主要作用的图像区域。
虽然使用深度学习技术进行超声甲状腺结节良恶性识别具有较高准确率，但由于深度卷积神经网络的不可解释性，不能给临床诊断提供具体依据。采用类别激活映射方法，可以观察对结节良恶性识别结果起主要作用的图像区域，从而帮助医生更好地分析超声甲状腺结节的图像特征，提高诊断水平。通过将甲状腺结节恶性特征映射到原超声图像上，利用结节良恶性分布热力图指导临床穿刺检查，可以提高穿刺手术成功率。由于cam、grad-cam(gradient-basedcam)等方法使用基于分类的卷积神经网络作为基础网络，早期的网络结构如zeilernet(2013)、vggnet(2014)等只有几层到十几层，而且层与层之间没有连接，网络识别率不高，导致良恶性可视化图不可信。因此只有采用更深的卷积神经网络在大量数据上训练，提高模型泛化能力，提高良恶性识别率，网络输出的特征可视化图才具有更好的指导意义。
技术实现要素：
本发明要解决的技术问题是，克服现有技术中的不足，提供一种基于深度学习的超声甲状腺结节良恶性特征可视化的方法。
为解决技术问题，本发明的解决方案是：
提供一种基于深度学习的超声甲状腺结节良恶性特征可视化的方法，包括以下步骤：
(1)收集同时具备甲状腺结节超声图像和临床手术病理结果的病例数据，根据病理结果区分为良性结节和恶性结节，并对超声图像标记结节区域，然后生成掩模图像；
(2)选择深度卷积神经网络基本结构，修改网络输出为解码上采样方式，在所有甲状腺结节的掩模图像数据上进行分割预训练；
(3)用分割预训练得到的模型参数初始化基础网络，构建用于识别的深度卷积神经网络；采用折叠交叉方式训练和验证，得到良恶性识别模型；
(4)输入测试图像，使用良恶性识别模型预测识别结果，生成恶性特征可视化图像。
本发明中，所述步骤(1)包括：
(1.1)以病例为单位收集足量含有甲状腺结节的超声图像的数据，每个病例包含不同结节切面的多张普通b超图像；
(1.2)对数据进行清洗和匿名化处理，只保留普通b超图像，删除其他类型超声图像(如非甲状腺部位、血流图、弹性图等)，裁剪掉超声图像上的非超声图像区域；根据有无临床手术病理结果区分数据集，对有病理结果的数据再细分为良性结节数据集和恶性结节数据集；
(1.3)利用标记工具在超声图像上画出甲状腺结节区域，严格按照病灶形态及边界特征勾画结节轮廓，剔除模糊不清、无法确定病灶的数据；对于后方回声特征明显的病灶，要避免将其后方声影勾画在区域内；结节标记完成后生成结节掩模图像。
本发明中，所述步骤(2)包括：
(2.1)选择efficientnet-b4作为基础网络；
比较典型的网络结构主要有zeilernet(2013)、vggnet(2014)、inceptionv4(2016)、resnet(2016)、densenet(2017)、sknet(2018)等，目前关于网络结构的研究方向主要是基于搜索方法的模型构建，如nasnet(2017)、efficientnet(2019)等，自动搜索学习到的网络结构无论在精度还是在速度上都超越了人工设计的网络结构。本发明中考虑硬件配置、模型效率以及数据量，优选efficientnet-b4作为基础网络。
(2.2)去掉网络结构最后的全局平均池化层、全连接层和softmax损失函数层，连接1个3×3卷积层，调整输出特征通道数，然后经过反卷积将特征图上采样2倍，特征图通道数降为原来的1/4；从基础网络第1个输出特征图是原输入图像尺寸1/16的卷积层做跳层连接，在连接层之后使用3×3卷积降低输出通道数为16，最后使用反卷积进行4倍上采样；
(2.3)采用批量训练时，使用全零填充将图像宽和高扩展为32的倍数，然后取当前批图像宽和高的最大值，图像预测标签是结节掩模图像下采样1/4得到，结节区域内的像素值为1，使用基础网络提取高层特征，网络最后1层输出特征图尺寸是原图尺寸的1/32；
(2.4)随机初始化网络参数，在所有甲状腺数据上按照7∶1训练和测试分割模型，分割结果用平均交并比评价，调节学习率得到最佳分割模型。
本发明中，所述步骤(3)包括：
(3.1)用步骤(2)训练得到的分割模型参数去初始化基础网络，然后修改全连接层输出值为2，全连接层随机初始化，初始学习率为原来的2倍，使用sigmoid交叉熵损失函数；
(3.2)读取甲状腺超声图像和对应结节掩模图像，在训练过程中随机对结节掩模图像进行腐蚀或膨胀，获取结节掩模图像的最小外接矩形，计算矩形区域的中心坐标，在结节内的预设范围内做随机平移，如果矩形的宽或高都小于等于224，则在以平移后的中心坐标为中心，选取224×224图像区域；如果宽或高大于224，则以最长边作为裁剪区域，然后缩放至224×224大小，原始图像和掩模图像做相同操作；
(3.3)在预设范围内，对获取的224×224图像进行随机对比度拉伸、亮度调整、颜色偏移和镜像，模拟超声图像变化，设计第1、2通道输入超声图像，第3通道输入对应的结节掩模图像，通过分别减去123.68，116.779和103.939并乘以0.017归一化3个通道；
(3.4)采用随机梯度下降方法训练网络，调整训练时图像变换的参数范围；修改不同学习率以及学习率衰减策略，重复交叉实验，做出roc曲线，最后选取aug值最高的一次参数和模型，作为良恶性识别模型。
本发明中，所述步骤(4)包括：
(4.1)向良恶性识别模型中输入测试图像，在测试时去掉网络损失函数层，使用归一化指数函数(softmax)输出良恶性概率值；
假设fk(x，y)表示最后1个卷积层第k个特征图在空间位置(x，y)的激活值，第k个特征图进行全局平均池化后得到
fk(x，y)＝∑x，yfk(x，y)
对于给定类别c，归一化指数函数的输入：
其中，
这里忽略偏差项，即设归一化指数函数的输入偏差为0(因为其对于分类性能没有影响)；将fk(x，y)＝∑x，yfk(x，y)代入分类得分公式sc中，得到：
定义mc为类别c的类别激活映射，其中每个空间元素表示如下：
从而得出下式：
mc(x，y)表示(x，y)处的激活对图像被分类为类别c的重要性，
(4.2)根据(4.1)设置类别c＝1，即取全连接层用于预测恶性类别概率的权重参数，参数数量等于最后1层卷积层输出的特征图数量，每一个权重参数分别与对应的特征图的每个元素相乘，最后把所有加权后的特征图相加得到和恶性类别相关的特征图，表示对识别为恶性结节起主要作用的图像区域；
(4.3)由于最后一层卷积层输出特征图的大小不等于网络输入图像大小，需要把加权后的特征图上采样到原图大小，然后根据归一化后的灰度值大小产生伪彩色图像，生成热力图，再叠加在原图上，就能够观察到网络输出良恶性概率与图像区域的关系。
本发明中，所述步骤(2)中，根据不同结节大小设置不同像素分类错误的权重，小结节相对于大结节具有更大权重，大结节的权重大于背景权重；同时，根据结节面积采用自适应加权的欧式损失函数，用于平衡结节和背景像素数比例不平衡问题，以及调节不同大小结节的损失权重以避免漏检。
与现有技术相比，本发明的有益效果是：
1、本发明采用类别激活映射方法，能够将利用深度卷积神经网络学习到的甲状腺结节恶性特征映射到原超声图像上。在该叠加后的图像中，热力图数值越大表示对区分恶性结节越重要。因此，能够非常直观地观察到结节的良恶性概率与图像区域的关系。
2、利用本发明输出的结果，使用者能更好地分析超声甲状腺结节图像特征；可以利用结节良恶性分布显示结果进一步指导临床穿刺检查，提高穿刺手术的成功率。
附图说明
图1为本发明的操作流程图。
图2为实施例中所用甲状腺结节的原始图像。
图3为甲状腺结节区域的掩模图像。
图4为实施例中甲状腺结节识别结果的特征可视化图。
图5为原图与特征可视化图融合图像。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。实施例可以使本专业的专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
本发明采用的基于深度卷积神经网络识别甲状腺结节良恶性的特征可视化方法，如图1所示，其具体步骤如下：
过程一，收集并建立图像数据库，划分训练集、验证集和测试集
(1)收集约5万张含有甲状腺结节的超声数据，以病例为单位，每个病例可以包含不同结节切面的多张普通b超图像；病例应来源于不同地区和医院、不同超声机器以及操作医生。有手术病理结果的，每个结节必须和手术病理报告对应，根据病理类型确定良恶性；
(2)对数据进行清洗和匿名化处理，只保留普通b超图像，删除其他类型超声图像。裁剪超声图像上非超声图像区域，重命名图像名称，根据有无手术病理结果分开数据集，无手术病理结果的数据用作网络初始化模型训练，有手术病理结果数据再分为良性数据集和恶性数据集，无手术病理结果的数据大约是有手术病理结果数据量的3倍；
(3)利用标记工具画出甲状腺结节区域，严格按照病灶形态及边界特征勾画结节轮廓，模糊不清、无法确定病灶的数据可剔除，后方回声特征明显的病灶，要避免将其后方声影勾画在区域内，靠近图像边界的不完整结节，只勾画到可见区域内，结节标记完成后生成结节掩模图像。
(4)以病例为单位，采用折叠交叉验证将全部数据平均分成8份，其中6份作为训练集，1份作为验证集，1份作为测试集。在整个训练过程中测试集保持不变，轮流将剩余7份中的1份作为验证集，其余6份则作为训练集；
(5)生成训练集、验证集和测试集的数据文本信息，每条信息包含原始图像、结节掩模图像路径以及结节良恶性信息和交叉编号，以“|”隔开；交叉训练、验证时，以该行数据的交叉编号作为划分到验证集的依据，其余编号的数据用于训练。
过程二，构建深度卷积神经网络，进行分割预训练
(1)选择efficientnet-b4作为基础网络结构，去掉网络结构最后的全局平均池化层、全连接层和softmax损失函数层，连接1个3x3卷积层，输出特征通道数设置为1024，然后经过反卷积将特征图上采样2倍，特征图通道数降为原来的1/4，即256个特征通道；从基础网络第1个输出特征图是原输入图像尺寸1/16的卷积层做跳层连接，连接的网络层用1个3×3卷积调整输出通道数为256，通道合并方式采用逐元素相加，合并之后再使用3×3卷积调整输出通道数为16，最后使用反卷积进行4倍上采样；
(2)根据不同结节大小，设置不同像素分类错误的权重，小结节需要具有更大权重，而大结节权重可以适当减小，但仍然比背景权重大，根据结节面积采用自适应加权的欧式损失函数，既可以平衡结节和背景像素数比例不平衡问题，还可以调节不同大小结节的损失权重，可以避免漏检；
(3)采用批量训练时，使用全零填充将原始图像和掩模图像宽和高扩展为32的倍数，然后取当前批图像宽和高的最大值，图像预测标签是掩模图像下采样1/4得到，结节区域内的像素值为1，使用基础网络提取的高层特征图尺寸是输入图像尺寸的1/32，经过跳层连接后总共进行了8倍上采样，最后输出是输入图像尺寸的1/4的单通道图像，可以和掩模图像计算损失函数值；
(4)使用斯坦福大学创建的imagenet在ilsvrc2012竞赛上的数据集训练基础模型，添加的网络层使用随机初始化方法，在所有甲状腺数据上(包括无病理数据)按照7∶1训练和测试分割模型，采用随机梯度下降法更新参数，分割结果用平均交并比评价，调节学习率得到最佳分割模型。
过程三，建立结节良恶性识别模型，用分割模型初始化网络参数
(1)在efficientnet-b4基础网络结构上，修改全连接层输出值为2，用过程二得到的分割模型参数作为训练良恶性识别网络的初始化参数，全连接层参数随机初始化，初始学习率为原来的2倍，使用sigmoid交叉熵损失函数；
(2)在训练过程中随机对结节掩模图像进行腐蚀或膨胀，获取结节掩模图像的最小外接矩形，计算矩形区域的中心坐标，在结节内一定的预设范围内做随机平移，如果矩形的宽或高都小于等于224，则在以平移后的中心坐标为中心，选取224×224图像区域；如果宽或高大于224，则以最长边作为裁剪区域，然后缩放至224×224大小，原始图像和掩模图像做相同操作；
(3)在一定的预设范围内，对获取的224×224图像进行随机对比度拉伸、亮度调整、颜色偏移和镜像，模拟超声图像变化，设计第1、2通道输入超声图像，第3通道输入对应的结节掩模图像，通过分别减去123.68，116.779和103.939并乘以0.017归一化3个通道；
(4)采用随机梯度下降方法训练网络，每次迭代输入32个数据，初始学习率设为0.01，学习率采用余弦衰减策略，总共训练50000次迭代。在测试时，不做任何变换，取结节最小外接矩形的中心坐标，按照步骤(2)的裁剪方式分别取原始图像和结节掩模图像区域，输入网络，每5000次迭代测试一次，单次训练取测试准确率最高的模型；
(5)调整训练时图像变换的参数范围，修改不同学习率以及学习率衰减策略，重复交叉实验，做出roc曲线，最后选取auc值最高的一次模型，作为良恶性识别模型。
过程四，输入测试图像，输出预测类别和特征可视化图像
(1)向良恶性识别模型中输入超声图像和结节掩模图像用于测试。网络最后1层输出预测的良恶性概率值，根据roc曲线选取合适的阈值，大于阈值则为恶性，小于等于阈值则为良性，具体过程见发明内容部分所述；
(2)设置类别c＝1，取全连接层用于预测恶性类别概率的权重参数，参数数量等于最后1层卷积层输出的特征图数量，每一个权重参数分别与对应的特征图的每个元素相乘，最后把所有加权后的特征图相加得到和恶性类别相关的特征图，表示对识别为恶性结节起主要作用的图像区域；
(3)由于最后一层卷积层输出特征图的大小不等于网络输入图像大小，需要把加权后的特征图上采样到原图大小，然后根据归一化后的灰度值大小产生伪彩色图像，生成热力图，再叠加在原图上，就可以观察到网络输出良恶性概率与图像区域的关系。
图2、图3是展示了本实施例中所用甲状腺结节的原始图像与对应结节区域的掩模图像；图4展示了结节良恶性识别结果的恶性特征可视化热力图，图5是特征可视化热力图与原图像的融合图像。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形和应用场景，如超声乳腺、超声肝脏等。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。
1.一种基于深度学习的超声甲状腺结节良恶性特征可视化的方法，其特征在于，包括以下步骤：
(1)收集同时具备甲状腺结节超声图像和临床手术病理结果的病例数据，根据病理结果区分为良性结节和恶性结节，对超声图像标记结节区域，然后生成掩模图像；
(2)选择深度卷积神经网络基本结构，修改网络输出为解码上采样方式，在所有甲状腺结节的掩模图像数据上进行分割预训练；
(3)用分割预训练得到的模型参数初始化基础网络，构建用于识别的深度卷积神经网络；采用折叠交叉方式训练和验证，得到良恶性识别模型；
(4)输入测试图像，使用良恶性识别模型预测识别结果，生成恶性特征可视化图像。
2.根据权利要求1所述的方法，其特征在于，所述步骤(1)包括：
(1.1)以病例为单位收集足量含有甲状腺结节的超声图像的数据，每个病例包含不同结节切面的多张普通b超图像；
(1.2)对数据进行清洗和匿名化处理，只保留普通b超图像，删除其他类型超声图像，裁剪掉超声图像上的非超声图像区域；同时根据有无临床手术病理结果区分数据集，对有病理结果的数据再细分为良性结节数据集和恶性结节数据集；
(1.3)利用标记工具在超声图像上画出甲状腺结节区域，严格按照病灶形态及边界特征勾画结节轮廓，剔除模糊不清、无法确定病灶的数据；对于后方回声特征明显的病灶，要避免将其后方声影勾画在区域内；结节标记完成后生成结节掩模图像。
3.根据权利要求1所述的方法，其特征在于，所述步骤(2)包括：
(2.1)选择effcientnet-b4作为基础网络；
(2.2)去掉网络结构最后的全局平均池化层、全连接层和softmax损失函数层，连接1个3×3卷积层，调整输出特征通道数，然后经过反卷积将特征图上采样2倍，特征图通道数降为原来的1/4；从基础网络第1个输出特征图是原输入图像尺寸1/16的卷积层做跳层连接，在连接层之后使用3×3卷积降低输出通道数为16，最后使用反卷积进行4倍上采样；
(2.3)采用批量训练时，使用全零填充将图像宽和高扩展为32的倍数，然后取当前批图像宽和高的最大值，图像预测标签是结节掩模图像下采样1/4得到，结节区域内的像素值为1，使用基础网络提取高层特征，网络最后1层输出特征图尺寸是原图尺寸的1/32；
(2.4)随机初始化网络参数，在所有甲状腺数据上按照7：1训练和测试分割模型，分割结果用平均交并比评价，调节学习率得到最佳分割模型。
4.根据权利要求1所述的方法，其特征在于，所述步骤(3)包括：
(3.1)用步骤(2)训练得到的分割模型参数去初始化基础网络，然后修改全连接层输出值为2，全连接层随机初始化，初始学习率为原来的2倍，使用sigmoid交叉熵损失函数；
(3.2)读取甲状腺超声图像和对应结节掩模图像，在训练过程中随机对结节掩模图像进行腐蚀或膨胀，获取结节掩模图像的最小外接矩形，计算矩形区域的中心坐标，在结节内的预设范围内做随机平移，如果矩形的宽或高都小于等于224，则在以平移后的中心坐标为中心，选取224×224图像区域；如果宽或高大于224，则以最长边作为裁剪区域，然后缩放至224×224大小，原始图像和掩模图像做相同操作；
(3.3)在预设范围内，对获取的224×224图像进行随机对比度拉伸、亮度调整、颜色偏移和镜像，模拟超声图像变化，设计第1、2通道输入超声图像，第3通道输入对应的结节掩模图像，通过分别减去123.68、116.779和103.939并乘以0.017归一化3个通道；
(3.4)采用随机梯度下降方法训练网络，调整训练时图像变换的参数范围；修改不同学习率以及学习率衰减策略，重复交叉实验，做出roc曲线，最后选取auc值最高的一次参数和模型，作为良恶性识别模型。
5.根据权利要求1所述的方法，其特征在于，所述步骤(4)包括：
(4.1)向良恶性识别模型中输入测试图像，在测试时去掉网络损失函数层，使用归一化指数函数输出良恶性概率值；
假设fk(x，y)表示最后1个卷积层第k个特征图在空间位置(x，y)的激活值，第k个特征图进行全局平均池化后得到
fk(x，y)＝∑x，yfk(x，y)
对于给定类别c，归一化指数函数的输入：
其中，
这里忽略偏差项，即设归一化指数函数的输入偏差为0；将fk(x，y)＝∑x，yfk(x，y)代入分类得分公式sc中，得到：
定义mc为类别c的类别激活映射，其中每个空间元素表示如下：
从而得出下式：
mc(x，y)表示(x，y)处的激活对图像被分类为类别c的重要性，
(4.2)根据(4.1)设置类别c＝1，即取全连接层用于预测恶性类别概率的权重参数，参数数量等于最后1层卷积层输出的特征图数量，每一个权重参数分别与对应的特征图的每个元素相乘，最后把所有加权后的特征图相加得到和恶性类别相关的特征图，表示对识别为恶性结节起主要作用的图像区域；
(4.3)由于最后一层卷积层输出特征图的大小不等于网络输入图像大小，需要把加权后的特征图上采样到原图大小，然后根据归一化后的灰度值大小产生伪彩色图像，生成热力图，再叠加在原图上，就能够观察到网络输出良恶性概率与图像区域的关系。
6.根据权利要求1所述的方法，其特征在于，所述步骤(2)中，根据不同结节大小设置不同像素分类错误的权重，小结节相对于大结节具有更大权重，大结节的权重大于背景权重；同时，根据结节面积采用自适应加权的欧式损失函数，用于平衡结节和背景像素数比例不平衡问题，以及调节不同大小结节的损失权重以避免漏检。
技术总结