本发明涉及图像处理技术领域,尤其是涉及一种病灶检测方法、装置及电子设备。
背景技术:
病灶也即机体上发生病变的部分,通过检测病灶所在位置,可以便于医护人员较好地针对病灶对患者进行医治。目前,检测病灶是在ct(computedtomography,电子计算机断层扫描)图像的基础上进行的,例如将3d(3dimensions,三维)的ct(computedtomography,电子计算机断层扫描)图像降维至2d(2dimensions,二维)的ct图像,并将2d的ct图像输入至神经网络模型中得到病灶的包围框,以通过包围框表征病灶在ct中所处位置,经发明人研究发现,通过这种方式得到的病灶检测结果存在准确度较低的问题。
技术实现要素:
有鉴于此,本发明的目的在于提供一种病灶检测方法、装置及电子设备,可以有效提高检测病灶的准确度。
第一方面,本发明实施例提供了一种病灶检测方法,包括:获取待检测的医学扫描图像;对所述医学扫描图像进行预处理,得到与所述医学扫描图像对应的去噪扫描图像;将所述去噪扫描图像输入至预先训练的病灶检测模型,得到所述病灶检测模型输出的检测结果;其中,所述检测结果包括病灶中心点坐标、病灶尺寸和病灶偏移量中的一种或多种;将所述检测结果标注至所述医学扫描图像。
在一种实施方式中,所述医学扫描图像为3d图像;所述预处理包括归一化处理和/或重采样处理;所述对所述医学扫描图像进行预处理,得到与所述医学扫描图像对应的去噪扫描图像的步骤,包括:如果所述预处理包括所述归一化处理,将所述医学扫描图像中各个像素的色彩值分别映射到预设色彩范围内的多个目标色彩值;如果所述预处理包括所述重采样处理,利用所述重采样处理剔除所述医学扫描图像中的噪声,并将所述医学扫描图像的当前尺寸调整为第一目标尺寸;将所述预处理后的医学扫描图像作为去噪扫描图像。
在一种实施方式中,所述病灶检测模型包括特征图生成网络和第一卷积网络;所述第一卷积网络包括与所述特征图生成网络分别相连的中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络;所述将所述去噪扫描图像输入至预先训练的病灶检测模型,得到所述病灶检测模型输出的检测结果的步骤,包括:将所述去噪扫描图像输入至所述特征图生成网络,得到所述去噪扫描图像的特征图;将所述特征图分别输入至所述中心点卷积子网络、所述尺寸卷积子网络和所述偏移量卷积子网络,得到检测结果;其中,所述中心点卷积子网络用于病灶中心点坐标检测,所述尺寸卷积子网络用于进行病灶尺寸检测,所述偏移量卷积子网络用于进行病灶偏移量检测。
在一种实施方式中,所述特征图生成网络包括第二卷积网络和特征骨架模型;所述将所述去噪扫描图像输入至所述特征图生成网络,得到所述去噪扫描图像的特征图的步骤,包括:将所述去噪扫描图像输入至所述第二卷积网络,通过所述第二卷积网络对所述去噪扫描图像进行重采样处理,得到第二目标尺寸的去噪扫描图像;将所述第二目标尺寸的去噪扫描图像输入至所述特征骨架模型,得到所述去噪扫描图像的特征图。
在一种实施方式中,所述病灶检测模型的训练步骤,包括:获取图像训练集;基于所述图像训练集中的图像样本训练所述病灶检测模型;基于每次训练的训练结果计算所述病灶检测模型的损失函数;当所述病灶检测模型的损失函数收敛时,停止对所述病灶检测模型进行训练。
在一种实施方式中,所述获取图像训练集的步骤,包括:获取携带有病灶标签的原始图像样本;其中,所述病灶标签包括病灶包围框;所述原始图像样本为3d图像;将所述原始图像样本中所述病灶包围框外围区域的各个像素的色彩值设置为预设色彩值;对所述原始图像样本中所述病灶包围框所处区域进行所述预处理,得到所述原始图像样本对应的去噪图像样本;对所述去噪图像样本进行特征增强处理,得到所述去噪图像样本对应的增强图像样本;将所述去噪图像样本和所述增强图像样本作为图像训练集。
在一种实施方式中,所述对所述去噪图像样本进行特征增强处理,得到所述去噪图像样本对应的增强图像样本的步骤,包括:将所述去噪图像样本输入至预先训练的对抗特征生成网络,得到所述对抗特征生成网络输出的增强图像样本;和/或;对所述去噪图像样本进行图像处理,得到所述对抗特征生成网络输出的增强图像样本;其中,所述图像处理包括旋转、缩放、平移和扭曲中的一种或多种。
在一种实施方式中,基于每次训练的训练结果计算所述病灶检测模型的损失函数的步骤,包括:按照如下公式计算所述病灶检测模型的损失函数lfl:
其中,a表示第一超参数,γ表示第二超参数,y表示所述病灶标签,y'表示训练结果。
第二方面,本发明实施例还提供一种病灶检测装置,包括:图像获取模块,用于获取待检测的医学扫描图像;预处理模块,用于对所述医学扫描图像进行预处理,得到与所述医学扫描图像对应的去噪扫描图像;检测模块,用于将所述去噪扫描图像输入至预先训练的病灶检测模型,得到所述病灶检测模型输出的检测结果;其中,所述检测结果包括病灶中心点坐标、病灶尺寸和病灶偏移量中的一种或多种;标注模块,用于将所述检测结果标注至所述医学扫描图像。
第三方面,本发明实施例还提供一种电子设备,包括处理器和存储器;所述存储器上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。
第四方面,本发明实施例还提供一种计算机存储介质,用于储存为第一方面提供的任一项所述方法所用的计算机软件指令。
本发明实施例提供的一种病灶检测方法、装置及电子设备,首先获取待检测的图像扫描图像,并对图像医学扫描进行预处理得到去噪扫描图像,通过将去噪扫描图像输入至预先训练的病灶检测模型可以得到检测结果,其中,检测结果包括病灶中心坐标、病灶尺寸和病灶偏移量中的一种或多种,最终将检测结果标注至医学扫描图像。上述方法通过对医学扫描图像进行预处理可以得到去噪扫描图像,从而较好地缓解医学扫描图像存在地大小不一致问题以及精度不一致问题,进而有效提高检测病灶的准确度。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种病灶检测方法的流程示意图;
图2为本发明实施例提供的一种第二卷积网络的示意图;
图3为本发明实施例提供的一种第一卷积网络的示意图;
图4为本发明实施例提供的另一种病灶检测方法的流程示意图;
图5为本发明实施例提供的一种病灶检测装置的结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前现有的病灶检测方法存在准确度较低的问题,基于此,本发明实施提供了一种病灶检测方法、装置及电子设备,可以有效提高检测病灶的准确度。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种病灶检测方法进行详细介绍,参见图1所示的一种病灶检测方法的流程示意图,该方法主要包括以下步骤:
步骤s102,获取待检测的医学扫描图像。
其中,医学扫描图像也即ct图像,可以采用2d图像或3d图像,在一种实施方式中,可通过ct扫描机器向人体发射x光并对人体进行扫描,得到显示人体骨骼和器官轮廓的3d医学扫描图像,将该3d医学扫描图像作为待检测的医学扫描图像。
步骤s104,对医学扫描图像进行预处理,得到与医学扫描图像对应的去噪扫描图像。
如果医学扫描图像为3d图像,由于实际中医学扫描图像可能存在大小不一的间距,而这些大小不一的间距将影响检测结果,因此为提高检测结果的准确度,本发明实施例需要对医学扫描图像进行预处理,在一种实施方式中,可通过归一化处理和重采样处理去除医学扫描图像中的噪声,从而得到去噪扫描图像。
步骤s106,将去噪扫描图像输入至预先训练的病灶检测模型,得到病灶检测模型输出的检测结果。
其中,病灶检测模型可以采用诸如cnn(convolutionalneuralnetwork,卷积神经网络)等,例如,通过对3d的ct图像和ct图像中标注的标签对cnn进行训练,得到训练好的病灶检测模型。检测结果包括病灶中心点坐标、病灶尺寸和病灶偏移量中的一种或多种。病灶中心点坐标也即病灶所在区域的中心点对应的坐标,病灶尺寸可以包括病灶的长宽高等。
步骤s108,将检测结果标注至医学扫描图像。
为便于医护人员或患者较好地获知检测结果,可以将检测结果标注至医学扫描图像,从而使医护人员或患者结合医学扫描图像,清楚明了地得知并在所在的位置以及尺寸。
本发明实施例提供的上述病灶检测方法,首先获取待检测的图像扫描图像,并对图像医学扫描进行预处理得到去噪扫描图像,通过将去噪扫描图像输入至预先训练的病灶检测模型可以得到检测结果,其中,检测结果包括病灶中心坐标、病灶尺寸和病灶偏移量中的一种或多种,最终将检测结果标注至医学扫描图像。上述方法通过对医学扫描图像进行预处理可以得到去噪扫描图像,从而较好地缓解医学扫描图像存在地大小不一致问题以及精度不一致问题,进而有效提高检测病灶的准确度。
考虑到现有技术中在检测病灶前,需要将3d的ct图像降维至2d图像,并基于2d图像得到病灶检测结果,但是由于2d图像的立体效果明显略逊于3d图像,从而导致在2d图像基础上得到的病灶检测结果表现效果较差,因此本发明实施例的医学扫描图像采用3d图像。另外,由于ct扫描机器型号或扫描参数等影响,3d的医学扫描图像的每层可能存在不同大小的间距,从而影响输出的检测结果的精度,为缓解这一问题,本发明实施例对3d的医学扫描图像进行预处理,其中,预处理可以包括归一化处理和/或重采样处理。在此基础上,本发明实施例提供了一种对医学扫描图像进行预处理得到于医学扫描图像对应的去噪扫描图像的具体实施方式:(1)如果预处理包括归一化处理,将医学扫描图像中各个像素的色彩值分别映射到预设色彩范围内的多个目标色彩值。由于ct图像的色彩值与常见图像的色彩值存在一定区别,在一种实施方式中,可以截取色彩值在(-1024,1024)范围内的ct图像,而将其他色彩范围丢弃,并将色彩值(-1024,1024)缩放至(0,225)范围内,以便于医护人员和患者通过肉眼清晰地分辨病灶所在区域,有利于病灶相关数据的调试和检查。在将色彩值(-1024,1024)缩放至(0,225)范围内时,(-1024,1024)范围内的色彩值与(0,225)范围内的色彩值存在一一对应的映射关系。(2)如果预处理包括重采样处理,利用重采样处理剔除医学扫描图像中的噪声,并将医学扫描图像的当前尺寸调整为第一目标尺寸。在实际应用中,医学扫描图像因为ct扫描设备的型号和扫描参数的问题(例如层厚参数或位置参数等不同)导致医学扫描图像的大小和扫描间距可能存在差异,若不对医学扫描图像记性重采样处理,将影响检测结果的准确性。其中,第一目标尺寸可以为(w(width,宽),h(height,高),l(length,长)),例如,将第一目标尺寸设置为(0.8,0.8,0.3)(mm),则通过按照预设采样倍率对医学扫描图像先进行下采样处理再进行上采样处理,以统一医学扫描图像的扫描间距,同时可以将医学扫描图像从当前尺寸调整至第一目标尺寸。(3)将预处理后的医学扫描图像作为去噪扫描图像。
目前现有的利用神经网络模型对病灶进行检测的方法通常是输出病灶的包围框,以通过包围框表征病灶在医学扫描图像中所处的位置,然而这种单一预测的方式存在可信度较低的问题,为了提高检测结果的可信程度,本发明实施例利用病灶检测模型输出病灶中心坐标、病灶尺寸和病灶偏移量等多个检测结果,通过结合病灶中心坐标、病灶尺寸和病灶偏移量可以有效提高检测结果的可信度。为了使病灶检测模型可以输出上述检测结果,本发明实施例提供的病灶检测模型包括特征图生成网络和第一卷积网络,第一卷积网络又包括与特征图生成网络分别相连的中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络。其中,特征图生成网络的输入为去噪扫描图像,输出为特征图;中心点卷积子网络的输入为特征图,输出位病灶中心点坐标p=(x,y,z);尺寸卷积子网络的输入为特征图,输出为病灶尺寸(w,h,l);偏移量卷积子网络的输入为特征图,输出为病灶偏移量(x1,y1,z1)。
在病灶检测模型的基础上,本发明实施例提供可以按照如下步骤1至步骤2执行将去噪扫描图像输入至预先训练的病灶检测模型,得到病灶检测模型输出的检测结果的步骤:
步骤1,将去噪扫描图像输入至特征图生成网络,得到去噪扫描图像的特征图。为便于对步骤1进行理解,本发明实施例进一步说明特征图生成网络。上述特征图生成网络还包括第二卷积网络和特征骨架模型。其中,第二卷积网络用于对去噪扫描图像进行重采样处理,特征骨架模型用于生成去噪扫描图像对应的特征图。在此基础上,本发明实施例进一步提供了一种执行将去噪扫描图像输入至特征图生成网络,得到去噪扫描图像的特征图的步骤,参见图下步骤1.1至步骤1.2:
步骤1.1,将去噪扫描图像输入至第二卷积网络,通过第二卷积网络对去噪扫描图像进行重采样处理,得到第二目标尺寸的去噪扫描图像。参见图2所示的一种第二卷积网络的示意图,第二卷积网络包括下采样部分和上采样部分,通过利用不同采样倍率(x,y,z)对输入的去噪扫描图像的每个维度进行下采样处理和上采样处理即可实现对去噪扫描图像进行重采样处理,进而得到第二目的尺寸的去噪扫描图像,其中,x为宽(w)维度对应的采样倍率,y为高(h)维度对应的采样倍率,z为长(l)维度对应的采样倍率,例如,第二卷积网络的输入为16*384*512尺寸的去噪扫描图像,则图2中4*4*2表示在w维度上每4个像素采样1个像素、在h维度上每4个像素采样1个像素以及在l维度上每2个像素采样1个像素。
步骤1.2,将第二目标尺寸的去噪扫描图像输入至特征骨架模型,得到去噪扫描图像的特征图。其中,特征骨架模型可以采用3drest-net50骨架模型,并利用3drest-net50骨架模型抽取第二目标尺寸的去噪扫描图像中的特征,以生成去噪扫描图像的特征图。
步骤2,将特征图分别输入至中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络,得到检测结果。其中,中心点卷积子网络用于病灶中心点坐标检测,尺寸卷积子网络用于进行病灶尺寸检测,偏移量卷积子网络用于进行病灶偏移量检测。在一种实施方式中,参见图3所示的一种第一卷积网络的示意图,其中,中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络均可采用相连的两个卷积层,其中一个卷积层的参数为3*3,另一个卷积层的参数为1*1。
为提高病灶检测模型输出的检测结果的准确度,本发明实施例需预先对病灶检测模型进行训练,并在病灶检测模型的损失函数收敛时停止对病灶检测模型进行的训练。本发明实施例提供了一种病灶检测模型的训练方法,参见如下步骤a至步骤d:
步骤a,获取图像训练集。本发明实施例采用的图像训练集包括多个3d的原始图像样本,且每个原始图像样本均携带有病灶标签。其中,病灶标签包括病灶包围框,病灶包围框用表征病灶在原始图像样本中所处位置。本发明实施例提供了一种获取图像训练集的具体实施方式,参见如下步骤a1至步骤a5:
步骤a1,获取携带有病灶标签的原始图像样本。其中,原始图像样本为3d图像,原始图像样本可以通过ct扫描机器扫描人体得到,并通过人公标注的方式或神经网络检测的方式在原始图像样本中标注病灶包围框。
步骤a2,将原始图像样本中病灶包围框外围区域的各个像素的色彩值设置为预设色彩值。为减少原始图像样本中噪声对其训练的影响,本发明实施例对原始图像样本进行去除背景操作,从而仅保留病灶图像,其中,病灶包围框外围区域可以认为是背景区域,背景区域与病灶所在区域并无较大关联,因此在具体实现时,预设色彩值可以设置为0,从而将病灶包围框外围区域的各个像素的色彩值设置为0,进而去除原始图像样本的背景区域。
步骤a3,对原始图像样本中病灶包围框所处区域进行预处理,得到原始图像样本对应的去噪图像样本。其中,预处理也即前述归一化处理和重采样处理,在实际应用中,去除背景、归一化处理和重采样处理的顺序可基于实际情况进行设置,本发明实施例对此不做限制。
步骤a4,对去噪图像样本进行特征增强处理,得到去噪图像样本对应的增强图像样本。其中,特征增强处理可以包括图像维度的特征增强处理和特征维度的特征增强处理。由于患者的ct图像数据量较少,而为了检测模型输出的检测结果更为准确,需要大量的ct图像,因此本发明实施例对去噪图像样本进行特征增强处理。本发明实施例示例性提供了对去噪图像样本进行特征增强处理的方法,具体可参见如下:
方式一:将去噪图像样本输入至预先训练的对抗特征生成网络,得到对抗特征生成网络输出的增强图像样本。其中,对抗特征生成网络也即gan(generativeadversarialnets)模型,其中,gan模型包括相连的特征生成器和特征鉴别器,特征生成器用于生成去噪图像样本对应的对抗特征,其输入为去噪图像样本,输出为对抗特征;特征鉴别器用于鉴别输入的特征为特征生成器生成的对抗特征或针对去噪图像样本提取得到的真实特征,在实际应用中,可以通过特征鉴别器的输出计算损失函数,进而基于损失函数训练特征生成器和特征鉴别器,以使特征生成器生成更为贴近真实特征的对抗特征。
方式二:对去噪图像样本进行图像处理,得到对抗特征生成网络输出的增强图像样本。其中,图像处理包括旋转、缩放、平移和扭曲中的一种或多种。例如,旋转去噪图像样本以得到不同角度的增强图像样本,缩放去噪图像样本或平移去噪图像样本以得到不同区域的增强图像样本,扭曲去噪图像样本以得到变形的增强图像样本。
步骤a5,将去噪图像样本和增强图像样本作为图像训练集。
步骤b,基于图像训练集中的图像样本训练病灶检测模型。在具体实现时,可以将增强图像样本和其携带的标签共同输入至病灶检测模型,病灶检测模型针对输入的增强图像样本输出对应的训练结果,并计算训练结果和标签计算病灶检测模型的损失函数,以通过损失函数对病灶检测模型进行训练。
步骤c,基于每次训练的训练结果计算病灶检测模型的损失函数。在一种实施方式中,可按照如下公式计算病灶检测模型的损失函数lfl:
其中,a表示第一超参数,γ表示第二超参数,y表示病灶标签,y'表示训练结果。本发明实施例提供的上述公式是对focalloss进行改进得到的。
由于本发明实施例提供的病灶检测模型包括中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络,因此需要针对中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络分别进行训练,进而需要分别计算上述卷积子网络的损失函数,具体的,利用上述公式针对中心点卷积子网络输出的病灶中心点坐标计算中心点卷积子网络的第一损失值,利用上述公式针对尺寸卷积子网络输出的病灶尺寸计算尺寸卷积子网络的第二损失值,以及利用上述公式针对偏移量子网络输出的病灶偏移量计算偏移量卷积子网络的第三损失值。
步骤d,当病灶检测模型的损失函数收敛时,停止对病灶检测模型进行训练。
为便于对上述病灶检测方法进行理解,本发明实施例提供了另一种病灶检测方法,上述病灶检测方法可较好地应用于肺部病灶的检测,参见图4所示的另一种病灶检测方法的流程示意图,该方法主要包括以下步骤s402至步骤s412:
步骤s402,获取ct设备扫描得到的第一肺部ct数据(也即,前述原始图像样本)。
步骤s404,对第一肺部ct数据进行处理,得到图像训练集。其中,处理包括(1)重采样处理;(2)去背景处理;(3)归一化处理;(4)数据增强处理(也即,前述特征增强处理)。具体可参见前述实施例,此处不再赘述。
步骤s406,利用图像训练集训练病灶检测模型。病灶检测模型的训练过程可参见前述实施例,本发明实施例在此不再赘述。
步骤s408,获取ct设备扫描得到的第二肺部ct数据(也即,前述医学扫描图像)。
步骤s410,对第二肺部ct数据进行处理,并将处理后的第二肺部ct数据输入至训练后的病灶检测模型,得到肺部病灶的检测结果。其中,对第二肺部ct数据进行的处理可包括上述步骤s404提及的重采样处理和归一化处理。
步骤s412,将检测结果标注至第二肺部ct数据,并将标注有检测结果的第二肺部ct数据发送至指定终端,以通过指定终端展示标注有检测结果的第二肺部ct数据。其中,指定终端可以包括诸如手机、平板或电脑等多种设备,从而较好地辅助医护人员和患者查看检测结果。
综上所述,本发明实施例具有以下特点至少之一:
(1)本发明实施例对ct数据进行了重新采样处理,使得ct数据的分布更加均匀。
(2)本发明实施例的医学扫描图像和图像训练集中的增强图像样本均采用3d图像,使病灶检测过程更好地科学依据,本发明实施例无需将3d的ct图像转换为2d的ct图像,使检测结果更加符合ct数据本身的特性。
(3)本发明实施例采用gan模型对训练所需的ct数据进行数据增强,有效地增加了样本数量。
(4)本发明实施直接预测病灶的病灶中心点坐标、病灶尺寸和病灶偏移量,使得检测结果具有更好地鲁棒性。
(5)本发明实施例次采用改进的focalloss损失函数对病灶检测模型进行训练,使训练后的病灶检测模型可以输出更为准确的检测结果。
对于前述实施例提供的病灶检测方法,本发明实施例提供了一种病灶检测装置,参见图5所示的一种病灶检测装置的结构示意图,该装置主要包括以下部分:
图像获取模块502,用于获取待检测的医学扫描图像;
预处理模块504,用于对医学扫描图像进行预处理,得到与医学扫描图像对应的去噪扫描图像;
检测模块506,用于将去噪扫描图像输入至预先训练的病灶检测模型,得到病灶检测模型输出的检测结果;其中,检测结果包括病灶中心点坐标、病灶尺寸和病灶偏移量中的一种或多种;
标注模块508,用于将检测结果标注至医学扫描图像。
本发明实施例提供的上述病灶检测装置,通过对医学扫描图像进行预处理可以得到去噪扫描图像,从而较好地缓解医学扫描图像存在地大小不一致问题以及精度不一致问题,进而有效提高检测病灶的准确度。
在一种实施方式中,医学扫描图像为3d图像;预处理包括归一化处理和/或重采样处理;上述预处理模块504还用于:如果预处理包括归一化处理,将医学扫描图像中各个像素的色彩值分别映射到预设色彩范围内的多个目标色彩值;如果预处理包括重采样处理,利用重采样处理剔除医学扫描图像中的噪声,并将医学扫描图像的当前尺寸调整为第一目标尺寸;将预处理后的医学扫描图像作为去噪扫描图像。
在一种实施方式中,病灶检测模型包括特征图生成网络和第一卷积网络;第一卷积网络包括与特征图生成网络分别相连的中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络;上述检测模块506还用于:将去噪扫描图像输入至特征图生成网络,得到去噪扫描图像的特征图;将特征图分别输入至中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络,得到检测结果;其中,中心点卷积子网络用于病灶中心点坐标检测,尺寸卷积子网络用于进行病灶尺寸检测,偏移量卷积子网络用于进行病灶偏移量检测。
在一种实施方式中,特征图生成网络包括第二卷积网络和特征骨架模型;上述检测模块506还用于:将去噪扫描图像输入至第二卷积网络,通过第二卷积网络对去噪扫描图像进行重采样处理,得到第二目标尺寸的去噪扫描图像;将第二目标尺寸的去噪扫描图像输入至特征骨架模型,得到去噪扫描图像的特征图。
在一种实施方式中,上述病灶检测模型还包括训练模块,用于:获取图像训练集;基于图像训练集中的图像样本训练病灶检测模型;基于每次训练的训练结果计算病灶检测模型的损失函数;当病灶检测模型的损失函数收敛时,停止对病灶检测模型进行训练。
在一种实施方式中,上述训练模块还用于:获取携带有病灶标签的原始图像样本;其中,病灶标签包括病灶包围框;原始图像样本为3d图像;将原始图像样本中病灶包围框外围区域的各个像素的色彩值设置为预设色彩值;对原始图像样本中病灶包围框所处区域进行预处理,得到原始图像样本对应的去噪图像样本;对去噪图像样本进行特征增强处理,得到去噪图像样本对应的增强图像样本;将去噪图像样本和增强图像样本作为图像训练集。
在一种实施方式中,上述训练模块还用于:将去噪图像样本输入至预先训练的对抗特征生成网络,得到对抗特征生成网络输出的增强图像样本;和/或;对去噪图像样本进行图像处理,得到对抗特征生成网络输出的增强图像样本;其中,图像处理包括旋转、缩放、平移和扭曲中的一种或多种。
在一种实施方式中,上述训练模块还用于:按照如下公式计算病灶检测模型的损失函数lfl:
其中,a表示第一超参数,γ表示第二超参数,y表示病灶标签,y'表示训练结果。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备,具体的,该电子设备包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图6为本发明实施例提供的一种电子设备的结构示意图,该电子设备100包括:处理器60,存储器61,总线62和通信接口63,所述处理器60、通信接口63和存储器61通过总线62连接;处理器60用于执行存储器61中存储的可执行模块,例如计算机程序。
其中,存储器61可能包含高速随机存取存储器(ram,randomaccessmemory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线62可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器61用于存储程序,所述处理器60在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中,或者由处理器60实现。
处理器60可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(digitalsignalprocessing,简称dsp)、专用集成电路(applicationspecificintegratedcircuit,简称asic)、现成可编程门阵列(field-programmablegatearray,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61,处理器60读取存储器61中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
1.一种病灶检测方法,其特征在于,包括:
获取待检测的医学扫描图像;
对所述医学扫描图像进行预处理,得到与所述医学扫描图像对应的去噪扫描图像;
将所述去噪扫描图像输入至预先训练的病灶检测模型,得到所述病灶检测模型输出的检测结果;其中,所述检测结果包括病灶中心点坐标、病灶尺寸和病灶偏移量中的一种或多种;
将所述检测结果标注至所述医学扫描图像。
2.根据权利要求1所述的方法,其特征在于,所述医学扫描图像为3d图像;所述预处理包括归一化处理和/或重采样处理;
所述对所述医学扫描图像进行预处理,得到与所述医学扫描图像对应的去噪扫描图像的步骤,包括:
如果所述预处理包括所述归一化处理,将所述医学扫描图像中各个像素的色彩值分别映射到预设色彩范围内的多个目标色彩值;
如果所述预处理包括所述重采样处理,利用所述重采样处理剔除所述医学扫描图像中的噪声,并将所述医学扫描图像的当前尺寸调整为第一目标尺寸;
将预处理后的医学扫描图像作为去噪扫描图像。
3.根据权利要求1所述的方法,其特征在于,所述病灶检测模型包括特征图生成网络和第一卷积网络;所述第一卷积网络包括与所述特征图生成网络分别相连的中心点卷积子网络、尺寸卷积子网络和偏移量卷积子网络;
所述将所述去噪扫描图像输入至预先训练的病灶检测模型,得到所述病灶检测模型输出的检测结果的步骤,包括:
将所述去噪扫描图像输入至所述特征图生成网络,得到所述去噪扫描图像的特征图;
将所述特征图分别输入至所述中心点卷积子网络、所述尺寸卷积子网络和所述偏移量卷积子网络,得到检测结果;其中,所述中心点卷积子网络用于病灶中心点坐标检测,所述尺寸卷积子网络用于进行病灶尺寸检测,所述偏移量卷积子网络用于进行病灶偏移量检测。
4.根据权利要求3所述的方法,其特征在于,所述特征图生成网络包括第二卷积网络和特征骨架模型;
所述将所述去噪扫描图像输入至所述特征图生成网络,得到所述去噪扫描图像的特征图的步骤,包括:
将所述去噪扫描图像输入至所述第二卷积网络,通过所述第二卷积网络对所述去噪扫描图像进行重采样处理,得到第二目标尺寸的去噪扫描图像;
将所述第二目标尺寸的去噪扫描图像输入至所述特征骨架模型,得到所述去噪扫描图像的特征图。
5.根据权利要求3所述的方法,其特征在于,所述病灶检测模型的训练步骤,包括:
获取图像训练集;
基于所述图像训练集中的图像样本训练所述病灶检测模型;
基于每次训练的训练结果计算所述病灶检测模型的损失函数;
当所述病灶检测模型的损失函数收敛时,停止对所述病灶检测模型进行训练。
6.根据权利要求5所述的方法,其特征在于,所述获取图像训练集的步骤,包括:
获取携带有病灶标签的原始图像样本;其中,所述病灶标签包括病灶包围框;所述原始图像样本为3d图像;
将所述原始图像样本中所述病灶包围框外围区域的各个像素的色彩值设置为预设色彩值;
对所述原始图像样本中所述病灶包围框所处区域进行所述预处理,得到所述原始图像样本对应的去噪图像样本;
对所述去噪图像样本进行特征增强处理,得到所述去噪图像样本对应的增强图像样本;
将所述去噪图像样本和所述增强图像样本作为图像训练集。
7.根据权利要求6所述的方法,其特征在于,所述对所述去噪图像样本进行特征增强处理,得到所述去噪图像样本对应的增强图像样本的步骤,包括:
将所述去噪图像样本输入至预先训练的对抗特征生成网络,得到所述对抗特征生成网络输出的增强图像样本;
和/或;
对所述去噪图像样本进行图像处理,得到所述对抗特征生成网络输出的增强图像样本;其中,所述图像处理包括旋转、缩放、平移和扭曲中的一种或多种。
8.根据权利要求5所述的方法,其特征在于,基于每次训练的训练结果计算所述病灶检测模型的损失函数的步骤,包括:
按照如下公式计算所述病灶检测模型的损失函数lfl:
其中,a表示第一超参数,γ表示第二超参数,y表示病灶标签,y'表示训练结果。
9.一种病灶检测装置,其特征在于,包括:
图像获取模块,用于获取待检测的医学扫描图像;
预处理模块,用于对所述医学扫描图像进行预处理,得到与所述医学扫描图像对应的去噪扫描图像;
检测模块,用于将所述去噪扫描图像输入至预先训练的病灶检测模型,得到所述病灶检测模型输出的检测结果;其中,所述检测结果包括病灶中心点坐标、病灶尺寸和病灶偏移量中的一种或多种;
标注模块,用于将所述检测结果标注至所述医学扫描图像。
10.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。
11.一种计算机存储介质,其特征在于,用于储存为权利要求1至8任一项所述方法所用的计算机软件指令。
技术总结