本发明涉及图像分析技术领域，更具体地，涉及一种基于深度神经网络的图像分析方法及装置。
背景技术：
病理学的医学专业的任务是提供明确的疾病诊断，以指导患者的治疗和管理决策。标准化，准确和可重复的病理诊断对于推进精准医学至关重要。自19世纪中期以来，病理学家用于诊断的主要工具是显微镜。显微图像的定性视觉分析的局限性包括缺乏标准化，诊断错误，以及在典型病理学家的工作日中手动评估数百个载玻片上的数百万个细胞所需的显着的负载负荷。
数字病理学是一种新的、快速发展的医学成像领域。在数字病理学中，全滑动扫描仪用于以高分辨率(每像素高达160nm)数字化包含组织样本的载玻片。数字图像的可用性引起了医学图像分析界的兴趣，导致越来越多的关于组织病理学图像分析的出版物。近些年，我们重点关注淋巴结数字化图像中微转移和宏转移的检测。这个主题非常重要，因为淋巴结转移发生在大多数癌症类型(例如乳腺，前列腺，结肠)中。淋巴结是过滤淋巴的小腺体，淋巴是通过淋巴系统循环的液体。腋下的淋巴结是乳腺癌可能传播的第一个地方。淋巴结的转移性参与是乳腺癌中最重要的预后变量之一。当癌症扩散到淋巴结时，预后较差。然而，病理学家的诊断程序繁琐且耗时且容易被误解。自动分析淋巴结转移可能性的方法具有很大的潜力，可以帮助病理学家减轻他们的工作量。
技术实现要素：
本发明的目的在于提供一种客观准确的基于深度神经网络的图像分析方法及装置。
根据本发明的一个方面，提供一种基于深度神经网络的图像分析方法，包括：
获得医疗影像图像；
去除医疗影像图像中的背景；
对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
所述的基于深度神经网络的图像分析方法，其中，所述去除医疗影像图像中的背景的步骤包括：
将获得的医疗影像图像从rgb颜色空间转移到hsv颜色空间；
获得医疗影像图像的每个颜色通道的最佳阈值；
去除无效区域。
所述的基于深度神经网络的图像分析方法，其中，所述对去除背景的医疗影像图像进行区块划分的步骤包括：
设定窗口的高度和宽度；
采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。
所述的基于深度神经网络的图像分析方法，其中，所述融合模型的训练步骤包括：
通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
采用上述训练集和验证集对融合模型进行训练。
优选地，所述融合模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
选取排序靠前的设定数量的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量。
所述的基于深度神经网络的图像分析方法，其中，还包括：
构建分类模型，对分类模型进行训练，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移；
将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
所述的基于深度神经网络的图像分析方法，其中，所述多种卷积神经网络模型包括googlenet，resnet，vgg16和pnasnet模型中的多种。
所述的基于深度神经网络的图像分析方法，其中，所述多种卷积神经网络模型的权值相等且和为1。
根据本发明的另一个方面，提供一种基于深度神经网络的图像分析装置，包括：
采集模块，获得医疗影像图像；
图像处理模块，去除医疗影像图像中的背景；
划分模块，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
第一模型构建模块，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
训练模块，对所述融合模型进行训练；
图像识别模块，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
所述的基于深度神经网络的图像分析装置，其中，还包括：
第二模型构建模块，构建分类模型，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移，
其中，所述训练模块对第二模型构建模块构建的分类模型进行训练，所述图像识别模块还将将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
上述基于深度神经网络的图像分析方法及装置采用融合模型分析医疗影像图像(病理图像)，能够客观准确获得所述医疗影像图像对应的肿瘤概率，通过全面并且自动分析整个病理图像，为医生分析癌症相关的预后或确定转移方面提供辅助信息。
附图说明
图1是本发明所述基于深度神经网络的图像分析方法的流程图；
图2是本发明所述基于深度神经网络的图像分析装置的构成框图；
图3是本发明所述类别概率热图的示意图。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
下面将参照附图来对根据本发明的各个实施例进行详细描述。
图1是本发明所述基于深度神经网络的图像分析方法的流程图，如图1所示，所述图像分析方法包括：
步骤s1，获得医疗影像图像；
步骤s2，去除医疗影像图像中的背景；
步骤s3，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
步骤s4，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述概率包括肿瘤概率，表示所述医疗影像图像为肿瘤图像的概率，所述类别可以包括肿瘤和正常，所述类别的概率包括肿瘤概率和正常概率，所述类别还可以包括肿瘤、假阳性和正常，所述类别的概率包括肿瘤概率、假阳性概率和正常概率；
步骤s5，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
上述基于深度神经网络的图像分析方法采用区域划分的方式对医疗影像图像进行分解，防止了出现组织病理图像的分辨率非常高，计算机无法整体读取的问题。当分类包括假阳性时，可以大大减少癌症组织学模拟的假阳性分类的误差。
在步骤s2中，包括：
将获得的医疗影像图像从rgb颜色空间转移到hsv颜色空间；
获得医疗影像图像的每个颜色通道的最佳阈值，例如，所述最佳阈值为背景的颜色通道的平均值；
去除无效区域，例如，将背景中低于最佳阈值的区域的值(灰度值)设为0。
上述基于深度神经网络的图像分析方法中，采用基于阈值的分割方法来自动检测背景区域。我们首先将原始图像从rgb颜色空间转移到hsv颜色空间，然后计算每个通道中的最佳阈值，来去除无效区域，识别组织并排除背景白色空间，减少了计算时间并将分析集中在最有可能患有肿瘤，甚至包含癌症转移的载玻片区域。
在步骤s3中，包括：
设定窗口的高度和宽度；
采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。
在一个具体实施例中，滑窗的宽度和高度均为224像素，步长为112，由此得到(病理图像高-224)*(病理图像宽-224)/(112*112)张区块图像。
在步骤s4中，所述融合模型的训练步骤包括：
通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
采用上述训练集和验证集对融合模型进行训练。
优选地，上述融合模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
选取排序靠前的设定数量(例如10％)的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量，例如缩小滑窗步长，增大采用数量。
上述融合模型的训练方法在分类容易出现错误的样本中提取了提取了额外的训练样例，并使用富集这些训练样例的训练集重新训练模型,提高这些区域的模型性能。
在一个可选实施例中，上述各实施例的图像分析方法还包括：
构建分类模型，对分类模型进行训练，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移；
将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
在一个实施例中，上述分类模型的训练步骤包括：
通过多幅已知癌细胞转移分类的医疗影像图像构建每个分类的正样本数据集和负样本数据集，所述正样本数据集为属于所述分类的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述分类的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个分类的正样本数据集和负样本数据集进行划分，得到每个分类的训练集和验证集；
采用上述训练集和验证集输入训练后的融合模型，对分类模型进行训练。
在另一个实施例中，上述分类模型的训练步骤包括：
通过多幅已知癌细胞转移分类的医疗影像图像构建数据集；
将所述数据集作为训练融合模型的正样本数据集对融合模型进行训练；
将数据集划分为训练分类模型的正样本数据集和负样本数据集，所述正样本数据集为属于所述分类的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述分类的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个分类的正样本数据集和负样本数据集进行划分，得到每个分类的训练集和验证集；
采用上述训练集和验证集输入训练后的融合模型，对分类模型进行训练。
优选地，上述两个实施例中的分类模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知分类的医疗影像图像排序；
选取排序靠前的设定数量的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量。
上述分类模型的训练方法在分类容易出现错误的样本中提取了提取了额外的训练样例，并使用富集这些训练样例的训练集重新训练模型,提高这些区域的模型性能。
在上述各实施例中，所述多种卷积神经网络模型包括googlenet，resnet，vgg16和pnasnet模型中的多种。
优选地，所述多种卷积神经网络模型的权值相等且和为1，也就是说，将多种卷积神经网络模型输出的类别的概率取平均值。
上述基于深度神经网络的图像分析方法按照9：1的概率划分数据为训练集和验证集，来验证分析方法的准确性，采用了深度神经网络的图像分析方法，来保证有较高的准确性，并且为医生分析癌症相关的预后和确定转移方面提供辅助信息。
图2是本发明所述基于深度神经网络的图像分析装置的构成框图，如图2所示，所述基于深度神经网络的图像分析装置，其特征在于，包括：
采集模块10，获得医疗影像图像；
图像处理模块20，去除医疗影像图像中的背景；
划分模块30，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
第一模型构建模块40，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
训练模块50，对所述融合模型进行训练；
图像识别模块60，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
在一个实施例中，图像处理模块20包括：
颜色空间构建单元21，将获得的医疗影像图像从rgb颜色空间转移到hsv颜色空间；
最佳阈值获得单元22，获得医疗影像图像的每个颜色通道的最佳阈值；
背景去除单元23，去除无效区域。
在一个实施例中，划分模块30包括：
窗口设定单元31，设定窗口的高度和宽度；
滑动切割单元32，采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。
在一个实施例中，训练模块50包括：
第一数据集获得单元51，通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
第二数据集获得单元52，采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
训练单元53，采用上述训练集和验证集对融合模型进行训练。
优选地，训练模块50还包括：
排序单元54，在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
筛选单元55，选取排序靠前的设定数量的上述医疗影像图像，
其中，划分模块30将筛选单元55筛选出的属于训练集的医疗影像图像的区域重新划分，增大采样数量。
在本发明的一个实施例中，上述基于深度神经网络的图像分析装置还包括：
第二模型构建模块70，构建分类模型，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移，
其中，所述训练模块50对第二模型构建模块70构建的分类模型进行训练，所述图像识别模块60还将将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
上述基于深度神经网络的图像分析装置可以通过服务器、计算机等具有运算功能的电子设备实现，可以采用软件和硬件结合的方式实现，例如通过图像扫描仪、处理器及在处理器上运行的基于深度神经网络的图像分析程序和分类器等结合实现。
在上述各实施例中，分类模型可以采用现有技术中的分类模型也可以采用和融合模型类似的多个卷积神经网络模型。
在本法明的一个具体实施例中，如图3所示，为一张医疗影像图像经过融合模型后获得的各区域的肿瘤概率构成的肿瘤概率热图，采用红色对所述肿瘤概率热图进行显示，如图中示出了差别较大的几个区域，颜色深的区域代表颜色越红，颜色越红肿瘤概率越大。
将图3中的肿瘤概率热图的数据信息输入到分类模型，获得各区域的癌细胞发生转移的情况。
尽管前面公开的内容示出了本发明的示例性实施例，但是应当注意，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的发明实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明的元素可以以个体形式描述或要求，但是也可以设想具有多个元素，除非明确限制为单个元素。
1.一种基于深度神经网络的图像分析方法，其特征在于，包括：
获得医疗影像图像；
去除医疗影像图像中的背景；
对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
2.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述去除医疗影像图像中的背景的步骤包括：
将获得的医疗影像图像从rgb颜色空间转移到hsv颜色空间；
获得医疗影像图像的每个颜色通道的最佳阈值；
去除无效区域。
3.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述对去除背景的医疗影像图像进行区块划分的步骤包括：
设定窗口的高度和宽度；
采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。
4.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述融合模型的训练步骤包括：
通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
采用上述训练集和验证集对融合模型进行训练。
5.根据权利要求4所述的基于深度神经网络的图像分析方法，其特征在于，所述融合模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
选取排序靠前的设定数量的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量。
6.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，还包括：
构建分类模型，对分类模型进行训练，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移；
将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
7.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述多种卷积神经网络模型包括googlenet，resnet，vgg16和pnasnet模型中的多种。
8.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述多种卷积神经网络模型的权值相等且和为1。
9.一种基于深度神经网络的图像分析装置，其特征在于，包括：
采集模块，获得医疗影像图像；
图像处理模块，去除医疗影像图像中的背景；
划分模块，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
第一模型构建模块，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
训练模块，对所述融合模型进行训练；
图像识别模块，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
10.根据权利要求9所述的基于深度神经网络的图像分析装置，其特征在于，还包括：
第二模型构建模块，构建分类模型，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移，
其中，所述训练模块对第二模型构建模块构建的分类模型进行训练，所述图像识别模块还将将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
技术总结