一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法与流程

专利2022-06-29  78


本发明涉及宫颈组织病理图像自动筛查分析领域,具体涉及一种面向宫颈组织病理全玻片图像的自动分类方法,属于机器学习神经网络模型在医疗诊断中的应用。



背景技术:

宫颈癌是最常见的妇科恶性肿瘤之一,是危害女性身心健康的第四大因素。针对宫颈癌的治疗,尽早发现与尽早治疗是至关重要的。宫颈癌发展的过程是正常组织、上皮内癌前病变、突破上皮基底膜的浸润性癌。其中癌前病变是指浸润性癌症发生之前所发生的一系列病变,也被称为宫颈上皮内瘤变(cin)。为了评估宫颈癌前病变的严重程度,将癌前病变分为3个等级(cin1、cin2、cin3)。临床对宫颈癌的诊断流程是先进行早期筛查、取得可疑病灶、将活检送至病理实验室并用苏木素-伊红染色,最后由病理医生在高倍显微镜下观察切片、分析切片中组织结构、细胞形态进行分析确诊。

整个组织学分级的评估过程完全依靠病理医生在显微镜下进行观察,并结合个人的经验进行人工评估,该项工作费时费力,它要求病理医生具有良好的专业素养,而培养一位专业知识值得肯定和经验丰富的病理学专家,必须要经过长时间的培养和积累,培养过程所需的金钱和时间成本耗费大。同时结果的准确性受到医生个人经验、疲劳程度等主观性因素影响大。

现存人工评估的弊端,以及随着数字化病理的发展,病理实验室可以通过扫描拼接技术,得到大量的宫颈组织病理图像,为开发计算机辅助诊断系统,实现准确、高效、客观定量地分析组织学图像,自动学习宫颈癌组织学特征,进而对病理图像进行组织学分级诊断,辅助病理医生进行诊断,减轻其工作负担,提高诊断效率、为医生提供客观、准确的诊断结果。具有重要的临床意义。

目前在宫颈组织病理全玻片的诊断领域,国内外也有一定量的研究,但是由于具有标注的医学图像量少、宫颈组织病理图像本身存在的复杂性,针对宫颈组织病理全玻片图像的自动分类算法目前还处于理论阶段。目前的宫颈组织病理诊断算法,多数是在分割宫颈上皮的基础上,利用特征提取的方法实现宫颈癌前病变分级的分类算法。但这种方法这些方法步骤繁琐,效率低下,并且在实际的应用中,由于宫颈上皮图像的多样性,在分割宫颈上皮与特征提取的过程中难以达到医学辅助诊断算法所要求的准确率。而深度学习方法又因为组织病理全玻片图像的尺寸过大、复杂性较高难以应用。



技术实现要素:

本发明针对上述背景技术中存在的现有宫颈组织病理全玻片图像自动分类方法效率低下、准确率不高的问题,在深度学习的基础上进行了改进,提供了一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,用于辅助医生诊断,减轻其工作负担,提高诊断效率、为医生提供客观、准确的诊断结果。

其中,根据预先准备的宫颈组织病理全玻片的训练样本预先训练形成一宫颈组织病理全玻片自动分类模型,并使用宫颈组织病理全玻片自动分类模型对待分类的宫颈组织病理全玻片图像进行分类,还包括以下步骤:

步骤1:将宫颈组织病理全玻片图像切分为设定大小的小块,每张全玻片图像生成的小块集合为一个包,去除包中空白块。

步骤2:搭建深度卷积神经网络模型,记做分类模型a,随机初始化分类模型a中的参数。

步骤3:训练分类模型a指定轮数,每轮训练选择包中置信度最高的前k个小块作为输入。

步骤4:将分类模型a的最后一层全连接层作为特征提取器,提取包中置信度最高的前m个小块的特征,依次排列连接作为该宫颈组织病理全玻片图像的特征向量。

步骤5:将步骤4中产生的特征向量作为输入对支持向量机分类器进行训练。训练过程使用序列最小优化算法,得到训练好的支持向量机分类器。

步骤6:将需要进行分类的宫颈组织病理全玻片图像经步骤1及步骤4处理,得到该图像的特征向量,输入训练好的支持向量机分类器,实现分类。分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类,包括阴性宫颈组织病理全玻片图像negative和阳性宫颈组织病理全玻片图像positive。

在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,步骤1中所述的去除包中空白块,其特征在于首先基于otsu算法初步生成小块图像的掩码,再对掩码进行形态学操作得到最终的小块图像掩码。根据小块图像的掩码面积计算空白面积在小块图像中所占的面积,判断该小块图像是否为空白块。

在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,所述的对掩码进行形态学操作得到最终的小块图像掩码的具体方法是,对初步的图像掩码先采取腐蚀操作消除噪声,然后进行膨胀操作关闭物体内的小孔或暗区。

在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,步骤2中所述的搭建深度卷积神经网络模型具体是搭建56层卷积神经网络,包括:

卷积部分:包括卷积层、池化层;残差注意力模块:包括四个残差模块以及三个注意力模块;

softmax层:将分类概率值映射到0-1区间内。

在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,所述的softmax层为一个softmax函数:

其中i表示第i个神经元的输入,e为自然常数,∑jej表示所有神经元以e为底数以该神经元为指数的幂之和,si表示第i个神经元经过softmax后的结果。

在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,步骤3中所述的训练分类模型a,其特征在于分类模型的产生过程分为如下三个步骤:

步骤一:将小块图像作为输入,输入分类模型a中,得到的输出为该小块的阳性置信度。根据分类模型a确定包中每个小块阳性置信度。

步骤二:选取包中阳性置信度最高的前k个小块作为分类模型a的输入,对分类模型a进行一轮训练。

步骤三:重复步骤一和步骤二直到分类模型a收敛或达到预先设定的训练轮数。

在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,步骤2中所述的选取包中阳性置信度最高的前k个小块作为分类模型a的输入,其特征在于阳性样本包中阳性置信度最高的前k个小块作为阳性训练数据,阴性样本包中阳性置信度最高的前k个小块作为阴性训练数据。

在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,步骤5中所述的将步骤4中产生的特征向量作为输入对支持向量机分类器进行训练,阳性样本产生的特征向量作为阳性训练数据,阴性样本产生的特征向量作为阴性训练数据。

在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,步骤6中所述的分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类,其中阴性宫颈组织病理全玻片图像negative包括宫颈炎和cin1,两种等级的宫颈组织病理全玻片图像。阳性宫颈组织病理全玻片图像positive包括cin2、cin3及癌,三种等级的宫颈组织病理全玻片图像。

与现有技术相比较,本发明的有益效果在于:1.本发明使用了一种新的分类方法,有效提升了原有方法的诊断效率与准确率。2.本发明对深度学习的方法进行了改进,对阳性宫颈组织病理全玻片图像中的阳性小块进行了筛选,避免了阳性宫颈组织病理全玻片图像中阴性部分对分类模型的干扰。3.本发明利用置信度选择的方法筛选宫颈组织病理全玻片图像中最能代表图像特征的小块,综合这些小块的特征获取宫颈组织病理全玻片图像的整体特征。

附图说明

图1是本发明的工作流程图。

图2是使用本发明中negative类别的宫颈组织病理全玻片图像部分区域。

图3是使用本发明中positive类别的宫颈组织病理全玻片图像部分区域。

图4是本发明中宫颈组织病理全玻片图像分块图。

图5是本发明深度卷积神经网络模型训练流程图。

图6是本发明深度卷积神经网络模型结构图。

具体实施方式

下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

请参阅附图1-6,本发明提供如下技术方案:一种宫颈组织病理全玻片图像自动分类方法,包括如下步骤:

步骤一:将宫颈组织病理全玻片图像切分为边长为l的分块,每张宫颈组织病理全玻片图像生成的小块集合为一个包。优选地,本发明中l的取值为512。

步骤二:搭建深度卷积神经网络模型,记做分类模型a,随机初始化分类模型a中的参数。

步骤三:训练分类模型a指定轮数nepochs,每轮训练选择包中置信度最高的前k个小块作为输入。优选地,本发明中nepochs的取值为50,k的取值为20。

步骤四:将分类模型a的最后一层全连接层作为特征提取器,提取包中置信度最高的前m个小块的特征,依次排列连接作为该宫颈组织病理全玻片的特征向量。优选地,本发明中m的取值为10。

步骤五:将步骤四中产生的特征向量作为输入对支持向量机分类器进行训练,训练过程使用序列最小优化算法。

步骤六:将需要进行分类的宫颈组织病理全玻片图像经步骤一及步骤四处理,得到该图像的特征向量,输入训练好的支持向量机分类器,实现分类。分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类,包括阴性宫颈组织病理全玻片图像negative和阳性宫颈组织病理全玻片图像positive。

所述的去除包中空白块,其特征在于首先基于otsu算法初步生成小块图像的掩码,再对掩码进行形态学操作得到最终的小块图像掩码。根据小块图像的掩码面积计算空白面积在小块图像中所占的面积,判断该小块图像是否为空白块。根据小块图像的掩码面积计算空白面积在小块图像中所占的比例,当该空白面积在小块图像所占比例超过预设值p,我们判断该小块图像为空白块,将其去除。优选地,本发明中p的取值为0.5。otsu算法通过计算前景与背景图像的方差获取最佳分割阈值。计算前景与背景图像方差的公式为:

g=ω1×(μ-μ1)2 ω2×(μ-μ2)2

其中,ω1为背景像素占比,ω2为前景像素占比,μ1为背景平均灰度值,μ2为前景平均灰度值,μ为0-m灰度区间的灰度累计值。公式分别为:

μ=μ1×ω1 μ2×ω2

其中,n1表示背景像素总数,n2表示前景像素总数,sum为像素总数,t为当前设定阈值,m=256为单通道灰度分级,i表示当前计算灰度值,pr(i|c0)表示灰度值为i的像素在背景中所占比例,pr(i|c1)表示灰度值为i的像素在前景中所占比例。

所述的对掩码进行形态学操作得到最终的小块图像掩码,其特征在于对初步的图像掩码先采取腐蚀操作消除噪声,然后进行膨胀操作关闭物体内的小孔或暗区。

所述的随机初始化分类模型a中的参数,其特征在于参数随机初始化服从高斯分布:

其中μ为期望,σ为标准差,σ2为方差。优选地,本发明中μ的取值为0,σ的取值为1,σ2的取值为1。

所述的搭建深度卷积神经网络模型,其特征在于,搭建了56层卷积神经网络,主要分为三个部分,第一个部分为卷积部分,主要由卷积层、池化层构成。第二个部分为残差注意力模块,包括四个残差模块以及三个注意力模块,第三部分为softmax层,将分类概率值映射到0-1区间内。深度卷积神经网络模型结构如附图6所示。

所述的softmax层,其特征在于softmax函数为:

其中i表示第i个神经元的输入,e为自然常数,∑jej表示所有神经元以e为底数以该神经元为指数的幂之和,si表示第i个神经元经过softmax后的结果。

所述的训练分类模型a,其特征在于分类模型的产生过程分为如下三个步骤:

步骤一:将小块图像作为输入,输入分类模型a中,得到的输出为该小块的阳性置信度。根据分类模型a确定包中每个小块阳性置信度。

步骤二:选取包中阳性置信度最高的前k个小块作为分类模型a的输入,对分类模型a基于随机梯度下降算法进行一轮训练。

步骤三:重复步骤一和步骤二直到分类模型a收敛或达到预先设定的训练轮数。

深度卷积神经网络模型训练流程如附图5所示。

所述的选取包中阳性置信度最高的前k个小块作为分类模型a的输入,其特征在于阳性样本包中阳性置信度最高的前k个小块作为阳性训练数据,阴性样本包中阳性置信度最高的前k个小块作为阴性训练数据。优选地,本发明中k的取值为20。

所述的将步骤四中产生的特征向量作为输入,对支持向量机分类器进行训练,其特征在于阳性样本产生的特征向量作为阳性训练数据,阴性样本产生的特征向量作为阴性训练数据。

所述的分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类,其特征在于阴性宫颈组织病理全玻片图像negative包括宫颈炎和cin1,两种等级的宫颈组织病理全玻片图像。阳性宫颈组织病理全玻片图像positive包括cin2、cin3及癌,三种等级的宫颈组织病理全玻片图像。两种类别的宫颈组织病理全玻片图像部分区域如附图2及附图3所示。

所述的基于随机梯度下降算法训练分类模型a,其特征在于采用adam优化器,学习率指数衰减,优选地,初始学习率取值为0.0001,batch_size取值为32,权重衰减取值为0.0001。

针对宫颈组织病理全玻片图像的自动分类算法目前还处于理论阶段。目前的宫颈组织病理诊断算法,多数是在图像分割和特征提取的基础上,利用决策树等方法进行宫颈组织病理图像的分类。这种方法步骤繁琐,效率低下,准确率不高。本发明在深度学习的基础上进行改进,提供了一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,提高了原有方法的诊断效率与准确率,辅助医生诊断,减轻其工作负担,提高诊断效率、为医生提供客观、准确的诊断结果。

最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。


技术特征:

1.一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于该方法包含如下五个步骤:

步骤1:将宫颈组织病理全玻片图像切分为设定大小的小块,每张全玻片图像生成的小块集合为一个包,去除包中空白块;

步骤2:搭建深度卷积神经网络模型,记做分类模型a,随机初始化分类模型a中的参数;

步骤3:训练分类模型a指定轮数,每轮训练选择包中置信度最高的前k个小块作为输入;

步骤4:将分类模型a的最后一层全连接层作为特征提取器,提取包中置信度最高的前m个小块的特征,依次排列连接作为该宫颈组织病理全玻片图像的特征向量;

步骤5:将步骤4中产生的特征向量作为输入对支持向量机分类器进行训练;训练过程使用序列最小优化算法,得到训练好的支持向量机分类器;

步骤6:将需要进行分类的宫颈组织病理全玻片图像经步骤1及步骤4处理,得到该图像的特征向量,输入训练好的支持向量机分类器,实现分类;分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类,包括阴性宫颈组织病理全玻片图像negative和阳性宫颈组织病理全玻片图像positive。

2.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于,步骤1中所述的去除包中空白块,其特征在于首先基于otsu算法初步生成小块图像的掩码,再对掩码进行形态学操作得到最终的小块图像掩码;根据小块图像的掩码面积计算空白面积在小块图像中所占的面积,判断该小块图像是否为空白块。

3.根据权利要求2所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于,所述的对掩码进行形态学操作得到最终的小块图像掩码的具体方法是,对初步的图像掩码先采取腐蚀操作消除噪声,然后进行膨胀操作关闭物体内的小孔或暗区。

4.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于,步骤2中所述的搭建深度卷积神经网络模型具体是搭建56层卷积神经网络,包括:

卷积部分:包括卷积层、池化层;残差注意力模块:包括四个残差模块以及三个注意力模块;

softmax层:将分类概率值映射到0-1区间内。

5.根据权利要求4所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于,所述的softmax层为一个softmax函数:

其中i表示第i个神经元的输入,e为自然常数,∑jej表示所有神经元以e为底数以该神经元为指数的幂之和,si表示第i个神经元经过softmax后的结果。

6.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于,步骤3中所述的训练分类模型a,其特征在于分类模型的产生过程分为如下三个步骤:

步骤一:将小块图像作为输入,输入分类模型a中,得到的输出为该小块的阳性置信度;根据分类模型a确定包中每个小块阳性置信度;

步骤二:选取包中阳性置信度最高的前k个小块作为分类模型a的输入,对分类模型a进行一轮训练;

步骤三:重复步骤一和步骤二直到分类模型a收敛或达到预先设定的训练轮数。

7.根据权利要求6所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于,步骤2中所述的选取包中阳性置信度最高的前k个小块作为分类模型a的输入,其特征在于阳性样本包中阳性置信度最高的前k个小块作为阳性训练数据,阴性样本包中阳性置信度最高的前k个小块作为阴性训练数据。

8.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于,步骤5中所述的将步骤4中产生的特征向量作为输入对支持向量机分类器进行训练,阳性样本产生的特征向量作为阳性训练数据,阴性样本产生的特征向量作为阴性训练数据。

9.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法,其特征在于,步骤6中所述的分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类,其中阴性宫颈组织病理全玻片图像negative包括宫颈炎和cin1,两种等级的宫颈组织病理全玻片图像;阳性宫颈组织病理全玻片图像positive包括cin2、cin3及癌,三种等级的宫颈组织病理全玻片图像。

技术总结
本发明公开了一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法包括:S1:将宫颈组织病理全玻片图像切分为设定大小的小块,每张全玻片图像生成的小块集合为一个包,去除包中空白块。S2:搭建CNN模型。S3:训练CNN指定轮数。S4:依次排列连接作为全玻片图像的特征向量。S5:对支持向量机分类器进行训练。S6:将需要进行分类的宫颈组织病理全玻片图像经S1及S4处理,得到该图像的特征向量,输入训练好的支持向量机分类器,实现分类。本发明使用基于置信度选择的宫颈组织病理全玻片图像自动分类方法,辅助给医生提供参考,减低误诊、漏诊率,减少人工诊断所需的工作量,提高诊断效率。

技术研发人员:刘娟;李卓彧;冯晶;左志群
受保护的技术使用者:武汉大学
技术研发日:2020.02.27
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-52852.html

最新回复(0)