基于全局语境的肾小球分型方法、设备、存储介质及装置与流程

专利2022-06-28  84


本发明涉及人工智能的技术领域,尤其涉及一种基于全局语境的肾小球分型方法、设备、存储介质及装置。



背景技术:

目前,已有较多的统计方法及前沿深度学习对肾小球的类型进行分类,比如,传统统计学方案对肾小球的类型进行分类,但采用现有的方法对肾小球的分类精度不高,导致为临床肾小球肾炎的治疗提供的分类结果准确度不高。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本发明的主要目的在于提供一种基于全局语境的肾小球分型方法、设备、存储介质及装置,旨在解决现有技术中肾小球的分类精度不高的技术问题。

为实现上述目的,本发明提供一种基于全局语境的肾小球分型方法,所述基于全局语境的肾小球分型方法包括以下步骤:

获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片;

通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量;

通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型;

将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端。

优选地,所述获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片,包括:

获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层对所述待分类肾小球图片进行预处理,获得预处理图片;

通过所述预设卷积神经网络模型的主干结构对所述预处理图片进行处理,获得第一处理图片;

通过所述预设卷积神经网络模型的开端结构对所述第一处理图片进行处理,获得第二处理图片;

通过所述预设卷积神经网络模型的全局语境结构对所述第二处理图片进行处理,获得第三处理图片;

通过所述预设卷积神经网络模型的缩减结构对所述第三处理图片进行处理,获得第四处理图片;

通过所述预设卷积神经网络模型的全局语境结构对所述第四处理图片进行处理,获得目标处理图片。

优选地,所述通过所述预设卷积神经网络模型的主干结构对所述预处理图片进行处理,获得第一处理图片,包括:

将所述预处理图片依次经过所述预设卷积神经网络模型的主干结构的输入层、卷积层*n、并行的池化层和卷积层、连接层、并行的两组卷积层*n、连接层,并行的池化层和卷积层、连接层、批量标准层和输出层,获得所述第一处理图片,n为大于等于1的整数,其中,卷积层*n表示n个卷积层叠加。

优选地,所述通过所述预设卷积神经网络模型的全局语境结构对所述第二处理图片进行处理,获得第三处理图片,包括:

将所述第二处理图片依次经过所述全局语境结构的输入层、第一卷积层和归一化指数函数层,将所述归一化指数函数层的输出矩阵与所述全局语境结构的输入层的输出矩阵进行矩阵相乘,将相乘获得的矩阵再依次经过第二卷积层、标准层和第三卷积层,经过所述第三卷积层处理的矩阵与所述全局语境结构的输入层的输出矩阵进行矩阵相加,获得第三处理图片。

优选地,所述获取多张待分类肾小球图片之前,所述基于全局语境的肾小球分型方法还包括:

获取样本图片;

建立包含全局语境结构的基础卷积神经网络模型;

将所述样本图片分成预设批次的批处理数据;

通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得预设卷积神经网络模型。

优选地,所述通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得预设卷积神经网络模型,包括:

通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得所述批处理数据中的样本图片对应的样本肾小球类型;

计算每批次的样本肾小球类型中各类型对应的图片数量;

建立自定义损失函数;

根据每批次各类型的图片数量,计算每批次样本图片的权重;

根据所述权重,通过所述自定义损失函数计算每批次的损失值;

根据所述损失值调整各批次的权重,根据调整的权重和各批次的批处理数据对所述基础卷积神经网络模型进行再次训练,获得预设卷积神经网络模型。

优选地,所述根据每批次各类型的图片数量,计算每批次样本图片的权重,包括:

根据每批次各类型的图片数量,通过预设权重公式计算每批次样本图片的权重;其中,所述预设权重公式为:

其中,为所述权重,ci表示第i个类型的数量,k为肾小球的类型总数,y为所述样本图片的真实肾小球类型。

此外,为实现上述目的,本发明还提出一种基于全局语境的肾小球分型设备,所述基于全局语境的肾小球分型设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于全局语境的肾小球分型程序,所述基于全局语境的肾小球分型程序配置为实现如上文所述的基于全局语境的肾小球分型方法的步骤。

此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于全局语境的肾小球分型程序,所述基于全局语境的肾小球分型程序被处理器执行时实现如上文所述的基于全局语境的肾小球分型方法的步骤。

此外,为实现上述目的,本发明还提出一种基于全局语境的肾小球分型装置,所述基于全局语境的肾小球分型装置包括:

处理模块,用于获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片;

所述处理模块,还用于通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量;

所述处理模块,还用于通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型;

发送模块,用于将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端。

本发明中,通过获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片,通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量,通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型,基于人工智能,融合神经网络,减少网络复杂度,以最简易的模型实现肾小球分型,提升肾小球分型的精度与细度;将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端,为目标终端提供准确的分类结果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于全局语境的肾小球分型设备的结构示意图;

图2为本发明基于全局语境的肾小球分型方法第一实施例的流程示意图;

图3为本发明基于全局语境的肾小球分型方法第二实施例的流程示意图;

图4为所述预设卷积神经网络模型的主干结构示意图;

图5为本发明基于全局语境的肾小球分型方法第三实施例的流程示意图;

图6为本发明基于全局语境的肾小球分型装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

参照图1,图1为本发明实施例方案涉及的硬件运行环境的基于全局语境的肾小球分型设备结构示意图。

如图1所示,该基于全局语境的肾小球分型设备可以包括:处理器1001,例如中央处理器(centralprocessingunit,cpu),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display),可选用户接口1003还可以包括标准的有线接口、无线接口,对于用户接口1003的有线接口在本发明中可为usb接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity,wi-fi)接口)。存储器1005可以是高速的随机存取存储器(randomaccessmemory,ram)存储器,也可以是稳定的存储器(non-volatilememory,nvm),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解,图1中示出的结构并不构成对基于全局语境的肾小球分型设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于全局语境的肾小球分型程序。

在图1所示的基于全局语境的肾小球分型设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接用户设备;所述基于全局语境的肾小球分型设备通过处理器1001调用存储器1005中存储的基于全局语境的肾小球分型程序,并执行本发明实施例提供的基于全局语境的肾小球分型方法。

基于上述硬件结构,提出本发明基于全局语境的肾小球分型方法的实施例。

参照图2,图2为本发明基于全局语境的肾小球分型方法第一实施例的流程示意图,提出本发明基于全局语境的肾小球分型方法第一实施例。

在第一实施例中,所述基于全局语境的肾小球分型方法包括以下步骤:

步骤s10:获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片。

应理解的是,本实施例的执行主体是所述基于全局语境的肾小球分型设备,其中,所述基于全局语境的肾小球分型设备可为智能手机、个人电脑或服务器等电子设备,本实施例对此不加以限制。获取的所述待分类肾小球图片为多张,为了提高效率,可通过多线程处理器对多张所述待分类肾小球图片进行多线程处理,首先将多张所述待分类肾小球图片转换成矩阵像素数据,输入到所述预设卷积神经网络的输入层中,所述预设卷积神经网络为基于全局语境(globalcontext,gc)改进的卷积神经网络模型,所述输入层进行预处理,所述预处理包括去均值和归一化。通过所述预设卷积神经网络模型的主干结构对所述预处理图片进行处理,获得第一处理图片;通过所述预设卷积神经网络模型的开端结构对所述第一处理图片进行处理,获得第二处理图片;通过所述预设卷积神经网络模型的全局语境结构对所述第二处理图片进行处理,获得第三处理图片;通过所述预设卷积神经网络模型的缩减结构对所述第三处理图片进行处理,获得第四处理图片;通过所述预设卷积神经网络模型的全局语境结构对所述第四处理图片进行处理,获得目标处理图片。

步骤s20:通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量。

可理解的是,所述一维向量为长度为2144的向量,所述预设卷积神经网络模型的输出层将所述目标处理图片进行向量化,获得长度为2144的一维向量。

步骤s30:通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型。

需要说明的是,所述预设长度为肾小球类型数量,比如,所述肾小球类型数量为5,则所述预设长度为5,将所述一维向量转换为长度为5的目标向量。所述预设激活函数可以是线性整流函数(rectifiedlinearunit,relu)函数,通过所述预设激活函数对所述目标向量进行处理,获取长度为5的目标向量中概率最大的数对应的位置,该位置对应的肾小球类型,即为该目标向量对应的肾小球类型,从而实现将所有待分类肾小球图片划分为五类中的一类:正常肾小球、球性硬化肾小球、节段性硬化肾小球、新月体或其他。

步骤s40:将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端。

在具体实现中,所述目标终端可以是医护人员的个人计算机,接收所述待分类肾小球图片对应的肾小球类型,提高肾小球图片的分类准确性,从而为分析病患的症状提供更准确的依据。

本实施例中,通过获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片,通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量,通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型,基于人工智能,融合神经网络,减少网络复杂度,以最简易的模型实现肾小球分型,提升肾小球分型的精度与细度;将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端,为目标终端提供准确的分类结果。

参照图3,图3为本发明基于全局语境的肾小球分型方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明基于全局语境的肾小球分型方法的第二实施例。

在第二实施例中,所述步骤s10,包括:

步骤s101:获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层对所述待分类肾小球图片进行预处理,获得预处理图片。

应理解的是,所述预处理包括去均值和归一化。去均值操作具体为:把输入数据各个维度都中心化到0,也就是算出所有待分类肾小球图片的平均值,再让所有待分类肾小球图片减去这个均值。归一化操作具体为:幅度归一化到同样的范围,比如把所述待分类肾小球图片都压缩到0~1之间,加快训练网络的收敛性。归一化处理可采用线性函数转换或者对数函数转换实现,线性函数转换,表达式如下:y=(x-minvalue)/(maxvalue-minvalue),其中,x和y分别为转换前和后的值,maxvalue和minvalue分别为所述待分类肾小球图片中的最大值和最小值。对数函数转换,表达式如下:y=log10(x),其中,x和y分别为转换前和后的值,以10为底的对数函数转换。经过去均值和归一化处理,获得所述预处理图片。

步骤s102:通过所述预设卷积神经网络模型的主干结构对所述预处理图片进行处理,获得第一处理图片。

可理解的是,所述预处理图片经过所述主干结构的输入层(input),再经过卷积层(conv)*n对输入层的输出数据进行卷积,卷积层做的就是进行卷积计算,将滤波器或卷积核与原始图像的像素做卷积计算,得到新的特征映射矩阵。

卷积层输出数据再同时输入池化层(pooling)和卷积层(conv)进行处理,池化层夹在连续的卷积层中间,作用是压缩数据和参数的量,减小过拟合。最常见的池化操作为平均池化meanpooling和最大池化maxpooling,平均池化:计算图像区域的平均值作为该区域池化后的值,最大池化:选图像区域的最大值作为该区域池化后的值。

将池化层与卷积层输出的数据同时输入连接(concatenation)层,连接层输出的数据在经过两组卷积层*n并行处理,输出的数据再经过连接(concatenation)层。

连接层输出的数据经过池化层和卷积层并行处理,再将池化层和卷积层输出的数据同时输入连接(concatenation)层,连接层输出的数据经过批量标准(batchnorm)层,最后经过所述主干结构的输出层(output),获得所述第一处理图片。参照图4,图4为所述预设卷积神经网络模型的主干结构示意图,本实施例中,所述步骤s101,包括:将所述预处理图片依次经过所述预设卷积神经网络模型的主干结构的输入层、卷积层*n、并行的池化层和卷积层、连接层、并行的两组卷积层*n、连接层,并行的池化层和卷积层、连接层、批量标准层和输出层,获得所述第一处理图片,n为大于等于1的整数,其中,卷积层*n表示n个卷积层叠加。

步骤s103:通过所述预设卷积神经网络模型的开端结构对所述第一处理图片进行处理,获得第二处理图片。

需要说明的是,所述第一处理图片依次经过所述开端inception结构的输入层-并行的三组卷积层*n-连接(concatenation)层-卷积层-批量标准(batchnorm)层-激活(relu)层,线性整流函数(rectifiedlinearunit,relu)-输出层进行相应处理,获得所述第二处理图片。

步骤s104:通过所述预设卷积神经网络模型的全局语境结构对所述第二处理图片进行处理,获得第三处理图片。

在具体实现中,所述第二处理图片经过所述全局语境结构的输入层,所述输入层的输出数据输入卷积层,经过卷积处理的数据再通过归一化指数函数(softmax)层,softmax层的输出矩阵与输入层的输出矩阵进行矩阵相乘,将相乘获得的矩阵再依次经过卷积层和标准层(layernorm),所述标准层选用relu作为激活函数进行数据处理,标准层输出的数据经过卷积层,经过卷积处理的矩阵与所述输入层的输出矩阵进行矩阵相加,从而获得所述第三处理图片。本实施例中,所述步骤s104,包括:将所述第二处理图片依次经过所述全局语境结构的输入层、第一卷积层和归一化指数函数层,将所述归一化指数函数层的输出矩阵与所述全局语境结构的输入层的输出矩阵进行矩阵相乘,将相乘获得的矩阵再依次经过第二卷积层、标准层和第三卷积层,经过所述第三卷积层处理的矩阵与所述全局语境结构的输入层的输出矩阵进行矩阵相加,获得第三处理图片。

步骤s105:通过所述预设卷积神经网络模型的缩减结构对所述第三处理图片进行处理,获得第四处理图片。

应理解的是,所述第三处理图片经过所述缩减reduction结构的输入层,所述输入层对所述第三处理图片进行预处理,再将输入层输出的数据经过池化层、并行的卷积层和卷积层*n,并行处理获得的数据依次经过连接(concatenation)层-批量标准(batchnorm)层-激活层-输出层,最后所述输出层输出所述第四处理图片。

步骤s106:通过所述预设卷积神经网络模型的全局语境结构对所述第四处理图片进行处理,获得目标处理图片。

需要说明的是,所述第四处理图片在经过所述全局语境结构的输入层,所述输入层的输出数据输入卷积层,经过卷积处理的数据再通过归一化指数函数(softmax)层,softmax层的输出矩阵与输入层的输出矩阵进行矩阵相乘,将相乘获得的矩阵再依次经过卷积层和标准层(layernorm),所述标准层选用relu作为激活函数进行数据处理,标准层输出的数据经过卷积层,经过卷积处理的矩阵与所述输入层的输出矩阵进行矩阵相加,从而获得所述目标处理图片。

本实施例中,所述预设卷积神经网络模型中每个结构的最后两个阶段设置为批量标准(batchnorm)层及gc,对每个阶段信息进行增强,保留关键的信息;通过参数搜索,自主构建高效简洁的模型网络,减少冗余模块。

参照图5,图5为本发明基于全局语境的肾小球分型方法第三实施例的流程示意图,基于上述第一实施例或第二实施例,提出本发明基于全局语境的肾小球分型方法的第三实施例。本实施例基于所述第一实施例进行说明。

在第三实施例中,所述步骤s10之前,还包括:

步骤s01:获取样本图片。

可理解的是,为了训练出准确度高的所述预设卷积神经网络模型,可获取大量的所述样本图片,进行训练。所述样本图片为已知真实肾小球类型的各种肾小球图片,可从临床数据中进行获取。

步骤s02:建立包含全局语境结构的基础卷积神经网络模型。

应理解的是,为了构建高效简洁的模型网络,减少冗余模块,建立包含全局语境结构的基础卷积神经网络模型,所述包含全局语境结构的基础卷积神经网络模型包括输入层、主干结构、开端结构、全局语境结构、缩减结构和输出层。

步骤s03:将所述样本图片分成预设批次的批处理数据。

在具体实现中,举例说明,在训练过程中,比如100个所述样本图片,可分成10个批次,每个批次10个所述样本图片。通过所述基础卷积神经网络模型对10个批次的样本图片进行处理,获得每个批次中不同类型的肾小球图片的数量。

步骤s04:通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得预设卷积神经网络模型。

需要说明的是,采用自定义损失函数,根据每批不同类型的肾小球图片的数量通过预设权重公式计算每批次样本图片的权重。通过所述基础卷积神经网络模型对所述批处理数据进行分类,获得每批次中各样本图片的肾小球类型,根据各所述样本图片对应的所述样本图片的真实肾小球类型,即真实的肾小球类型,判断各个批次的批处理数据的处理准确率,可对准确率低的批次增加权重。

进一步地,本实施例中,所述步骤s04,包括:

通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得所述批处理数据中的样本图片对应的样本肾小球类型;

计算每批次的样本肾小球类型中各类型对应的图片数量;

建立自定义损失函数;

根据每批次各类型的图片数量,计算每批次样本图片的权重;

根据所述权重,通过所述自定义损失函数计算每批次的损失值;

根据所述损失值调整各批次的权重,根据调整的权重和各批次的批处理数据对所述基础卷积神经网络模型进行再次训练,获得预设卷积神经网络模型。

应理解的是,所述样本肾小球类型包括:正常肾小球、球性硬化肾小球、节段性硬化肾小球、新月体或其他,各所述批处理数据中的样本图片的所述样本图片的真实肾小球类型是已知的,则可通过训练过程中分类出的样本肾小球类型和所述所述样本图片的真实肾小球类型,来调整各批次的批处理数据的训练权重,以提高所述预设卷积神经网络模型的识别能力,本实施例中,所述根据每批次各类型的图片数量,计算每批次样本图片的权重,包括:根据每批次各类型的图片数量,通过预设权重公式计算每批次样本图片的权重;其中,所述预设权重公式为:

其中,为所述权重,ci表示第i个类型的数量,k为肾小球的类型总数,y为所述样本图片的真实肾小球类型。

需要说明的是,k为肾小球的类型总数,若将所有待分类肾小球图片划分为五类中的一类:正常肾小球、球性硬化肾小球、节段性硬化肾小球、新月体或其他,即k为5。y为所述样本图片的真实肾小球类型,所述样本图片的真实肾小球类型包括正常肾小球、球性硬化肾小球、节段性硬化肾小球、新月体或其他,可从临床数据中获取。根据所述权重通过所述自定义损失函数loss计算损失值,所述自定义损失函数包括:均方误差损失函数、合页损失函数或交叉熵损失函数。根据损失值判断哪个批次的分类准确率较高,对较高准确率的批次降低权重,对较低准确率的批次增加权重,以对所述基础卷积神经网络模型再次进行训练,以提高模型的分类准确度。

本实施例中,通过对样本图片进行分批训练,并调整训练的各批次的权重,较高准确率的批次降低权重,对较低准确率的批次增加权重,以提高模型的分类准确度。

此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于全局语境的肾小球分型程序,所述基于全局语境的肾小球分型程序被处理器执行时实现如上文所述的基于全局语境的肾小球分型方法的步骤。

此外,参照图6,本发明实施例还提出一种基于全局语境的肾小球分型装置,所述基于全局语境的肾小球分型装置包括:

处理模块10,用于获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片。

应理解的是,获取的所述待分类肾小球图片为多张,为了提高效率,可通过多线程处理器对多张所述待分类肾小球图片进行多线程处理,首先将多张所述待分类肾小球图片转换成矩阵像素数据,输入到所述预设卷积神经网络的输入层中,所述预设卷积神经网络为基于全局语境(globalcontext,gc)改进的卷积神经网络模型,所述输入层进行预处理,所述预处理包括去均值和归一化。通过所述预设卷积神经网络模型的主干结构对所述预处理图片进行处理,获得第一处理图片;通过所述预设卷积神经网络模型的开端结构对所述第一处理图片进行处理,获得第二处理图片;通过所述预设卷积神经网络模型的全局语境结构对所述第二处理图片进行处理,获得第三处理图片;通过所述预设卷积神经网络模型的缩减结构对所述第三处理图片进行处理,获得第四处理图片;通过所述预设卷积神经网络模型的全局语境结构对所述第四处理图片进行处理,获得目标处理图片。

所述处理模块10,还用于通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量。

可理解的是,所述一维向量为长度为2144的向量,所述预设卷积神经网络模型的输出层将所述目标处理图片进行向量化,获得长度为2144的一维向量。

所述处理模块10,还用于通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型。

需要说明的是,所述预设长度为肾小球类型数量,比如,所述肾小球类型数量为5,则所述预设长度为5,将所述一维向量转换为长度为5的目标向量。所述预设激活函数可以是线性整流函数(rectifiedlinearunit,relu)函数,通过所述预设激活函数对所述目标向量进行处理,获取长度为5的目标向量中概率最大的数对应的位置,该位置对应的肾小球类型,即为该目标向量对应的肾小球类型,从而实现将所有待分类肾小球图片划分为五类中的一类:正常肾小球、球性硬化肾小球、节段性硬化肾小球、新月体或其他。

发送模块20,用于将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端。

在具体实现中,所述目标终端可以是医护人员的个人计算机,接收所述待分类肾小球图片对应的肾小球类型,提高肾小球图片的分类准确性,从而为分析病患的症状提供更准确的依据。

本实施例中,通过获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片,通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量,通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型,基于人工智能,融合神经网络,减少网络复杂度,以最简易的模型实现肾小球分型,提升肾小球分型的精度与细度;将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端,为目标终端提供准确的分类结果。

在一实施例中,所述处理模块10,还用于获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层对所述待分类肾小球图片进行预处理,获得预处理图片;通过所述预设卷积神经网络模型的主干结构对所述预处理图片进行处理,获得第一处理图片;通过所述预设卷积神经网络模型的开端结构对所述第一处理图片进行处理,获得第二处理图片;通过所述预设卷积神经网络模型的全局语境结构对所述第二处理图片进行处理,获得第三处理图片;通过所述预设卷积神经网络模型的缩减结构对所述第三处理图片进行处理,获得第四处理图片;通过所述预设卷积神经网络模型的全局语境结构对所述第四处理图片进行处理,获得目标处理图片。

在一实施例中,所述处理模块10,还用于将所述预处理图片依次经过所述预设卷积神经网络模型的主干结构的输入层、卷积层*n、并行的池化层和卷积层、连接层、并行的两组卷积层*n、连接层,并行的池化层和卷积层、连接层、批量标准层和输出层,获得所述第一处理图片,n为大于等于1的整数,其中,卷积层*n表示n个卷积层叠加。

在一实施例中,所述处理模块10,还用于将所述第二处理图片依次经过所述全局语境结构的输入层、第一卷积层和归一化指数函数层,将所述归一化指数函数层的输出矩阵与所述全局语境结构的输入层的输出矩阵进行矩阵相乘,将相乘获得的矩阵再依次经过第二卷积层、标准层和第三卷积层,经过所述第三卷积层处理的矩阵与所述全局语境结构的输入层的输出矩阵进行矩阵相加,获得第三处理图片。

在一实施例中,所述基于全局语境的肾小球分型装置还包括:

获取模块,用于获取样本图片;

建立模块,用于建立包含全局语境结构的基础卷积神经网络模型;

划分模块,用于将所述样本图片分成预设批次的批处理数据;

训练模块,用于通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得预设卷积神经网络模型。

在一实施例中,所述训练模块,还用于通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得所述批处理数据中的样本图片对应的样本肾小球类型;计算每批次的样本肾小球类型中各类型对应的图片数量;建立自定义损失函数;根据每批次各类型的图片数量,计算每批次样本图片的权重;根据所述权重,通过所述自定义损失函数计算每批次的损失值;根据所述损失值调整各批次的权重,根据调整的权重和各批次的批处理数据对所述基础卷积神经网络模型进行再次训练,获得预设卷积神经网络模型。

在一实施例中,所述训练模块,还用于根据每批次各类型的图片数量,通过预设权重公式计算每批次样本图片的权重;其中,所述预设权重公式为:

其中,为所述权重,ci表示第i个类型的数量,k为肾小球的类型总数,y为所述样本图片的真实肾小球类型。

本发明所述基于全局语境的肾小球分型装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为标识。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器镜像(readonlymemoryimage,rom)/随机存取存储器(randomaccessmemory,ram)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。


技术特征:

1.一种基于全局语境的肾小球分型方法,其特征在于,所述基于全局语境的肾小球分型方法包括以下步骤:

获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片;

通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量;

通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型;

将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端。

2.如权利要求1所述的基于全局语境的肾小球分型方法,其特征在于,所述获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片,包括:

获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层对所述待分类肾小球图片进行预处理,获得预处理图片;

通过所述预设卷积神经网络模型的主干结构对所述预处理图片进行处理,获得第一处理图片;

通过所述预设卷积神经网络模型的开端结构对所述第一处理图片进行处理,获得第二处理图片;

通过所述预设卷积神经网络模型的全局语境结构对所述第二处理图片进行处理,获得第三处理图片;

通过所述预设卷积神经网络模型的缩减结构对所述第三处理图片进行处理,获得第四处理图片;

通过所述预设卷积神经网络模型的全局语境结构对所述第四处理图片进行处理,获得目标处理图片。

3.如权利要求2所述的基于全局语境的肾小球分型方法,其特征在于,所述通过所述预设卷积神经网络模型的主干结构对所述预处理图片进行处理,获得第一处理图片,包括:

将所述预处理图片依次经过所述预设卷积神经网络模型的主干结构的输入层、卷积层*n、并行的池化层和卷积层、连接层、并行的两组卷积层*n、连接层,并行的池化层和卷积层、连接层、批量标准层和输出层,获得所述第一处理图片,n为大于等于1的整数,其中,卷积层*n表示n个卷积层叠加。

4.如权利要求2所述的基于全局语境的肾小球分型方法,其特征在于,所述通过所述预设卷积神经网络模型的全局语境结构对所述第二处理图片进行处理,获得第三处理图片,包括:

将所述第二处理图片依次经过所述全局语境结构的输入层、第一卷积层和归一化指数函数层,将所述归一化指数函数层的输出矩阵与所述全局语境结构的输入层的输出矩阵进行矩阵相乘,将相乘获得的矩阵再依次经过第二卷积层、标准层和第三卷积层,经过所述第三卷积层处理的矩阵与所述全局语境结构的输入层的输出矩阵进行矩阵相加,获得第三处理图片。

5.如权利要求1-4中任一项所述的基于全局语境的肾小球分型方法,其特征在于,所述获取多张待分类肾小球图片之前,所述基于全局语境的肾小球分型方法还包括:

获取样本图片;

建立包含全局语境结构的基础卷积神经网络模型;

将所述样本图片分成预设批次的批处理数据;

通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得预设卷积神经网络模型。

6.如权利要求5所述的基于全局语境的肾小球分型方法,其特征在于,所述通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得预设卷积神经网络模型,包括:

通过所述基础卷积神经网络模型对所述批处理数据进行处理,以对所述基础卷积神经网络模型进行训练,获得所述批处理数据中的样本图片对应的样本肾小球类型;

计算每批次的样本肾小球类型中各类型对应的图片数量;

建立自定义损失函数;

根据每批次各类型的图片数量,计算每批次样本图片的权重;

根据所述权重,通过所述自定义损失函数计算每批次的损失值;

根据所述损失值调整各批次的权重,根据调整的权重和各批次的批处理数据对所述基础卷积神经网络模型进行再次训练,获得预设卷积神经网络模型。

7.如权利要求6所述的基于全局语境的肾小球分型方法,其特征在于,所述根据每批次各类型的图片数量,计算每批次样本图片的权重,包括:

根据每批次各类型的图片数量,通过预设权重公式计算每批次样本图片的权重;其中,所述预设权重公式为:

其中,为所述权重,ci表示第i个类型的数量,k为肾小球的类型总数,y为所述样本图片的真实肾小球类型。

8.一种基于全局语境的肾小球分型设备,其特征在于,所述基于全局语境的肾小球分型设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于全局语境的肾小球分型程序,所述基于全局语境的肾小球分型程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于全局语境的肾小球分型方法的步骤。

9.一种存储介质,其特征在于,所述存储介质上存储有基于全局语境的肾小球分型程序,所述基于全局语境的肾小球分型程序被处理器执行时实现如权利要求1至7中任一项所述的基于全局语境的肾小球分型方法的步骤。

10.一种基于全局语境的肾小球分型装置,其特征在于,所述基于全局语境的肾小球分型装置包括:

处理模块,用于获取多张待分类肾小球图片,将所述待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构和缩减结构对所述待分类肾小球图片进行处理,获得目标处理图片;

所述处理模块,还用于通过所述预设卷积神经网络模型的输出层对所述目标处理图片进行处理,获得一维向量;

所述处理模块,还用于通过所述预设卷积神经网络模型将所述一维向量转换为预设长度的目标向量,通过预设激活函数对所述目标向量进行处理,获得所述待分类肾小球图片对应的目标肾小球类型;

发送模块,用于将所述待分类肾小球图片对应的目标肾小球类型发送至目标终端。

技术总结
本发明公开了一种基于全局语境的肾小球分型方法、设备、存储介质及装置,该方法通过获取多张待分类肾小球图片,将待分类肾小球图片进行多线程处理,通过预设卷积神经网络模型的输入层、主干结构、开端结构、全局语境结构、缩减结构和输出层对目标处理图片进行处理,获得一维向量,通过预设卷积神经网络模型将一维向量转换为预设长度的目标向量,通过预设激活函数对目标向量进行处理,获得待分类肾小球图片对应的目标肾小球类型,将待分类肾小球图片对应的目标肾小球类型发送至目标终端,基于人工智能,融合神经网络,减少网络复杂度,以最简易的模型实现肾小球分型,提升肾小球分型的精度与细度。

技术研发人员:李风仪;侯晓帅;王佳平;谢春梅;南洋
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:2020.01.16
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-10479.html

最新回复(0)