本发明涉及电子技术领域,更具体地说,涉及一种生物组织图像检测方法、装置、设备及介质。
背景技术:
计算机视觉技术(computervision,cv)是人工智能(artificialintelligence,ai)技术中的一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别及图像语义理解等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
医疗作为人工智能最具社会价值和商业价值的应用场景之一得到广泛关注。在医生进行内窥镜检查的过程中,通过cv协助医生诊断疾病,辅助医生进行内窥镜影像疾病诊断,当ai判断内窥镜图像中存在病灶时,能够提醒医生注意,从而提高了医生的诊断效率。
其中,消化道内窥镜检查通常包括食管、咽喉、胃、十二指肠及结直肠等部位的疾病筛查,在人类的消化道系统中,体内环境存在多样性,会出现唾沫、气泡、食物残留等情况,因而内窥镜影像无法保证清晰、干净的高质量图像。由于唾沫、气泡、食物残留等异物与病灶存在某些特征上的相似性(形状、颜色等),现有技术中,深度学习模型在进行疾病预测时,很容易对异物出现误判导致假阳性的出现,从而降低了疾病检测的准确率。
技术实现要素:
有鉴于此,为解决上述问题,本发明提供的技术方案如下:
一种生物组织图像检测方法,包括:
获取第一生物组织图像,该第一生物组织图像为消化道内窥镜图像;
通过分类模型确定该第一生物组织图像的图像特征信息;
当该分类模型识别出该第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除该第一生物组织图像,该消化道检测条件包括以下至少一项:图像亮度、图像清晰度、体内消化道图像特征和障碍物比例;
当该分类模型识别出该第一生物组织图像的图像特征信息满足该消化道检测条件时,将该第一生物组织图像传递给检测模型;
通过检测模型对该第一生物组织图像进行检测,以确定该第一生物组织图像中是否存在生物学指标。
一种生物组织图像检测装置,包括:
获取单元,所述获取单元用于获取第一生物组织图像,所述第一生物组织图像为消化道内窥镜图像;
识别单元,所述识别单元用于通过分类模型确定所述获取单元获取的所述第一生物组织图像的图像特征信息;
筛选单元,所述筛选单元用于当所述识别单元识别出所述第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除所述第一生物组织图像,所述消化道检测条件包括以下至少一项:图像亮度、图像清晰度、体内消化道图像特征和障碍物比例;
发送单元,当所述识别单元识别出所述第一生物组织图像的图像特征信息满足消化道检测条件时,将所述第一生物组织图像传递给检测模型;
检测单元,所述检测单元用于通过检测模型对所述发送单元发送的所述第一生物组织图像进行检测,以识别出所述第一生物组织图像中是否存在生物学指标。
可选地,该图像特征信息的消化道检测条件包括图像亮度;则该筛选单元还用于:
当该分类模型识别出该第一生物组织图像的亮度高于第一预设值时,剔除该第一生物组织图像;
或者,
当该分类模型识别出该第一生物组织图像的亮度低于第二预设值,剔除该第一生物组织图像,该第二预设值所标记的图像亮度大于该第一预设值所标记的图像亮度。
可选地,该图像特征信息的消化道检测条件包括体内消化道图像特征,该体内消化道图像特征为对生物体进行拍摄所获得图像的特征;则该筛选单元还用于:
当该分类模型识别出该第一生物组织图像中不包括该体内消化道图像特征时,剔除该第一生物组织图像。
可选地,该图像特征信息的消化道检测条件包括第一预设特征,该第一预设特征为预设的影响检测准确度的特征,则该筛选单元还用于:
当该分类模型识别出该第一生物组织图像中该第一预设特征的数量大于预设数量时,剔除该第一生物组织图像。
可选地,该还包括训练单元,该训练单元用于:
获取训练数据集,该训练数据集中包含至少两张经过标记的生物组织图像,该标记用于标记该图像特征信息;
获取第一深度卷积神经网络参数作为该第一深度学习网络模型的初始值;
基于该第一深度卷积神经网络参数通过该第一深度学习网络模型对该训练数据集进行学习,以得到该分类模型。
可选地,该第一深度卷积神经网络参数为经过自然图像训练的参数。
可选地,该训练单元还用于:
将第二生物组织图像输入该分类模型中,该第二生物组织图像为已知的图像特征信息满足消化道检测条件的图像;
当该分类模型识别出该第二生物组织图像的图像特征信息满足消化道检测条件时,确定该分类模型工作正常。
一种计算机设备所述计算机设备包括:交互装置、输入/输出(i/o)接口、处理器和存储器,该存储器中存储有程序指令;该交互装置用于获取用户输入的操作指令;该处理器用于执行存储器中存储的程序指令,执行如上述任意一项所述的方法。
一种计算机可读存储介质,包括指令,当该指令在计算机设备上运行时,使得该计算机设备执行如上述任意一项所述的方法。
一种医学图像检测系统,该医学图像检测系统包括图像扫描设备和图像处理设备;该图像扫描设备用于扫描医学图像,并向该图像处理设备发送该医学图像;图像处理设备用于执行如上述任意一项所述的方法。
本申请实施例所提供的生物组织图像检测方法,包括:获取第一生物组织图像;通过分类模型确定第一生物组织图像的图像特征信息,图像特征信息包括预设的图像特征信息;当分类模型识别出第一生物组织图像的图像特征信息满足消化道检测条件时,将第一生物组织图像传递给检测模型;通过检测模型对第一生物组织图像进行检测,以确定第一生物组织图像中是否存在生物学指标。通过分类模型的分类,过滤掉低质量的图像,从而确保检测模型仅对高质量的生物组织图像进行检测,提升了生物组织图像检测的检测效率和检测准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的生物组织图像检测方法的一个实施例的流程图;
图2为本申请实施例所提供的生物组织图像检测方法的另一个实施例的流程图;
图3为本申请实施例所提供的生物组织图像检测方法中过亮图像的示意图;
图4为本申请实施例所提供的生物组织图像检测方法中过暗图像的示意图;
图5为本申请实施例所提供的生物组织图像检测方法中体外图像的示意图;
图6为本申请实施例所提供的生物组织图像检测方法的另一个实施例的流程图;
图7为本申请实施例所提供的生物组织图像检测方法中包含唾沫图像的示意图;
图8为本申请实施例所提供的生物组织图像检测方法中包含泡沫图像的示意图;
图9为本申请实施例所提供的生物组织图像检测方法中包含食物残留图像的示意图;
图10为本申请实施例所提供的生物组织图像检测方法的另一个实施例的流程图;
图11为本申请实施例所提供的生物组织图像检测方法中训练分类模型的流程图;
图12为本申请实施例所提供的生物组织图像检测方法的训练数据集中的低质量图像的示意图;
图13为本申请实施例所提供的生物组织图像检测方法的训练数据集中的高质量图像的示意图;
图14为本申请实施例所提供的生物组织图像检测方法中第一深度学习网络模型的示意图;
图15为本申请实施例所提供的生物组织图像检测方法中第一深度学习网络模型的示意图;
图16为本申请实施例所提供的计算机设备的示意图;
图17为本申请实施例所提供的生物组织图像检测装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
计算机视觉技术(computervision,cv)是人工智能(artificialintelligence,ai)技术中的一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别及图像语义理解等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
医疗作为人工智能最具社会价值和商业价值的应用场景之一得到广泛关注。在医生进行内窥镜检查的过程中,通过cv协助医生诊断疾病,辅助医生进行内窥镜影像疾病诊断,当ai判断内窥镜图像中存在病灶时,能够提醒医生注意,从而提高了医生的诊断效率。
其中,消化道内窥镜检查通常包括食管、咽喉、胃、十二指肠及结直肠等部位的疾病筛查,在人类的消化道系统中,体内环境存在多样性,会出现唾沫、气泡、食物残留等情况,因而内窥镜影像无法保证清晰、干净的高质量图像。由于唾沫、气泡、食物残留等异物与病灶存在某些特征上的相似性(形状、颜色等),现有技术中,深度学习模型在进行疾病预测时,很容易对异物出现误判导致假阳性的出现,从而降低了疾病检测的准确率。
因此,为了解决上述问题,本申请实施例提供一种生物组织图像检测方法,能够对生物组织图像的质量进行识别,剔除低质量的图像,仅对高质量的图像执行后续检测,从而提高了ai辅助诊疗的效率。为便于理解,以下结合附图,对本申请实施例所提供的方法进行详细说明。
需要说明的是,本申请实施例所提供的方法可以应用于各种不同的领域,例如包括人体体内或体外的视觉检测,或者动物体内或体外的检测等等,对于被检测的主体,本申请实施例并不进行限定,为便于理解,作为一种优选的实施方式,本申请实施例以消化道内窥镜检查的应用为例,对本申请所提供的生物组织图像检测方法进行说明。
请参阅图1,如图1所示,本申请实施例所提供的生物组织图像检测方法的实施例一包括以下步骤。
101、获取第一生物组织图像。
本实施例中,第一生物组织图像,可以为消化道内窥镜检查所拍摄到的消化道内窥镜图像,用于反映检测人体的消化道情况。
102、通过分类模型确定第一生物组织图像的图像特征信息。
本实施例中,分类模型用于对第一生物组织图像的图像特征信息进行识别。该分类模型是经过模型训练得到的模型,能够识别第一生物组织图像的图像特征信息。当图像特征信息不满足消化道检测条件时,容易造成系统误判疾病的情况,因此需要通过分类模型,在对内窥镜图像进行疾病诊断之前,先通过分类模型来根据图像特征信息对内窥镜图像进行分类。
103、当分类模型识别出第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除第一生物组织图像。
本实施例中,消化道检测条件包括以下至少一项:图像亮度、图像清晰度、体内消化道图像特征和障碍物比例。
104、当分类模型识别出第一生物组织图像的图像特征信息满足消化道检测条件时,将第一生物组织图像传递给检测模型。
本实施例中,通过分类模型的分类。只有图像特征信息满足消化道检测条件的第一生物组织图像,才发给检测模型进行后续检测,从而剔除了低质量的图像,防止在后续工作过程中低质量图像对检测模型工作的影响。
105、通过检测模型对第一生物组织图像进行检测,以确定第一生物组织图像中是否存在生物学指标。
本实施例中,检测模型为现有技术中任意一种能够根据生物组织图像进行异常特征检测的模型,例如,根据内窥镜图像对病灶进行病理性检测的诊断模型,对此本申请实施例并不进行限定,由于在步骤103中,分类模型通过二分类的方式对图像进行了过滤,从而检测模型所获取到的图像均为图像特征信息满足消化道检测条件的高质量图像,从而避免了低质量图像对检测模型的判断造成的干扰,降低了误判的情况,提升了检测模型检测的准确性,该生物学指标可以根据用户实际需要预设,例如,生物学指标可以是用于表征某种疾病特征的生物学指标。
本申请实施例所提供的生物组织图像检测方法,包括:获取第一生物组织图像,第一生物组织图像为消化道内窥镜图像;通过分类模型确定第一生物组织图像的图像特征信息;当分类模型识别出第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除第一生物组织图像;当分类模型识别出第一生物组织图像的图像特征信息满足消化道检测条件时,将第一生物组织图像传递给检测模型;通过检测模型对第一生物组织图像进行检测,以确定第一生物组织图像中是否存在生物学指标。通过分类模型的分类,过滤掉低质量的图像,从而确保检测模型仅对高质量的生物组织图像进行检测,提升了生物组织图像检测的检测效率和检测准确性。
需要说明的是,在上述步骤中,当分类模型识别出第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除第一生物组织图像。从而避免了低质量图像对内存的占用。其中,该分类模型除了可以是上述的二分类模型外,还可以是多分类模型,即,图像特征信息不满足消化道检测条件所对应的消化道检测条件可以不仅仅有一个,还可以是多个,例如,图像特征信息不满足消化道检测条件可以是:图像亮度不能达到要求、图像为内窥镜在进入体内之前拍摄的体外图像、图像内记录有唾液、异物或起泡等杂物,或者图像太模糊等等,为便于理解,以下对此不同情况进行详细说明。
一、图像亮度不能达到要求。
本实施例中,当图像亮度达不到要求时,可能是图像过亮(如图3所示)或过暗(如图4所示),分类模型需要对此种情况进行识别并剔除,请参阅图2,如图2所示,本申请实施例所提供的生物组织图像检测方法的实施例二包括以下步骤。
201、获取第一生物组织图像。
本实施例中,本步骤可参阅上述步骤101,此处不再赘述。
202、通过分类模型确定第一生物组织图像的图像特征信息。
本实施例中,本步骤可参阅上述步骤102,此处不再赘述。
203、通过分类模型识别出第一生物组织图像的亮度信息。
本实施例中,第一生物组织图像中记录有图像的亮度信息,图象亮度是指画面的明亮程度,单位是堪德拉每平米(cd/m2)或称nits。图象亮度是从白色表面到黑色表面的感觉连续体,由反射系数决定,亮度侧重物体,重在“反射”。从而分类模型可以根据第一生物组织图像的亮度信息判断其亮度情况。
204、当分类模型识别出第一生物组织图像的亮度高于第一预设值时,剔除第一生物组织图像。
本实施例中,第一预设值是用户可以根据实际情况调整的参数,对此本申请实施例并不进行限定。分类模型会直接输出图像属于哪一图像亮度区间的概率,当分类模型对于第一生物组织图像所预测出的图像亮度高于第一预设值时,判断该图像为过亮图像。将会导致检测模型因为过亮而无法识别到图像中的细节,因此需要将该第一生物组织图像判定为低质量图像并予以剔除。
205、当分类模型识别出第一生物组织图像的亮度低于第二预设值,剔除第一生物组织图像。
本实施例中,第二预设值是用户可以根据实际情况调整的参数,对此本申请实施例并不进行限定。分类模型会直接输出图像属于哪一图像亮度区间的概率,当分类模型对于第一生物组织图像所预测出的图像亮度低于第二预设值时,判断该图像为过暗图像。将会导致检测模型因为过暗而无法识别到图像中的细节,因此需要将该第一生物组织图像判定为低质量图像并予以剔除。
本实施例中,分类模型不仅能够对低质量图像进行区分,还可以对具体低质量的原因进行区分,从而实现了更细化的分类粒度,防止错误分类导致高质量图像被剔除的情况发生。
二、图像为内窥镜在进入体内之前拍摄的体外图像。
本实施例中,在进行内窥镜检查时,事先开启内窥镜确保正常工作,再将其放入被测试者的体内,同时,当完成检测将内窥镜拔出体外时,内窥镜也没有停止工作,因此,就造成了内窥镜所拍摄得到的第一生物组织图像,不完全是在体内拍摄的图像,如图5,就是内窥镜在进入人体肠道之前拍摄到的体外图像。检测模型因为被训练用于检测体内图像,因此无法对这些体外图像进行识别,有可能导致误判,因此,本申请实施例提供一种方式,通过分类模型对此类图片进行识别并剔除。
请参阅图6,如图6所示,本申请实施例所提供的生物组织图像检测方法的实施例三包括以下步骤。
601、获取第一生物组织图像。
本实施例中,本步骤可参阅上述步骤101,此处不再赘述。
602、通过分类模型确定第一生物组织图像的图像特征信息。
本实施例中,本步骤可参阅上述步骤102,此处不再赘述。
603、当分类模型识别出第一生物组织图像中不包括体内消化道图像特征时,判断第一生物组织图像为体外图像。
本实施例中,在训练分类模型的过程中,在训练素材中标记体内消化道图像特征,以使得分类模型能够根据体内消化道图像特征,确认当前的第一生物组织图像是否为肠道内部拍摄的图像,例如,体内消化道图像特征可以包括颜色特征,光线特征等等,对此本申请实施例并不进行限定,通过这些特征,使得分类模型在工作时,会直接输出图像属于哪一类别的概率,当分类模型判断包含体内消化道图像特征的概率大于预设值时,判断该图像为包含体内消化道图像特征的图像。可以判断第一生物组织图像是否为体外图像。
604、通过分类模型剔除体外图像。
本实施例中,分类模型剔除体外图像,从而防止体外图像被发送给检测模型,导致检测模型由于不能区分体内图像和体外图像而导致误判。
本实施例中,由于检测模型的是被用于训练来对于病灶进行检测的,对于图像本身,并不能进行区分,本申请实施例所提供的生物组织图像检测方法,通过分类模型,提前识别并剔除不是体内拍摄的内窥镜图像,使得检测模型所接收的图像全部为体内图像,防止检测模型发生误判的情况,从而提升了检测的准确性。
三、图像内记录有唾液、异物或起泡等障碍物。
本实施例中,消化道内窥镜检查通常包括食管、咽喉、胃、十二指肠及结直肠等部位的疾病筛查,在人类的消化道系统中,体内环境存在多样性,会出现唾沫(如图7所示)、气泡(如图8所示)、食物残留(如图9所示)等障碍物与病灶存在某些特征上的相似性(形状、颜色等),会造成检测模型的误判,对此,本申请实施例所提供的生物组织图像检测方法通过训练分类模型,提前剔除此类图片。
请参阅图10,如图10所示,本申请实施例所提供的生物组织图像检测方法的实施例四包括以下步骤。
1001、获取第一生物组织图像。
本实施例中,本步骤可参阅上述步骤101,此处不再赘述。
1002、通过分类模型确定第一生物组织图像的图像特征信息。
本实施例中,本步骤可参阅上述步骤102,此处不再赘述。
1003、当分类模型识别出第一生物组织图像中第一预设特征的数量大于预设数量时,判定第一生物组织图像中包含过多干扰检测模型检测的特征。
本实施例中,在训练分类模型的过程中,在训练素材中,针对肠道图像内的唾沫、气泡及食物残留等情况分别标记处相应的特征作为第一预设特征,从而使得训练得到的分类模型能够识别第一预设特征,当第一预设特征在第一生物组织图像中占有的比例大于预设值时,或者,第一预设特征的数量大于预设值时,即可判定该第一生物组织图像为包含障碍物的图像。
1004、通过分类模型剔除第一生物组织图像。
本实施例中,分类模型剔除第一生物组织图像,从而防止第一生物组织图像被发送给检测模型,导致检测模型由于不能区分异物和病灶区别而导致误判。
本实施例中,通过对分类模型的训练,使得分类模型具有识别异物的能力,提前剔除这些包含有异物的图像,从而防止检测模型将异物识别为病灶。导致检测模型的检测准确性。同时提升了检测模型的检测效率。
本申请实施例所提供生物组织图像检测方法,在原有检测模型的基础上,加入了分类模型,从而不需要对现有的检测模型做任何改变,通过分类模型的预分类,剔除掉低质量的图像后,由检测模型来对剩下的高质量图像进行检测,提升了检测模型工作的效率和检测准确性。
以下对本申请实施例所提供的生物组织图像检测方法中,分类模型的具体训练方法进行详细说明。
请参阅图11,如图11所示,本申请所提供的生物组织图像检测方法中,分类模型的训练方法包括以下步骤。
1101、获取训练数据集。
本实施例中,训练数据集中包含至少两张经过标记的生物组织图像,标记用于标记图像特征信息,例如,对于二分类模型而言,将低质量图片标签设为0,高质量内窥镜影像标签设为1。例如,如图12所示的图像,分别包含体外图像1201、非胃镜图像1202、过暗图像1203、过亮图像1204、模糊图像1205、包含唾沫的图像1206、包含食物残留的图像1207及包含起泡的图像1208,这些图像统统标记为低质量图像,将其标签设为0;如图13所示的图像,分别包含清晰的食管图像1301、十二指肠图像1302、结直肠图像1303、胃镜图像1304及咽喉图像1305等,这些清晰高质量的图像签设为1。
进一步地,如上所述,分类模型还可以是多分类模型,若需要将分类模型训练为多分类模型,则在训练数据集中分别做不同的标注,例如,过亮的图像标注为2、过暗的图像标注为3、体外图像标注为4、含有异物的图像标记为5等等。
用户可以根据模型的分类情况,对训练数据集中的生物组织图像进行标注,以得到训练图像。
1102、将训练数据集输入第一深度学习网络模型,以得到分类模型。
本实施例中,可选地,该第一深度学习网络模型可以为densenet121网络结构,在模型训练之前,可以对深度学习网络模型进行初始化,具体包括:获取第一深度卷积神经网络参数作为第一深度学习网络模型的初始值,第一深度卷积神经网络参数为经过自然图像训练的参数,通过自然图像训练之后的第一深度卷积神经网络参数,比较贴近实际应用情况,在此基础进行训练,能够减少后续的计算量。
在分类模型的模型训练阶段,采用的densenet121网络结构如图14所示,层数layers从上到下依次包括卷积层convolution,池化层pooling,第一密集块denseblock(1)、第一特征压缩层transitionlayer(1)、第二密集块denseblock(2)、第二特征压缩层transitionlayer(2)、第三密集块denseblock(3)、第三特征压缩层transitionlayer(3)、第四密集块denseblock(4)、第四特征压缩层transitionlayer(4)以及分类层classificationlayer。
其中,上述第一密集块至第四密集块为相同的结构,如图15所示,每个密集块分别包括批量规范化层batchnormalization、线性整流函数层(rectifiedlinearunit,relu)、向量卷积运算层conv和输出层droput。
在具体工作过程中,每个密集块可以包括一个或多个如图15所示的结构,其中,向量卷积运算层conv的规模也可以根据实际需求进行设定,例如可以为conv1×1或者conv3×3,如图15所示的denseblock即为:依次经过batchnormalization、relu、conv1×1及droput之后再依次经过batchnormalization、relu、convconv3×3及droput,此为一个循环,执行6次之后,完成当前denseblock的处理。对此,具体的各项参数用户可以根据实际需求进行设定,对此本申请实施例并不进行限定。
在分类模型训练过程中,convolution和pooling首先对训练数据集中的训练图片进行卷积和池化处理,之后分别由denseblock(1)至denseblock(4)进行后续的处理,其中,每个denseblock按照图15所示的各层结构处理完数据后,经过一次transitionlayer的特征压缩,之后,上一个denseblock的输出,成为下一个denseblock的输入,以进行下一轮的处理,经过四个denseblock的处理后,输出给分类层classificationlayer进行分类,即可得到具有分类能力的分类模型。
上述工作过程中,各层的输出规模outputsize,以及各层的网络结构densenet121可以根据实际需要进行设定,图14所述的参数作为一种举例,并不构成对本申请的限定。
可选地,上述工作过程中,模型的增长率growth-rate设置为24,表示每一层增加的特征个数。分类层transitionlayer特征压缩比设置为0.5,上述两个参数还可以由用户根据实际需要设置,对此本申请实施例并不限定。
可选地,在训练得到分类模型后,还可以对该分类模型进行检验,以判断该分类模型的工作情况是否准确,如图11所示,进一步包括以下步骤。
1103、将第二生物组织图像输入分类模型中。
本实施例中,第二生物组织图像为已知的图像特征信息满足消化道检测条件的图像,即,第二生物组织图像是用作测试的已知图像质量的材料。例如,第二生物组织为图13中所示的任意一张清晰的高质量图像,此时,已知第二生物组织图像为高质量图像,将其输入分类模型中。
1104、当分类模型判断第二生物组织图像的图像特征信息满足消化道检测条件时,确定分类模型工作正常。
本实施例中,将已知为高质量图像的第二生物组织图像输入分类模型中,以检查分类模型能否对该第二生物组织图像进行正确的分类,从而实现了对分类模型工作性能的检测。进一步地,第二生物组织图像还可以是多张已知质量的不同的照片,对此本申请实施例并不限定。
本申请实施例所提供的生物组织图像检测方法,包括:获取第一生物组织图像;通过分类模型确定第一生物组织图像的图像特征信息,图像特征信息包括预设的图像特征信息;当分类模型识别出第一生物组织图像的图像特征信息满足消化道检测条件时,将第一生物组织图像传递给检测模型;通过检测模型对第一生物组织图像进行检测,以确定第一生物组织图像中是否存在生物学指标。通过分类模型的分类,过滤掉低质量的图像,从而确保检测模型仅对高质量的生物组织图像进行检测,提升了生物组织图像检测的检测效率和检测准确性。
上述对本申请实施例提供的方案进行了介绍。可以理解的是,计算机设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
从硬件结构上来描述,上述方法可以由一个实体设备实现,也可以由多个实体设备共同实现,还可以是一个实体设备内的一个逻辑功能模块,本申请实施例对此不作具体限定。
例如,上述方法均可以通过图16中的计算机设备来实现。图16为本申请实施例提供的计算机设备的硬件结构示意图。该计算机设备包括至少一个处理器1601,通信线路1602,存储器1603以及至少一个通信接口1604。
处理器1601可以是一个通用中央处理器(centralprocessingunit,cpu),微处理器,特定应用集成电路(application-specificintegratedcircuit,服务器ic),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路1602可包括一通路,在上述组件之间传送信息。
通信接口1604,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radioaccessnetwork,ran),无线局域网(wirelesslocalareanetworks,wlan)等。
存储器1603可以是只读存储器(read-onlymemory,rom)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(randomaccessmemory,ram)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyer服务器ableprogrammableread-onlymemory,eeprom)、只读光盘(compactdiscread-onlymemory,cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路1602与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器1603用于存储执行本申请方案的计算机执行指令,并由处理器1601来控制执行。处理器1601用于执行存储器1603中存储的计算机执行指令,从而实现本申请上述实施例提供的方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,处理器1601可以包括一个或多个cpu,例如图16中的cpu0和cpu1。
在具体实现中,作为一种实施例,计算机设备可以包括多个处理器,例如图16中的处理器1601和处理器1607。这些处理器中的每一个可以是一个单核(single-cpu)处理器,也可以是一个多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,计算机设备还可以包括输出设备1605和输入设备1606。输出设备1605和处理器1601通信,可以以多种方式来显示信息。例如,输出设备1605可以是液晶显示器(liquidcrystaldisplay,lcd),发光二级管(lightemittingdiode,led)显示设备,阴极射线管(cathoderaytube,crt)显示设备,或投影仪(projector)等。输入设备1606和处理器1601通信,可以以多种方式接收用户的输入。例如,输入设备1606可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的计算机设备可以是一个通用设备或者是一个专用设备。在具体实现中,计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑(personaldigitalassistant,pda)、移动手机、平板电脑、无线终端设备、嵌入式设备或有图16中类似结构的设备。本申请实施例不限定计算机设备的类型。
本申请实施例可以根据上述方法示例对存储设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
比如,以采用集成的方式划分各个功能单元的情况下,图17示出了一种生物组织图像检测装置的示意图。
如图17所示,本申请实施例提供的生物组织图像检测装置,包括:
获取单元1701,该获取单元1701用于获取第一生物组织图像,该第一生物组织图像为消化道内窥镜图像;
识别单元1702,该识别单元1702用于通过分类模型确定该获取单元获取的该第一生物组织图像的图像特征信息;
筛选单元1705,该筛选单元1705用于当该识别单元1702识别出该第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除该第一生物组织图像,该消化道检测条件包括以下至少一项:图像亮度、图像清晰度、体内消化道图像特征和障碍物比例;
发送单元1703,当该识别单元1702识别该第一生物组织图像的图像特征信息满足消化道检测条件时,将该第一生物组织图像传递给检测模型;
检测单元1704,该检测单元1704用于通过检测模型对该发送单元1703发送的该第一生物组织图像进行检测,以判断该第一生物组织图像中是否存在生物学指标。
可选地,该图像质量包括图像亮度;则该筛选单元1705还用于:
当该分类模型识别出该第一生物组织图像的亮度高于第一预设值时,剔除该第一生物组织图像;
或者,
当该分类模型识别出该第一生物组织图像的亮度低于第二预设值,剔除该第一生物组织图像,该第二预设值所标记的图像亮度大于该第一预设值所标记的图像亮度。
可选地,该图像质量包括体内消化道图像特征,该体内消化道图像特征为在生物体消化肠道内部进行内窥镜拍摄所获得图像的特征;则该筛选单元1705还用于:
当该分类模型判断该第一生物组织图像中不包括该体内消化道图像特征时,剔除第一生物组织图像。
可选地,该图像质量包括第一预设特征的数量,该第一预设特征为预设的影响检测准确度的特征,则该筛选单元1705还用于:
当该分类模型识别出该第一生物组织图像中该第一预设特征的数量大于预设数量时,剔除该第一生物组织图像。
可选地,该还包括训练单元1706,该训练单元1706用于:
获取第一深度卷积神经网络参数作为该第一深度学习网络模型的初始值;
基于该第一深度卷积神经网络参数通过该第一深度学习网络模型对该训练数据集进行学习,以得到该分类模型。
可选地,该第一深度卷积神经网络参数为经过自然图像训练的参数。
可选地,该训练单元1706还用于:
将第二生物组织图像输入该分类模型中,该第二生物组织图像为已知的图像特征信息满足消化道检测条件的图像;
当该分类模型识别出该第二生物组织图像的图像特征信息满足消化道检测条件时,确定该分类模型工作正常。
进一步的,本发明实施例还提供一种计算机存储介质,包括指令,当该指令在计算机设备上运行时,使得该计算机设备执行上述方法。
更进一步的,本发明实施例还提供一种医学图像检测系统,该医学图像检测系统包括图像扫描设备和图像处理设备;该图像扫描设备用于扫描医学图像,并向该图像处理设备发送该医学图像;图像处理设备用于执行如上述方法。
有关本申请实施例提供的计算机存储介质中存储的程序的详细描述可参照上述实施例,在此不做赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
1.一种生物组织图像检测方法,其特征在于,包括:
获取第一生物组织图像,所述第一生物组织图像为消化道内窥镜图像;
通过分类模型确定所述第一生物组织图像的图像特征信息;
当所述分类模型识别出所述第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除所述第一生物组织图像,所述消化道检测条件包括以下至少一项:图像亮度、图像清晰度、体内消化道图像特征和障碍物比例;
当所述分类模型识别出所述第一生物组织图像的图像特征信息满足所述消化道检测条件时,将所述第一生物组织图像传递给检测模型;
通过检测模型对所述第一生物组织图像进行检测,以确定所述第一生物组织图像中是否存在生物学指标。
2.根据权利要求1所述的方法,其特征在于,所述图像特征信息的消化道检测条件包括所述图像亮度,则所述当所述分类模型识别出所述第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除所述第一生物组织图像,包括:
当所述分类模型识别出所述第一生物组织图像的亮度高于第一预设值时,剔除所述第一生物组织图像;
或者,
当所述分类模型识别出所述第一生物组织图像的亮度低于第二预设值,剔除所述第一生物组织图像,所述第二预设值所标记的图像亮度大于所述第一预设值所标记的图像亮度。
3.根据权利要求1所述的方法,其特征在于,所述图像特征信息的消化道检测条件包括所述体内消化道图像特征,所述体内消化道图像特征为对生物体进行拍摄所获得图像的特征;则当所述分类模型识别出所述第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除所述第一生物组织图像,包括:
当所述分类模型识别出所述第一生物组织图像中不包括所述体内消化道图像特征时,剔除所述第一生物组织图像。
4.根据权利要求1所述的方法,其特征在于,所述图像特征信息的消化道检测条件包括障碍物比例,所述障碍物为包含第一预设特征的物体,所述第一预设特征为预设的影响检测准确度的特征,则所述当所述分类模型识别出所述第一生物组织图像的图像特征信息不满足消化道检测条件时,包括:
当所述分类模型识别出所述第一生物组织图像中所述第一预设特征的数量大于预设数量时,剔除所述第一生物组织图像。
5.根据权利要求1至4任一所述的方法,其特征在于,所述获取第一生物组织图像之前,还包括:
获取训练数据集,所述训练数据集中包含至少两张经过标记的生物组织图像,所述标记用于标记所述图像特征信息;
获取第一深度卷积神经网络参数作为所述第一深度学习网络模型的初始值;
基于所述第一深度卷积神经网络参数通过所述第一深度学习网络模型对所述训练数据集进行学习,以得到所述分类模型。
6.根据权利要求5所述的方法,其特征在于,所述第一深度卷积神经网络参数为经过自然图像训练的参数。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一深度卷积神经网络参数通过所述第一深度学习网络模型对所述训练数据集进行学习,以得到所述分类模型之后,还包括:
将第二生物组织图像输入所述分类模型中,所述第二生物组织图像为已知的图像特征信息满足消化道检测条件的图像;
当所述分类模型识别出所述第二生物组织图像的图像特征信息满足消化道检测条件时,确定所述分类模型工作正常。
8.一种生物组织图像检测装置,其特征在于,包括:
获取单元,所述获取单元用于获取第一生物组织图像,所述第一生物组织图像为消化道内窥镜图像;
识别单元,所述识别单元用于通过分类模型确定所述获取单元获取的所述第一生物组织图像的图像特征信息;
筛选单元,所述筛选单元用于当所述识别单元识别出所述第一生物组织图像的图像特征信息不满足消化道检测条件时,剔除所述第一生物组织图像,所述消化道检测条件包括以下至少一项:图像亮度、图像清晰度、体内消化道图像特征和障碍物比例;
发送单元,当所述识别单元识别出所述第一生物组织图像的图像特征信息满足消化道检测条件时,将所述第一生物组织图像传递给检测模型;
检测单元,所述检测单元用于通过检测模型对所述发送单元发送的所述第一生物组织图像进行检测,以识别出所述第一生物组织图像中是否存在生物学指标。
9.根据权利要求8所述的装置,其特征在于,所述图像特征信息的消化道检测条件包括所述图像亮度;则所述筛选单元还用于:
当所述分类模型识别出所述第一生物组织图像的亮度高于第一预设值时,剔除所述第一生物组织图像;
或者,
当所述分类模型识别出所述第一生物组织图像的亮度低于第二预设值,剔除所述第一生物组织图像,所述第二预设值所标记的图像亮度大于所述第一预设值所标记的图像亮度。
10.根据权利要求8所述的装置,其特征在于,所述图像特征信息的消化道检测条件包括所述体内消化道图像特征,所述体内消化道图像特征为对生物体进行拍摄所获得图像的特征;则所述筛选单元还用于:
当所述分类模型识别出所述第一生物组织图像中不包括所述体内消化道图像特征时,剔除所述第一生物组织图像。
11.一种计算机设备,其特征在于,所述计算机设备包括:交互装置、输入/输出(i/o)接口、处理器和存储器,所述存储器中存储有程序指令;
所述交互装置用于获取用户输入的操作指令;
所述处理器用于执行存储器中存储的程序指令,执行如权利要求1-7中任意一项所述的方法。
12.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在计算机设备上运行时,使得所述计算机设备执行如权利要求1-7中任意一项所述的方法。
13.一种医学图像检测系统,其特征在于,所述医学图像检测系统包括图像扫描设备和图像处理设备;
所述图像扫描设备用于扫描医学图像,并向所述图像处理设备发送所述医学图像;
图像处理设备用于执行权利要求1-7任一所述的方法。
技术总结