基于显微图像的细胞分析方法、装置、设备及存储介质与流程

专利2022-06-28  92


本申请涉及图像处理技术领域,特别涉及一种基于显微图像的细胞分析方法、装置、设备及存储介质。



背景技术:

免疫组织化学是一种辅助病理诊断的方法,其通过化学呈色反应的对细胞样本群中的细胞进行染色,以在显微镜下突出细胞样本群中的阳性细胞。

在基于免疫组织化学的病理诊断中,细胞样本群中的阳性细胞的数量或百分比是病理诊断的重要依据。在相关技术中,医护人员可以通过免疫组织化学对细胞样本群中细胞核以及阳性细胞的细胞质进行染色,并人工通过目视统计阳性细胞中的细胞核数量和阴性细胞中的细胞核数量,并根据统计的细胞数量计算出阳性细胞/阴性细胞的百分比。

然而,相关技术中人工目视统计的方案,需要消耗大量的统计时间,导致各属性细胞数量以及百分比统计的效率较低。



技术实现要素:

本申请实施例提供了一种基于显微图像的细胞分析方法、装置、计算机设备及存储介质,可以提高基于免疫组织化学的病理诊断中,对阳性/阴性细胞的统计效率,该技术方案如下:

一方面,提供了一种基于显微图像的细胞分析方法,所述方法由计算机设备执行,所述方法包括:

获取彩色显微图像;所述彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及所述各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;

识别所述彩色显微图像中的细胞核,获得所述各个细胞的细胞核坐标;

基于像素值阈值对所述彩色显微图像进行区域划分,获得至少两个图像区域;所述至少两个图像区域中的每个图像区域是一种细胞属性对应的细胞所在的区域;

结合所述各个细胞的细胞核坐标,以及所述至少两个图像区域获取细胞分析结果,所述细胞分析结果指示所述各个细胞中,分属于所述至少两个图像区域各自对应细胞属性的细胞的百分比。

一方面,提供了一种基于显微图像的细胞分析方法,所述方法包括:

在显示屏幕中展示彩色显微图像,所述彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及所述各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;

响应于对所述彩色显微图像的细胞分析指令,在所述彩色显微图像上叠加显示细胞分析结果,所述细胞分析结果指示所述各个细胞中,分属于三种细胞属性的细胞的数量、百分比以及坐标位置;所述三种细胞属性包括阴性、弱阳性和强阳性。

一方面,提供了一种基于显微图像的细胞分析装置,用于计算机设备中,该装置包括:

图像获取模块,用于获取彩色显微图像;所述彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及所述各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;

细胞核识别模块,用于识别所述彩色显微图像中的细胞核,获得所述各个细胞的细胞核坐标;

区域划分模块,用于基于像素值阈值对所述彩色显微图像进行区域划分,获得至少两个图像区域;所述至少两个图像区域中的每个图像区域是一种细胞属性对应的细胞所在的区域;

分析结果获取模块,用于结合所述各个细胞的细胞核坐标,以及所述至少两个图像区域获取细胞分析结果,所述细胞分析结果指示所述各个细胞中,分属于所述至少两个图像区域各自对应细胞属性的细胞的百分比。

可选的,所述区域划分模块,包括:

通道分解单元,用于对所述彩色显微图像进行通道分解,获得指定通道图像;

区域划分单元,用于基于所述像素值阈值对所述指定通道图像进行区域划分,获得所述至少两个图像区域。

可选的,所述指定通道图像是二氨基联苯胺通道图像。

可选的,所述细胞属性包括阴性、弱阳性和强阳性;所述像素值阈值包括第一阈值和第二阈值,所述第一阈值小于所述第二阈值;

所述区域划分单元,包括:

第一划分子单元,用于基于所述第一阈值对所述指定通道图像进行区域划分,获得第一图像区域,所述第一图像区域是弱阳性细胞和强阳性细胞所在的图像区域;

第二划分子单元,用于基于所述第二阈值对所述第一图像区域进行划分,获得第三图像区域;所述第三图像区域是强阳性细胞所在的图像区域。

可选的,所述第一划分子单元,用于,

将所述指定通道图像中,像素值高于所述第一阈值的图像区域获取为第一基准图像区域;

按照第一膨胀距离对所述第一基准图像区域进行区域膨胀,获得所述第一图像区域。

可选的,所述第二划分子单元,用于,

将所述第一区域图像中,像素值高于所述第二阈值的图像区域获取为第二基准图像区域;

按照第二膨胀距离对所述第二基准图像区域进行区域膨胀,获得所述第三图像区域。

可选的,所述分析结果获取模块,包括:

强阳性细胞数量获取单元,用于对细胞核坐标集合与第三区域坐标集合取交集,获得包含强阳性细胞的细胞核坐标的第一集合;将所述第一集合中的坐标数量获取为所述各个细胞中,强阳性细胞的数量;

弱阳性细胞数量获取单元,用于对所述细胞核坐标集合、第一区域坐标集合以及第三区域补集坐标集合取交集,获取包含弱阳性细胞的细胞核坐标的第二集合;将所述第二集合中的坐标数量获取为所述各个细胞中,弱阳性细胞的数量;

阴性细胞数量获取单元,用于对所述细胞核坐标集合与第一区域补集坐标集合取交集,获取包含阴性细胞的细胞核坐标的第三集合;将所述第三集合中的坐标数量获取为所述各个细胞中,阴性细胞的数量;

结果获取单元,用于根据所述强阳性细胞的数量、所述弱阳性细胞的数量以及所述阴性细胞的数量获取所述细胞分析结果;

其中,所述细胞核坐标集合包含所述各个细胞的细胞核坐标,所述第三区域坐标集合包含所述第三图像区域中的各个坐标,所述第三区域补集坐标集合包含所述第三图像区域相对于所述指定通道图像的补集区域中的各个坐标,所述第一区域坐标集合包含所述第一图像区域中的各个坐标,所述第一区域补集坐标集合包含所述第一图像区域相对于所述指定通道图像的补集区域中的各个坐标。

可选的,所述装置还包括:

第一阈值获取模块,用于在所述区域划分模块基于所述像素值阈值对所述指定通道图像进行区域划分,获得所述至少两个图像区域之前,响应于用户执行的阈值设置操作,获取所述阈值设置操作对应的所述第一阈值;

第二阈值确定模块,用于基于指定系数以及所述第一阈值确定所述第二阈值;

其中,所述第一阈值、所述第二阈值以及所述指定通道图像中的各个像素值为负值,所述指定系数小于1且大于0。

可选的,所述装置还包括:

分析结果展示模块,用于在显示屏幕中,对应所述彩色显微图像展示所述细胞分析结果;

分析结果显示模块,用于将所述细胞分析结果叠加显示在显微镜视野中。

一方面,提供了一种计算机设备,该计算机设备包含处理器和存储器,存储器中存储由至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述基于显微图像的细胞分析方法。

一方面,提供了一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述基于显微图像的细胞分析方法。

一方面,提供了一种识别显微图像中的细胞的系统,所述系统包括:显微镜以及图像处理设备;

所述图像处理设备,用于执行上述基于显微图像的细胞分析方法。

本申请提供的技术方案可以包括以下有益效果:

通过获取对细胞核以及阳性细胞的细胞质分别进行显示标记的彩色显微图像,识别彩色显微图像中的细胞核获得各个细胞的细胞核坐标,并基于像素值阈值对彩色显微图像进行区域划分,获得各种细胞属性分别对应的至少两个图像区域,再结合各个细胞的细胞核坐标,以及至少两个图像区域,获取指示各个细胞中各种细胞属性的细胞的百分比,不需要通过人工进行分类统计,极大的缩短了各属性细胞百分比的统计时间,提高了在基于免疫组织化学的病理诊断中,对阳性/阴性细胞的统计效率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

图1是本申请各个实施例涉及的一种细胞分析系统的系统构成图;

图2是本申请一个示例性的实施例提供的基于显微图像的细胞分析方法的流程示意图;

图3是图2所示实施例涉及的对阳性细胞质和细胞核进行染色的示意图;

图4是本申请一个示例性的实施例提供的基于显微图像的细胞分析方法的流程示意图;

图5是图4所示实施例涉及的彩色显微图像的细胞分析结果展示示意图;

图6是图4所示实施例涉及的细胞分析及展示流程示意图;

图7是根据一示例性实施例示出的基于显微图像的细胞分析装置的结构方框图;

图8是根据一示例性实施例示出的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

应当理解的是,在本文中提及的“若干个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请提供一种识别显微图像中的细胞的方法,可以在保证对彩色显微图像中的阳性细胞和阴性细胞识别的准确性的情况下,提高细胞识别的效率;比如,在人工智能(artificialintelligence,ai)的基础上,提高细胞识别的效率。为了便于理解,下面对本申请涉及的几个名词进行解释。

1)免疫组织化学(immunohistochemistry,ihc)

免疫组织化学又称免疫细胞化学,是指基于带显色剂标记的特异性抗体在组织细胞原位通过抗原抗体反应和组织化学的呈色反应,对相应抗原进行定性、定位、定量测定的一项新技术。

2)细胞质染色

细胞质染色是免疫组织化学中的一项常用的应用,其对细胞样本群中的各个细胞的细胞核,以及各个细胞中呈阳性的细胞的细胞质进行不同颜色的染色。通常来说,细胞质染色可以将细胞样本群中呈阳性的细胞的细胞质染成棕色,并将各个细胞的细胞核染成蓝色。

其中,呈阳性的细胞通常是指符合某种疾病判断条件的细胞,比如,可以是呈癌症阳性的细胞等等。

通常情况下,1个显微镜切片视野下存在100~3000个细胞,人工细胞计数非常耗时耗力。在实际病理诊断中,为减小误差,病理医生常常需要在多个显微镜视野下(要求细胞总数大于1000)统计阳性细胞的数量/百分比,因此人工细胞计数极大增加了病理医生的工作负担。

3)人工智能ai

ai是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(computervision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(machinelearning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的计算机视觉和机器学习等技术。

请参考图1,其示出了本申请各个实施例涉及的一种细胞分析系统的系统构成图。如图1所示,该系统包括显微镜120和终端140。可选的,该系统还包括服务器160和数据库180。

显微镜120可以是普通的光学显微镜,显微镜120的操作人员可以通过图像采集组件(比如照相机或者集成有摄像头的其它设备)采集显微镜120的目镜中的显微图像。

例如,上述显微镜120上可以集成有照相暗盒,显微镜120的操作人员可以通过安装在照相暗盒上的照相机拍摄显微镜120的目镜中的显微图像,然后通过照相机中集成的图像输出接口,将照相机拍摄的显微图像导入至终端140或者服务器160。

或者,上述显微镜120也可以是集成有图像采集组件的电子显微镜,该电子显微镜还对外提供图像输出接口,显微镜120的操作人员通过操作电子显微镜的图像采集功能采集显微镜120的目镜中的显微图像,并通过图像输出接口将显微图像导入至终端140。

其中,上述图像输出接口可以是有线接口,比如通用串行总线(universalserialbus,usb)接口、高清多媒体接口(highdefinitionmultimediainterface,hdmi)接口或者以太网接口等等;或者,上述图像输出接口也可以是无线接口,比如无线局域网(wirelesslocalareanetwork,wlan)接口、蓝牙接口等等。

相应的,根据上述图像输出接口的类型的不同,操作人员将照相机拍摄的显微图像导出的方式也可以有多种,比如,通过有线或者短距离无线方式将显微图像导入至终端140,或者,也可以通过局域网或者互联网将显微图像导入至终端140或者服务器160。

终端140中可以安装有获取显微图像的处理结果并呈现的应用程序,终端140获取到显微镜140的目镜中的显微图像后,可以通过上述应用程序获取对显微图像进行处理得到的处理结果,并对处理结果进行呈现,以便医生进行病理诊断等操作。

其中,终端140可以是具有一定的处理能力以及界面展示功能的终端设备,比如,终端140可以是手机、平板电脑、电子书阅读器、智能眼镜、膝上型便携计算机和台式计算机等等。

在图1所示的系统中,终端140和显微镜120是物理上分离的实体设备。可选的,在另一种可能的实现方式中,终端140和显微镜120也可以集成为单个实体设备;比如,显微镜120可以是具有终端140的计算和界面展示功能的智能显微镜,或者,显微镜120可以是具有终端140的计算能力的智能显微镜,该智能显微镜可以通过有线或无线接口输出图像处理结果。

其中,服务器160是一台服务器,或者由若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心。

其中,上述服务器160可以是为终端140或者显微镜120中安装的应用程序提供后台服务的服务器,该后台服务器可以是应用程序的版本管理、对应用程序获取到的显微图像进行后台处理并返回处理结果等等。

上述数据库180可以是redis数据库,或者,也可以是其它类型数据库。其中,数据库180用于存储各类数据。

可选的,终端140与服务器160之间通过通信网络相连。可选的,显微镜120与服务器160之间通过通信网络相连。可选的,该通信网络是有线网络或无线网络。

可选的,该系统还可以包括管理设备(图1未示出),该管理设备与服务器160之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。

可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(localareanetwork,lan)、城域网(metropolitanareanetwork,man)、广域网(wideareanetwork,wan)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(hypertextmark-uplanguage,html)、可扩展标记语言(extensiblemarkuplanguage,xml)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(securesocketlayer,ssl)、传输层安全(transportlayersecurity,tls)、虚拟专用网络(virtualprivatenetwork,vpn)、网际协议安全(internetprotocolsecurity,ipsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

请参考图2,其示出了本申请一个示例性的实施例提供的基于显微图像的细胞分析方法的流程示意图。该基于显微图像的细胞分析方法可以由计算机设备执行。该计算机设备可以单个设备,比如,可以是图1所示系统中的终端140或者服务器160;或者,该计算机设备也可以是多个设备的集合,比如,该计算机设备可以包括上述图1所示系统中的终端140和服务器160,即该方法可以由上述图1所示系统中的终端140和服务器160交互执行。如图2所示,该基于显微图像的细胞分析方法可以包括以下步骤:

步骤210,获取彩色显微图像;该彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及该各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对该细胞样本群采集获得的图像。

其中,上述细胞样本群是显微镜的物镜下的细胞标本中包含的各个细胞组成的样本群。

比如,请参考图3,其示出了本申请实施例涉及的一种对阳性细胞质和细胞核进行染色的示意图。如图3所示,通过ihc对癌症阳性细胞质和所有的细胞核进行染色后,点状区域31为细胞核所在位置(呈蓝色),不规则区域32为阳性细胞质所在位置(呈棕色)。

步骤220,识别彩色显微图像中的细胞核,获得各个细胞的细胞核坐标。

在一种可能的实现方式中,计算机设备可以通过细胞核识别模型对该彩色显微图像进行处理,获得该各个细胞的细胞核坐标。

在另一种可能的实现方式中,计算机设备也可以通过颜色值划分的方式识别彩色显微图像中的细胞核。

步骤230,基于像素值阈值对该彩色显微图像进行区域划分,获得至少两个图像区域;该至少两个图像区域中的每个图像区域是一种细胞属性对应的细胞所在的区域。

其中,细胞属性可以是指细胞是否满足某一特定的疾病的判断条件,比如,细胞属性可以分为阳性或阴性,其中,细胞属性为阳性,是指该细胞是满足上述疾病的判断条件的细胞;相应的,细胞属性为阴性,是指该细胞是不满足上述疾病的判断条件的细胞。

可选的,上述细胞属性为阳性时,还可以进一步划分为强阳性和弱阳性等等。

步骤240,结合该各个细胞的细胞核坐标,以及该至少两个图像区域获取细胞分析结果,该细胞分析结果指示该各个细胞中,分属于该至少两个图像区域各自对应细胞属性的细胞的百分比。

其中,由于每个图像区域对应一种细胞属性,因此,分属于至少两个图像区域各自对应细胞属性的细胞的百分比,也就是各个细胞中对应每种细胞属性的细胞的百分比。

综上所述,在本申请实施例所示的方案中,通过获取对细胞核以及阳性细胞的细胞质分别进行显示标记的彩色显微图像,识别彩色显微图像中的细胞核获得各个细胞的细胞核坐标,并基于像素值阈值对彩色显微图像进行区域划分,获得各种细胞属性分别对应的至少两个图像区域,再结合各个细胞的细胞核坐标,以及至少两个图像区域,获取指示各个细胞中各种细胞属性的细胞的百分比,不需要通过人工进行分类统计,极大的缩短了各属性细胞百分比的统计时间,提高了在基于免疫组织化学的病理诊断中,对阳性/阴性细胞的统计效率。

请参考图4,其示出了本申请一个示例性的实施例提供的基于显微图像的细胞分析方法的流程示意图。该基于显微图像的细胞分析方法可以由计算机设备执行。该计算机设备可以单个设备,比如,可以是图1所示系统中的终端140或者服务器160;或者,该计算机设备也可以是多个设备的集合,比如,该计算机设备可以包括上述图1所示系统中的终端140和服务器160。以该方法由上述图1所示系统中的终端140和/或服务器160执行为例,如图4所示,该基于显微图像的细胞分析方法可以包括以下步骤:

步骤401,获取彩色显微图像,该彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及该各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对该细胞样本群采集获得的图像。

在一种可能的实现方式中,彩色显微图像可以通过有线或无线网络导入至终端中的应用程序,该应用程序向服务器发送包含该彩色显微图像的识别请求,服务器接收到该识别请求后,提取该彩色显微图像。

在另一种可能的实现方式中,彩色显微图像可以通过有线或无线网络导入至终端中的应用程序,后续由终端通过该应用程序对该彩色显微图像直接进行处理。

步骤402,识别彩色显微图像中的细胞核,获得各个细胞的细胞核坐标。

在一种可能的实现方式中,计算机设备可以通过基于人工智能ai技术进行机器学习训练得到的细胞核识别模型对该彩色显微图像进行处理,获得该各个细胞的细胞核坐标。

其中,该细胞核识别模型是通过预先标注有细胞核坐标的样本显微图像训练获得的机器学习模型。

在本申请实施例中,计算机设备可以将上述彩色显微图像输入至细胞核识别模型,该细胞核识别模型可以根据彩色显微图像的细胞核的显色结果,输出该彩色显微图像中,细胞核所在位置的坐标。

可选的,在本申请实施例中可以利用深度学习方法直接完成细胞核的检测。

比如,可以通过训练全卷积网络(fullyconvolutionalnetworks,fcn),采用热力图回归的方式训练上述细胞核识别模型。例如,在训练过程中,模型输入为rgb图像(即上述样本显微图像),且该rgb图像预先标注好各个细胞核的位置,输出为以细胞中心点(即细胞核)为中心的类高斯响应图像,也就是说,输出的类高斯响应图像中包含若干个响应中心,每个响应中心对应一个细胞核。然后,根据输出的类高斯响应图像中的响应中心的位置以及预先标注好的各个细胞核的位置,通过热力图回归方式对细胞核识别模型中的参数进行调整,直至模型收敛,获得训练完成的细胞核识别模型。

在细胞核识别阶段,计算机设备将上述获取到的彩色显微图像输入到训练好的细胞核识别模型,由该细胞核识别模型通过寻找输出热力图的局部最大响应位置的方式,得到所有的细胞的细胞核的位置。即输入输出接口为:输入rgb图像,输出所有细胞核坐标集合ddetect。

其中,本申请所示的细胞核识别模型的应用场景并不局限与癌症细胞的分析场景,其它细胞分析场景(比如细菌或者病毒分析场景)中的细胞核定位任务也可以嵌入上述细胞核识别模型的训练和应用所涉及的框架。

在另一种可能的实现方式中,计算机设备也可以通过颜色值划分的方式识别彩色显微图像中的细胞核。

比如,计算机设备可以通过参考颜色值从彩色显微图像中划分出蓝色区域,并对蓝色区域进行中心聚类,得到各个蓝色像素集中区域的中心点,并将各个蓝色像素集中区域的中心点的坐标作为各个细胞核坐标。

步骤403,对该彩色显微图像进行通道分解,获得指定通道图像。

可选的,该指定通道图像是二氨基联苯胺通道图像。

在本申请实施例中,计算机设备可以首先对输入的三通道的rgb图像irgb(即上述彩色显微图像)进行色彩通道分解和重组,从而生成三个免疫组化通道图像,分别是苏木精通道图像ih,依红通道图像ie和二氨基联苯胺通道图像idab,其中,idab通道图像为棕色染色通道。本申请后续对通道idab进行运算和操作。

在本申请实施例中,计算机设备可以通过过氧化物酶染色分解方法进行色彩通道分解和重组,例如,包括但不限于采样skimage中的rgb2dab方法进行分解。

在得到上述指定通道图像之后,计算机设备即可以基于该像素值阈值对该指定通道图像进行区域划分,获得该至少两个图像区域。其中,以细胞属性包括阴性、弱阳性和强阳性;该像素值阈值包括第一阈值和第二阈值,该第一阈值小于该第二阈值为例,该过程可以参考以下步骤。

步骤404,基于该第一阈值对该指定通道图像进行区域划分,获得第一图像区域,该第一图像区域是弱阳性细胞和强阳性细胞所在的图像区域。

可选的,计算机设备进一步还可以基于该第一阈值对该指定通道图像进行区域划分,获得第二图像区域,该第二图像区域是阴性细胞所在的图像区域。

在一种可能的实现方式中,计算机设备可以以上述第一阈值为界限,直接划分包含阳性细胞的第一图像区域和包含阴性细胞的第二图像区域。也就是说,计算机设备可以将上述指定通道图像中,像素值高于第一阈值的像素所在的区域划分为第一图像区域,并将像素值不高于第一阈值的像素所在的区域划分为第二图像区域。

在另一种可能的实现方式中,计算机设备也可以将该指定通道图像中,像素值高于该第一阈值的图像区域获取为第一基准图像区域;然后按照第一膨胀距离对该第一基准图像区域进行区域膨胀,获得该第一图像区域;进一步的,计算机设备还可以将该指定通道图像中除了该第一图像区域之外的图像区域获取为该第二图像区域。

也就是说,为了提高阳性细胞的识别效果,避免区域划分边缘上的阳性细胞被记为阴性细胞,在本申请实施例中,计算机设备在按照第一阈值进行区域划分时,在确定出像素值高于该第一阈值的第一基准区域之后,还可以在该第一基准区域的基础上进行膨胀处理,得到第一图像区域和第二图像区域,从而使得更多像素值处于第一阈值附近的细胞能够给记为阳性细胞,提高图像区域划分的准确性。

步骤405,基于该第二阈值对该第一图像区域进行划分,获得第三图像区域。

其中,该第三图像区域是强阳性细胞所在的图像区域。

可选的,根据该第二阈值进行划分时,计算机设备还可以获得第四图像区域;该第四图像区域是弱阳性细胞所在的图像区域。

在一种可能的实现方式中,计算机设备可以以上述第二阈值为界限,直接划分包含强阳性细胞的第三图像区域,进一步还可以得到包含弱阳性细胞的第四图像区域。也就是说,计算机设备可以将上述第一图像区域中,像素值高于第二阈值的像素所在的区域划分为第三图像区域,进一步还可以将像素值不高于第二阈值的像素所在的区域划分为第四图像区域。

在另一种可能的实现方式中,计算机设备也可以将该第一区域图像中,像素值高于该第二阈值的图像区域获取为第二基准图像区域;按照第二膨胀距离对该第二基准图像区域进行区域膨胀,获得该第三图像区域;将该第一区域图像中除了该第三图像区域之外的图像区域获取为该第四图像区域。

类似的,为了提高强阳性细胞的识别效果,避免区域划分边缘上的强阳性细胞被记为弱阳性细胞,在本申请实施例中,计算机设备在按照第二阈值进行区域划分时,在确定出像素值高于该第二阈值的第二基准区域之后,还可以在该第二基准区域的基础上进行膨胀处理,得到第三图像区域和第四图像区域,从而使得更多像素值处于第二阈值附近的细胞能够给记为强阳性细胞,提高图像区域划分的准确性。

其中,上述第一阈值和第二阈值可以是开发人员按照先验知识设置的阈值。或者,第一阈值也可以是医护人员根据实际情况设置或调整的阈值。

可选的,在基于该像素值阈值对该指定通道图像进行区域划分,获得该至少两个图像区域之前,计算机设备还可以响应于用户执行的阈值设置操作,获取该阈值设置操作对应的该第一阈值;然后基于指定系数以及该第一阈值确定该第二阈值;其中,该第一阈值、该第二阈值以及该指定通道图像中的各个像素值为负值,该指定系数小于1且大于0。

在本申请实施例中,当第一阈值和第二阈值可以由人工进行调整时,第一阈值和第二阈值之间可以满足指定系数关系。由于上述二氨基联苯胺通道图像的像素值为负数,因此,当第二阈值大于第一阈值时,该指定系数需要时一个大于0且小于1的系数。

在本申请实施例中,上述第一阈值可以由医护人员在使用显微镜的过程中进行调节,比如,医护人员在查看显微镜图像时,如果发现阈值设置不合理,可以调节第一阈值的大小,同时,计算机设备根据调节后的第一阈值,设置对应指定系数的第二阈值。

可选的,上述第一阈值和第二阈值也可以不固定为上述指定系数关系,而是可以由医护人员分别进行调节。

步骤406,对细胞核坐标集合与第三区域坐标集合取交集,获得包含强阳性细胞的细胞核坐标的第一集合;将该第一集合中的坐标数量获取为该各个细胞中,强阳性细胞的数量。

其中,该细胞核坐标集合包含该各个细胞的细胞核坐标,该第三区域坐标集合包含该第三图像区域中的各个坐标。

在本申请实施例中,由于细胞核坐标集合中包含各个细胞的细胞核的坐标,而第三区域坐标集合中包含强阳性细胞所在的第三图像区域的各个坐标,因此,细胞核坐标集合与第三区域坐标集合的交集(即第一集合),就是第三图像区域中的细胞核的坐标组成的集合,相应的,第一集合中的坐标数量就是第三图像区域中的细胞核的数量,也就是强阳性细胞的数量。

步骤407,对该细胞核坐标集合、第一区域坐标集合以及第三区域补集坐标集合取交集,获取包含弱阳性细胞的细胞核坐标的第二集合;将该第二集合中的坐标数量获取为该各个细胞中,弱阳性细胞的数量。

其中,该第三区域补集坐标集合包含该第三图像区域相对于该指定通道图像的补集区域中的各个坐标,该第一区域坐标集合包含该第一图像区域中的各个坐标。

在本申请实施例中,由于第一区域坐标集合中包含第一图像区域中的各个坐标,而第三区域补集坐标集合中包含指定通道图像中,除了第三图像区域之外的其它图像区域的各个坐标,因此,第一区域坐标集合与第三区域补集坐标集合的交集就是弱阳性细胞所在的区域(即第四图像区域)的各个坐标,该交集再与细胞核坐标集合取交集(即第二集合),就是第四图像区域中的细胞核的坐标组成的集合,相应的,第二集合中的坐标数量就是第四图像区域中的细胞核的数量,也就是弱阳性细胞的数量。

在另一种可能的实现方式中,当前置步骤已经获取了第四图像区域时,计算机设备也可以直接将细胞核坐标集合与第四图像区域中的各个坐标取交集,从而得到上述第二集合。

步骤408,对该细胞核坐标集合与第一区域补集坐标集合取交集,获取包含阴性细胞的细胞核坐标的第三集合;将该第三集合中的坐标数量获取为该各个细胞中,阴性细胞的数量。

其中,该第一区域补集坐标集合包含该第一图像区域相对于该指定通道图像的补集区域中的各个坐标。

在本申请实施例中,由于第一区域补集坐标集合中包含所有弱阳性和强阳性之外的细胞所在的区域(即上述第二区域图像)的各个坐标,因此,细胞核坐标集合与第一区域补集坐标集合的交集(即第三集合),就是第二图像区域中的细胞核的坐标组成的集合,相应的,第三集合中的坐标数量就是第二图像区域中的细胞核的数量,也就是阴性细胞的数量。

在另一种可能的实现方式中,当前置步骤已经获取了第二图像区域时,计算机设备也可以直接将细胞核坐标集合与第二图像区域中的各个坐标取交集,从而得到上述第三集合。

步骤409,根据该强阳性细胞的数量、该弱阳性细胞的数量以及该阴性细胞的数量获取该细胞分析结果。

在本申请实施例中,计算机设备可以根据强阳性细胞的数量、该弱阳性细胞的数量以及该阴性细胞的数量,获取强阳性细胞、弱阳性细胞以及阴性细胞的各自的百分比。

其中,每种细胞的百分比可以是对应的细胞数量除以三种细胞的总数量。比如,假设强阳性细胞的数量为a,弱阳性细胞的数量为b,阴性细胞的数量为c,则强阳性细胞的百分比为a/(a b c),相应的,弱阳性细胞的百分比为b/(a b c),阴性细胞的百分比为c/(a b c)。

可选的,计算机设备可以将强阳性细胞的数量、该弱阳性细胞的数量以及该阴性细胞的数量,以及,强阳性细胞的百分比、该弱阳性细胞的百分比以及该阴性细胞的百分比,作为上述细胞分析结果。

步骤410,展示该细胞分析结果。

在一种可能的实现方式中,计算机设备可以在显示屏幕中,对应该彩色显微图像展示该细胞分析结果。

例如,在本申请实施例中,计算机设备可以在显示屏幕中展示彩色显微图像;响应于对该彩色显微图像的细胞分析指令,在彩色显微图像上叠加显示细胞分析结果,该细胞分析结果指示各个细胞中,分属于三种细胞属性的细胞的数量、百分比以及坐标位置;该三种细胞属性包括阴性、弱阳性和强阳性。

比如,当医护人员通过显示屏幕观察彩色显微图像时,可以执行触发细胞分析的操作,以触发细胞分析指令,此时,计算机设备获取该彩色显微图像,并分析彩色显微图像中的强阳性、弱阳性以及阴性细胞的数量和百分比之后,将强阳性、弱阳性以及阴性细胞的数量和百分比信息叠加显示在显示屏幕中的彩色显微图像上层,进一步的,计算机设备还可以对不同类型细胞的细胞核所在的位置进行不同颜色的着色,从而更加直观的展示各种类型的细胞核的数量及分布状况,以协助医护人员做出诊疗判断。

例如,请参考图5,其示出了本申请实施例涉及的一种彩色显微图像的细胞分析结果展示示意图。其中,图5示出了在显微镜40倍镜下,单个视野的染色图片分析结果。其中,第一阈值为-0.35,指定系数为0.9,第一膨胀距离和第二膨胀距离均为45。在图5中,叠加显示的细胞分析结果信息51包括各个类型的细胞数量和百分比。此外,在图5中,通过叠加不同的颜色标记,来标记不同类型的细胞核,比如,红色表示强阳性细胞的细胞核,绿色表示弱阳性细胞的细胞核,蓝色表示阴性细胞的细胞核。图5所示的细胞分析结果可以实时统计并展示,医护人员可以采集多个视野,并且在每个视野采集过程中便可得到对应的分析结果。

在一种可能的实现方式中,计算机设备也可以直接将该细胞分析结果叠加显示在该显微镜视野中。

比如,当医护人员通过智能显微镜的目镜来观察显微镜视野下的细胞样本群时,可以执行触发细胞分析的操作,以触发计算机设备采集彩色显微图像,并分析彩色显微图像中的强阳性、弱阳性以及阴性细胞的数量和百分比之后,将强阳性、弱阳性以及阴性细胞的数量和百分比信息显示在显微镜的目镜中。

请参考图6,其示出了本申请实施例涉及的细胞分析及展示流程示意图。如图6所示,本申请实施例提供的方案的步骤可以如下:

s61,获取显微镜视野下的彩色显微图像。

其中,医护人员可以通过ihc对细胞样本群中的所有细胞核以及阳性细胞的细胞质进行显色标记后,将样本切片放置在显微镜的物镜台上,并选择合适的倍镜观察该样本切片。

当医护人员需要在某一视野下进行细胞分析时,可以执行细胞分析触发操作,以触发图像采集组件采集显微镜视野下的彩色显微图像,并将彩色显微图像发送给计算机设备,相应的,计算机设备接收该彩色显微图像。

s62,计算机设备通过机器学习模型对彩色显微图像进行识别,获得各个细胞的细胞核坐标组成的细胞核坐标集合ddetect。

s63,计算机设备对彩色显微图像进行通道分解和重组,得到二氨基联苯胺通道图像idab。

s64,计算机设备通过第一阈值和第二阈值对二氨基联苯胺通道图像idab进行切分,得到阳性区域坐标集合和强阳性区域坐标集合。该过程可以包括如下几个步骤:

a)采用阈值t0(对应上述第一阈值)对图像idab进行阈值分割,得到棕色染色的弱染色分割图像mlight(该分割图包含比弱染色更强的强染色区域)。

b)采用阈值t1(对应上述第二阈值,t1=a*t0,由于idab中像素值为负数,所以a为小于1且大于0的系数)对图像mlight进行阈值分割,得到棕色染色的强染色分割图像mheavy。

c)对mlight进行区域膨胀(图像形态学操作,膨胀距离为d)得到图像区域elight,定义区域elight里的所有前景像素坐标集合为plight。对mheavy进行区域膨胀(图像形态学操作,膨胀距离为d)得到图像区域eheavy,定义区域eheavy里的所有前景像素坐标集合为pheavy。其中,plight即为上述阳性区域坐标集合,pheavy即为上述强阳性区域坐标集合。

s65,计算机设备结合细胞核坐标集合,阳性区域坐标集合和强阳性区域坐标集合,统计强阳性、弱阳性和阴性细胞数量。

本申请实施例中对细胞进行分类,需要对细胞染色情况(是否细胞质被染弱棕色,是否细胞质被染弱棕色,是否无细胞质棕色着色)进行量化判断。本申请可以通过两个区域分割的前景坐标集合(plight和pheavy)对细胞类型进行划分。

划分方式如下:

强阳性细胞:完整强染色细胞核坐标集合为ddetect∩pheavy。

弱阳性细胞:不完整强染色细胞核坐标集合为ddetect∩cupheavy∩plight,这里cupheavy为pheavy相对于全图u的补集。

阴性细胞(无染色):无染色细胞核坐标集合为ddetect∩cuplight。

在定量统计时,计算机设备统计每种类型细胞数目。强阳性细胞数目为card(ddetect∩pheavy),弱阳性细胞数目为card(ddetect∩cupheavy∩plight),阴性细胞数目为card(ddetect∩cuplight)。

s66,计算机设备得到上述三种细胞类别的数目,可以分别计算各种类别细胞数目占全部细胞数目的百分比,并得到细胞分析结果。

s67,计算机设备在显示屏幕中,对应彩色显微图像展示细胞分析结果;或者,将细胞分析结果推送至显微镜的目镜中进行展示。

通过本申请实施例所示的方案,按照对应病种和具体染色的指南,即可完成该视野下对应病种和染色的阴阳性判定。并且,本方案加入阴阳性定义切片全片,可以由医生完成多个视野选取,并综合统计多个视野下各种细胞数目和占比进行阴阳性判定。

此外,本申请所示的方案还可以避免深度学习方法的黑盒子直接对视野图像进行阴阳性判读,而是通过对细胞核进行检测并分类,从而可以依照指南的判定准则进行切片阴阳性判定或者分级。

例如,如果通过机器学习模型直接对彩色显微图像进行识别输出各种属性的细胞的数量、百分比和坐标位置,则需要大量的经过标注的样本图像进行训练,且训练的准确性得不到保证,严重影响细胞分析的准确性和效率。而本申请实施例所示的方案,只需要训练出识别细胞核位置的模型来确定彩色显微图像中的细胞核坐标,甚至不需要机器学习模型即可以得到细胞和坐标,进一步通过像素阈值判断和集合处理的方式即可以准确的实现细胞分析,能够提高细胞分析的效率和准确性。

综上所述,在本申请实施例所示的方案中,通过获取对细胞核以及阳性细胞的细胞质分别进行显示标记的彩色显微图像,识别彩色显微图像中的细胞核获得各个细胞的细胞核坐标,并基于像素值阈值对彩色显微图像进行区域划分,获得各种细胞属性分别对应的至少两个图像区域,再结合各个细胞的细胞核坐标,以及至少两个图像区域,获取指示各个细胞中各种细胞属性的细胞的百分比,不需要通过人工进行分类统计,极大的缩短了各属性细胞百分比的统计时间,提高了在基于免疫组织化学的病理诊断中,对阳性/阴性细胞的统计效率。

本申请实施例所示的方案,可以在人工智能ai技术的基础上,结合区域划分以及坐标集合运算方法,来提高免疫组织化学中对阳性/阴性细胞的统计效率,比如,首先通过人工智能ai识别细胞核坐标以及阴/阳性细胞质的坐标区域,通过集合运算来快速统计阴阳性细胞的细胞核数量和百分比,从而极大的缩短了阴阳性细胞的统计时间。

在本申请的一个示例性的实施例中,还提供一种基于显微图像的细胞分析系统,该系统包括显微镜以及图像处理设备。

其中,该图像处理设备可以用于执行如上述图2或图4所示的基于显微图像的细胞分析方法中的全部或者部分步骤。

在一种可能的显示方式中,上述显微镜可以是在传统的光学显微镜上整合了计算处理、网络通信、图像采集以及图形显示等功能的智能显微镜。例如,该显微镜可以是图1所示系统中的显微镜120,图像处理设备可以是如图1所示系统中的终端140或者服务器160。

在一种示例性的方案中,图像处理设备可以对外提供软件接口,上述显微镜与图像处理设备之间通过软件接口进行数据交互,即图像处理设备通过软件接口的形式对显微镜提供服务。

比如,上述显微镜可以通过上述软件接口向图像处理设备发送彩色显微图像,相应的,图像处理设备通过该软件接口接收显微镜发送的彩色显微图像;该图像处理设备识别该彩色显微图像中的阳性细胞和阴性细胞之后,通过软件接口向该显微镜返回细胞分析结果。相应的,显微镜通过该软件接口接收上述处理结果之后,即可以在显微镜的目镜中展示该细胞分析结果。

其中,上述细胞分析的获得过程可以参考图4所示实施例中的相关描述,此处不再赘述。

例如,以识别癌症阳性细胞为例,医生将细胞样本置于显微镜的物镜上,并选择某一倍镜(比如10倍镜、20倍镜、40倍镜等等)观察切片视野,此时,显微镜通过目镜内的图像采集组件采集显微镜视野下的彩色显微图像,并将彩色显微图像通过软件接口传输给服务器(即上述图像处理设备),服务器通过上述各个方法实施例所示的方案进行细胞分析,获得细胞分析结果后,将细胞分析结果返回给显微镜,显微镜即可以在目镜中展示叠加有细胞分析结果的图像。由于本申请中的细胞分析算法不需要人工进行统计分析,可以显著的缩短细胞分析的耗时,并且将识别的结果直接显示在显微镜的目镜中,医生可以在通过显微镜观察细胞样本时,在极短的延时(可以缩短至1s以内)内即可以观察到强阳性、弱阳性以及阴性细胞的分析统计结果,医生可以对细胞样本以及细胞分析结果进行同步查看,从而实现“所见即所得”的效果,能够极大的提高医生的诊断效率。

图7是根据一示例性实施例示出的一种基于显微图像的细胞分析装置的结构方框图。该基于显微图像的细胞分析装置可以由计算机设备(比如图1所示的终端和/或服务器)执行,以执行图2或图4对应实施例所示的方法的全部或部分步骤。该基于显微图像的细胞分析装置可以包括:

图像获取模块701,用于获取彩色显微图像;所述彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及所述各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;

细胞核识别模块702,用于识别所述彩色显微图像中的细胞核,获得所述各个细胞的细胞核坐标;

区域划分模块703,用于基于像素值阈值对所述彩色显微图像进行区域划分,获得至少两个图像区域;所述至少两个图像区域中的每个图像区域是一种细胞属性对应的细胞所在的区域;

分析结果获取模块704,用于结合所述各个细胞的细胞核坐标,以及所述至少两个图像区域获取细胞分析结果,所述细胞分析结果指示所述各个细胞中,分属于所述至少两个图像区域各自对应细胞属性的细胞的百分比。

可选的,所述区域划分模块703,包括:

通道分解单元,用于对所述彩色显微图像进行通道分解,获得指定通道图像;

区域划分单元,用于基于所述像素值阈值对所述指定通道图像进行区域划分,获得所述至少两个图像区域。

可选的,所述指定通道图像是二氨基联苯胺通道图像。

可选的,所述细胞属性包括阴性、弱阳性和强阳性;所述像素值阈值包括第一阈值和第二阈值,所述第一阈值小于所述第二阈值;

所述区域划分单元,包括:

第一划分子单元,用于基于所述第一阈值对所述指定通道图像进行区域划分,获得第一图像区域,所述第一图像区域是弱阳性细胞和强阳性细胞所在的图像区域;

第二划分子单元,用于基于所述第二阈值对所述第一图像区域进行划分,获得第三图像区域;所述第三图像区域是强阳性细胞所在的图像区域。

可选的,所述第一划分子单元,用于,

将所述指定通道图像中,像素值高于所述第一阈值的图像区域获取为第一基准图像区域;

按照第一膨胀距离对所述第一基准图像区域进行区域膨胀,获得所述第一图像区域。

可选的,所述第二划分子单元,用于,

将所述第一区域图像中,像素值高于所述第二阈值的图像区域获取为第二基准图像区域;

按照第二膨胀距离对所述第二基准图像区域进行区域膨胀,获得所述第三图像区域。

可选的,所述分析结果获取模块704,包括:

强阳性细胞数量获取单元,用于对细胞核坐标集合与第三区域坐标集合取交集,获得包含强阳性细胞的细胞核坐标的第一集合;将所述第一集合中的坐标数量获取为所述各个细胞中,强阳性细胞的数量;

弱阳性细胞数量获取单元,用于对所述细胞核坐标集合、第一区域坐标集合以及第三区域补集坐标集合取交集,获取包含弱阳性细胞的细胞核坐标的第二集合;将所述第二集合中的坐标数量获取为所述各个细胞中,弱阳性细胞的数量;

阴性细胞数量获取单元,用于对所述细胞核坐标集合与第一区域补集坐标集合取交集,获取包含阴性细胞的细胞核坐标的第三集合;将所述第三集合中的坐标数量获取为所述各个细胞中,阴性细胞的数量;

结果获取单元,用于根据所述强阳性细胞的数量、所述弱阳性细胞的数量以及所述阴性细胞的数量获取所述细胞分析结果;

其中,所述细胞核坐标集合包含所述各个细胞的细胞核坐标,所述第三区域坐标集合包含所述第三图像区域中的各个坐标,所述第三区域补集坐标集合包含所述第三图像区域相对于所述指定通道图像的补集区域中的各个坐标,所述第一区域坐标集合包含所述第一图像区域中的各个坐标,所述第一区域补集坐标集合包含所述第一图像区域相对于所述指定通道图像的补集区域中的各个坐标。

可选的,所述装置还包括:

第一阈值获取模块,用于在所述区域划分模块703基于所述像素值阈值对所述指定通道图像进行区域划分,获得所述至少两个图像区域之前,响应于用户执行的阈值设置操作,获取所述阈值设置操作对应的所述第一阈值;

第二阈值确定模块,用于基于指定系数以及所述第一阈值确定所述第二阈值;

其中,所述第一阈值、所述第二阈值以及所述指定通道图像中的各个像素值为负值,所述指定系数小于1且大于0。

可选的,所述装置还包括:

分析结果展示模块,用于在显示屏幕中,对应所述彩色显微图像展示所述细胞分析结果;

分析结果显示模块,用于将所述细胞分析结果叠加显示在显微镜视野中。

综上所述,在本申请实施例所示的方案中,通过获取对细胞核以及阳性细胞的细胞质分别进行显示标记的彩色显微图像,识别彩色显微图像中的细胞核获得各个细胞的细胞核坐标,并基于像素值阈值对彩色显微图像进行区域划分,获得各种细胞属性分别对应的至少两个图像区域,再结合各个细胞的细胞核坐标,以及至少两个图像区域,获取指示各个细胞中各种细胞属性的细胞的百分比,不需要通过人工进行分类统计,极大的缩短了各属性细胞百分比的统计时间,提高了在基于免疫组织化学的病理诊断中,对阳性/阴性细胞的统计效率。

图8是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备可以实现为终端或者服务器,比如,该终端可以是图1所示系统中的终端140,该服务器可以是图1所示系统中的服务器160。

所述计算机设备800包括中央处理单元(cpu)801、包括随机存取存储器(ram)802和只读存储器(rom)803的系统存储器804,以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(i/o系统)806,和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说,所述大容量存储设备807可以包括诸如硬盘或者cd-rom驱动器之类的计算机可读介质(未示出)。

不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom、eeprom、闪存或其他固态存储其技术,cd-rom、dvd或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

计算机设备800可以通过连接在所述系统总线805上的网络接口单元811连接到互联网或者其它网络设备。

所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器801通过执行该一个或一个以上程序来实现图2或图4所示的方法中的全部或者部分步骤。

本申请实施例还提供一种计算机设备,该计算机设备包括存储器和处理器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并实现上述如图2或图4所述的方法中的全部或者部分步骤。

本申请实施例还提供一种计算机可读存储介质,该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图2或图4所述的方法中的全部或者部分步骤。

本申请还提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述图2或图4所述的方法中的全部或者部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图2或图4所述的方法中的全部或者部分步骤。

可选地,该计算机可读存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、固态硬盘(ssd,solidstatedrives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(reram,resistancerandomaccessmemory)和动态随机存取存储器(dram,dynamicrandomaccessmemory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。


技术特征:

1.一种基于显微图像的细胞分析方法,其特征在于,所述方法由计算机设备执行,所述方法包括:

获取彩色显微图像;所述彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及所述各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;

识别所述彩色显微图像中的细胞核,获得所述各个细胞的细胞核坐标;

基于像素值阈值对所述彩色显微图像进行区域划分,获得至少两个图像区域;所述至少两个图像区域中的每个图像区域是一种细胞属性对应的细胞所在的区域;

结合所述各个细胞的细胞核坐标,以及所述至少两个图像区域获取细胞分析结果,所述细胞分析结果指示所述各个细胞中,分属于所述至少两个图像区域各自对应细胞属性的细胞的百分比。

2.根据权利要求1所述的方法,其特征在于,所述基于像素值阈值对所述彩色显微图像进行区域划分,获得至少两个图像区域,包括:

对所述彩色显微图像进行通道分解,获得指定通道图像;

基于所述像素值阈值对所述指定通道图像进行区域划分,获得所述至少两个图像区域。

3.根据权利要求2所述的方法,其特征在于,所述指定通道图像是二氨基联苯胺通道图像。

4.根据权利要求2所述的方法,其特征在于,所述细胞属性包括阴性、弱阳性和强阳性;所述像素值阈值包括第一阈值和第二阈值,所述第一阈值小于所述第二阈值;

所述基于所述像素值阈值对所述指定通道图像进行区域划分,获得所述至少两个图像区域,包括:

基于所述第一阈值对所述指定通道图像进行区域划分,获得第一图像区域,所述第一图像区域是弱阳性细胞和强阳性细胞所在的图像区域;

基于所述第二阈值对所述第一图像区域进行划分,获得第三图像区域;所述第三图像区域是强阳性细胞所在的图像区域。

5.根据权利要求4所述的方法,其特征在于,所述基于所述第一阈值对所述指定通道图像进行区域划分,获得第一图像区域和第二图像区域,包括:

将所述指定通道图像中,像素值高于所述第一阈值的图像区域获取为第一基准图像区域;

按照第一膨胀距离对所述第一基准图像区域进行区域膨胀,获得所述第一图像区域。

6.根据权利要求4所述的方法,其特征在于,所述基于所述第二阈值对所述第一图像区域进行划分,获得第三图像区域,包括:

将所述第一区域图像中,像素值高于所述第二阈值的图像区域获取为第二基准图像区域;

按照第二膨胀距离对所述第二基准图像区域进行区域膨胀,获得所述第三图像区域。

7.根据权利要求4所述的方法,其特征在于,所述结合所述各个细胞的细胞核坐标,以及所述至少两个图像区域获取细胞分析结果,包括:

对细胞核坐标集合与第三区域坐标集合取交集,获得包含强阳性细胞的细胞核坐标的第一集合;将所述第一集合中的坐标数量获取为所述各个细胞中,强阳性细胞的数量;

对所述细胞核坐标集合、第一区域坐标集合以及第三区域补集坐标集合取交集,获取包含弱阳性细胞的细胞核坐标的第二集合;将所述第二集合中的坐标数量获取为所述各个细胞中,弱阳性细胞的数量;

对所述细胞核坐标集合与第一区域补集坐标集合取交集,获取包含阴性细胞的细胞核坐标的第三集合;将所述第三集合中的坐标数量获取为所述各个细胞中,阴性细胞的数量;

根据所述强阳性细胞的数量、所述弱阳性细胞的数量以及所述阴性细胞的数量获取所述细胞分析结果;

其中,所述细胞核坐标集合包含所述各个细胞的细胞核坐标,所述第三区域坐标集合包含所述第三图像区域中的各个坐标,所述第三区域补集坐标集合包含所述第三图像区域相对于所述指定通道图像的补集区域中的各个坐标,所述第一区域坐标集合包含所述第一图像区域中的各个坐标,所述第一区域补集坐标集合包含所述第一图像区域相对于所述指定通道图像的补集区域中的各个坐标。

8.根据权利要求4所述的方法,其特征在于,所述基于所述像素值阈值对所述指定通道图像进行区域划分,获得所述至少两个图像区域之前,还包括:

响应于用户执行的阈值设置操作,获取所述阈值设置操作对应的所述第一阈值;

基于指定系数以及所述第一阈值确定所述第二阈值;

其中,所述第一阈值、所述第二阈值以及所述指定通道图像中的各个像素值为负值,所述指定系数小于1且大于0。

9.根据权利要求1所述的方法,其特征在于,所述方法还包括:

在显示屏幕中,对应所述彩色显微图像展示所述细胞分析结果;

或者,

将所述细胞分析结果叠加显示在所述显微镜视野中。

10.一种基于显微图像的细胞分析结果展示方法,其特征在于,所述方法包括:

在显示屏幕中展示彩色显微图像,所述彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及所述各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;

响应于对所述彩色显微图像的细胞分析指令,在所述彩色显微图像上叠加显示细胞分析结果,所述细胞分析结果指示所述各个细胞中,分属于三种细胞属性的细胞的数量、百分比以及坐标位置;所述三种细胞属性包括阴性、弱阳性和强阳性。

11.一种基于显微图像的细胞分析装置,其特征在于,所述装置用于计算机设备中,所述装置包括:

图像获取模块,用于获取彩色显微图像;所述彩色显微图像是对细胞样本群中的各个细胞的细胞核,以及所述各个细胞中的阳性细胞的细胞质分别进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;

细胞核识别模块,用于识别所述彩色显微图像中的细胞核,获得所述各个细胞的细胞核坐标;

区域划分模块,用于基于像素值阈值对所述彩色显微图像进行区域划分,获得至少两个图像区域;所述至少两个图像区域中的每个图像区域是一种细胞属性对应的细胞所在的区域;

分析结果获取模块,用于结合所述各个细胞的细胞核坐标,以及所述至少两个图像区域获取细胞分析结果,所述细胞分析结果指示所述各个细胞中,分属于所述至少两个图像区域各自对应细胞属性的细胞的百分比。

12.一种计算机设备,其特征在于,计算机设备包含处理器和存储器,所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的基于显微图像的细胞分析方法。

13.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的基于显微图像的细胞分析方法。

14.一种基于显微图像的细胞分析系统,其特征在于,所述系统包括:显微镜以及图像处理设备;

所述图像处理设备,用于执行如权利要求1至9任一所述的基于显微图像的细胞分析方法。

15.根据权利要求14所述的系统,其特征在于,所述图像处理设备对外提供软件接口;

所述显微镜,用于通过所述软件接口向所述图像处理设备发送彩色显微图像;

所述图像处理设备,用于通过所述软件接口向所述显微镜返回细胞分析结果;

所述显微镜,用于在所述显微镜的目镜中展示所述细胞分析结果。

技术总结
本申请是关于一种基于显微图像的细胞分析方法、装置、设备及存储介质,涉及图像处理技术领域。该方法包括:获取对细胞核以及阳性细胞的细胞质分别进行显示标记的彩色显微图像,识别彩色显微图像中的细胞核获得各个细胞的细胞核坐标,并基于像素值阈值对彩色显微图像进行区域划分,获得各种细胞属性分别对应的至少两个图像区域,再结合各个细胞的细胞核坐标,以及至少两个图像区域,获取指示各个细胞中各种细胞属性的细胞的百分比,本方案通过人工智能AI自动统计细胞百分比,不需要通过人工进行分类统计,极大的缩短了各属性细胞百分比的统计时间,提高了在基于免疫组织化学的病理诊断中,对阳性/阴性细胞的统计效率。

技术研发人员:张军;田宽;颜克洲;姚建华;韩骁
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2020.02.20
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-10069.html

最新回复(0)