本发明属于数字图像处理技术领域，更具体的说是涉及一种基于深度哈希的病理全切片检索算法。
背景技术：
数字病理图像分析是当前癌症诊断中重要的辅助诊断方法，数字病理图像是指经过染色处理的病理切片在显微镜下成像后得到的数字图像。基于内容的图像检索可以在数据库中查找与目标患者相似的病理图像及其病例，为医生诊断提供丰富的辅助信息，近年来关于病理图像的检索成为研究领域的热点。在之前的研究中传统的检索方法主要是针对小规模的数据集，提取出图像的特征描述子，例如sift、hog、gist特征等等，再采用语义分析模型对特征进行分析处理，但是这种方法只能适应于特定的图像，鲁棒性较差，并且在处理速度上也达不到要求。近年来随着卷积神经网络(cnn)和哈希方法在病理图像检索上的应用，使得检索方法在鲁棒性和处理速度上有了比较大的提升。具体地，在训练阶段通过cnn对大规模病理全切片数据集进行训练，把分割之后的图像块映射到二值特征空间，进而得到训练集的哈希表，在测试阶段，通过训练完成的cnn结构得到测试图像相应的二值编码特征，最后通过比较此编码与训练集编码的汉明距离得到检索结果。
现有技术以pdrh算法为代表，其流程图如图1所示。pdrh算法设计了一个15层的卷积神经网络，对所有训练集中的图像进行训练，该网络采用了针对图像检索的复数级(pairwiselevel)损失函数，输入图像经过一系列卷积层后，在输出层被压缩为32位的列向量，此损失函数使得带有同一标签的图像在输出层的特征空间内尽量靠近，并且使得该编码的每一位的绝对值接近1，然后通过一个符号函数把32位特征转换为相应的二值编码，以此得到训练集的二值编码列表。在测试时通过训练好的cnn输出测试图像的二值编码，在哈希表上返回与测试图像编码汉明距离最近的编码，并依次返回相应的图像。
现有技术pdrh算法基于图像块层面的检索，对于图像块的切片信息采取忽视的策略，在放回结果中可能出现大量的来自同一切片和同一区域的冗余结果(如图3(a))；虽然pdrh算法可以取得良好的检索精度，但是提供的诊断信息是很有限的，不能够充分的利用已有的诊断信息数据。
因此，如何提供一种基于深度哈希的病理全切片检索算法是本领域技术人员亟需解决的问题。
技术实现要素：
有鉴于此，本发明提供了一种基于深度哈希的病理全切片检索算法，利用图像块的切片标签信息，在损失函数中加入了一个切片级抑制项，使得来自相同切片的图像在特征空间中具有更大的区分度。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度哈希的病理全切片检索算法，包括：
(1)哈希数据库的建立：
输入查询图像，得到带标签的图像块，将带标签的图像块输入至卷积神经网络中，通过切片级损失函数对cnn网络框架进行训练，将所有的训练图像转化为相应的二值编码，得到哈希数据库；
(2)检索结果的确定：
利用cnn网络框架提取测试图像的二值编码，通过哈希数据库检索得到与测试图像二值编码相近的编码，进而返回对应的图像，采用非极大值抑制的方法对返回的图像进行融合，得出检索结果。
具体的，查询图像采用224×224像素的图像。
具体的，采用densenet-121的网络结构作为cnn网络网架，包含121个卷积层，由4个denseblock构成，将224×224像素的训练图像{i1，i2，…，in}映射到d维特征空间，之后用符号函数把特征转化为二值编码：
其中，in指的是其中某一个图像，bn是d维的二值编码，fcnn表示cnn框架的特征提取函数，sgn(·)表示符号函数，当t＞0时，sgn(t)＝1，其他情况sgn(t)＝-1。
切片级损失函数得出的方法为：
对于一个图像对i1，i2，基本损失函数如下：
l(c1，c2，x)＝(1-x)max(m-||c1-c2||2，|0) x||c1-c2||2 β(|||c1|-1|| |||c2|-1||)；
其中当i1，i2具有相同的标签时x＝1，具有不同的标签时x＝0，m，β是超参数，c1，c2是对应的cnn特征，用来控制特征编码的绝对值接近1；为了加强检索结果的切片信息丰富度，加入一个切片信息约束项：
ls(c1，c2，y)＝ρ(y||c1-c2|| (1-y)max(m2-||c1-c2||，0))
其中，m2，ρ是超参数，y是图像对的切片标签，当图像对来自同一切片时y＝0，来自不同切片时y＝1；在训练过程中对于n个图像对，他的损失函数可以表示为：
其中ci，1，ci，2为第i对图像块的特征。
采用如下评价指标来表征检索结果的切片信息丰富度：
其中，ni(k)表示第i张切片中包含的前k张返回图像块的数量；nj(k)表示第j张切片中包含的前k张返回图像块的数量，m为切片总数。
本发明的有益效果在于：
本发明针对现有技术pdrh算法的以上缺陷进行改进，在返回信息的丰富度上有了较大的提升。本发明首先利用图像块的切片标签信息，在损失函数中加入了一个切片级抑制项，使得来自相同切片的图像在特征空间中具有更大的区分度；并且提出了一种新的基于非极大值抑制的检索策略，在规定的汉明距离内对来自同一张切片的检索结果，进行非极大值抑制处理，有效的去除同一个区域的冗余结果，从而增大了检索结果中的有效信息量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为现有技术pdrh算法流程图。
图2为本发明的算法流程图。
图3为现有方法检索效果与本发明检索效果的对比图。
图4为本发明与与其他现有方法检索结果的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅附图2，本发明提供了一种基于深度哈希的病理全切片检索算法，包括：
(1)哈希数据库的建立：
s1：输入查询图像，查询图像采用224×224像素的图像，得到训练集中与查询图像具有相似内容和特征的带标签的图像块。
s2：将带标签的图像块输入至卷积神经网络中，采用densenet-121的网络结构作为cnn网络网架，包含121个卷积层，由4个denseblock构成，将224×224像素的训练图像{i1，i2，…，in}映射到d维特征空间，之后用符号函数把特征转化为二值编码：
其中，in指的是其中某一个图像，bn是d维的二值编码，fcnn表示cnn框架的特征提取函数，sgn(·)表示符号函数，当t＞0时，sgn(t)＝1，其他情况sgn(t)＝-1。
s3：对于检索任务来说，网络的损失函数要求能够使得具有相同标签的图像在特征空间中具有相似的编码，而不同标签的图像具有差异较大的编码。因此对于一个图像对i1，i2，提出基本损失函数如下：
l(c1，c2，x)＝(1-x)max(m-||c1-c2||2，|0) x||c1-c2||2 β(|||c1|-1|| |||c2|-1||)；
其中当i1，i2具有相同的标签时x＝1，具有不同的标签时x＝0，m，β是超参数，c1，c2是对应的cnn特征，用来控制特征编码的绝对值接近1；为了加强检索结果的切片信息丰富度，加入一个切片信息约束项：
ls(c1，c2，y)＝ρ(y||c1-c2|| (1-y)max(m2-||c1-c2||，0))
其中，m2,ρ是超参数，y是图像对的切片标签，当图像对来自同一切片时y＝0，来自不同切片时y＝1；在训练过程中对于n个图像对，他的损失函数可以表示为：
其中ci,1，ci,2为第i对图像块的特征。
s4：通过切片级损失函数对cnn网络框架进行训练，将所有的训练图像转化为相应的二值编码，得到哈希数据库；
(2)检索结果的确定：
a1：在测试环节，利用cnn网络框架提取测试图像的二值编码，通过哈希数据库检索得到与测试图像二值编码相近的编码，进而返回对应的图像，为了去除检索结果中来自同一区域的冗余结果，采用非极大值抑制的方法对返回的图像进行融合，得出检索结果。
a2：采用如下评价指标来表征检索结果的切片信息丰富度：
其中，ni(k)表示第i张切片中包含的前k张返回图像块的数量；nj(k)表示第j张切片中包含的前k张返回图像块的数量，m为切片总数。
参考附图3，图3(a)为现有方法检索效果图，图3(b)为本发明检索效果图，图3(a)中检索结果集中于单张切片，并且包含来自同一区域的冗余结果，而目标效果如图3(b)所示，检索结果来自于不同切片，可以充分利用数据库中信息。
本发明针对现有技术pdrh算法的以上缺陷进行改进，在返回信息的丰富度上有了较大的提升。本发明首先利用图像块的切片标签信息，在损失函数中加入了一个切片级抑制项，使得来自相同切片的图像在特征空间中具有更大的区分度；并且提出了一种新的基于非极大值抑制的检索策略，在规定的汉明距离内对来自同一张切片的检索结果，进行非极大值抑制处理，有效的去除同一个区域的冗余结果，从而增大了检索结果中的有效信息量。
本专利提出了一种基于深度哈希的检索方法，能够有效利用大规模数据集中的数据信息，同时返回丰富的诊断信息；本方法设计了一种包含切片级约束的损失函数，可以有效提高返回结果在切片层面上的信息量；在检索策略方面，本方法提出了一种基于非极大值抑制的区域融合方法，可以有效去除返回结果中的冗余数据，从而增大检索结果中的有效信息量。相比于现有技术prdh算法，本专利的方法，在保证传统精度评价指标不降低的情况下，切片级的信息量得到了有效提升，详细结果见表1，本方法与三种当前表现优异的检索方法进行了比较，并且针对切片级损失函数和检索策略设计了消融实验，采用map和φs(k)作为评价指标，结果表明本专利方法可以明显提高检索结果的信息丰富度。图4展示了本专利算法的返回结果与现有方法的对比，不同的颜色的标签代表来自不同切片的返回结果，绿色的框代表与查询图像分类标签一致，红色表示分类标签不同。可以看到在返回结果中，本方法有效去除了冗余信息，增大了切片层面的信息量，同时也保证了检索结果有良好的正确率。
表1
本发明提出了一种基于深度哈希的检索方法，能够有效利用大规模数据集中的数据信息，同时返回丰富的诊断信息；还提出了一种基于非极大值抑制的区域融合方法，可以有效去除返回结果中的冗余数据，从而增大检索结果中的有效信息量；还设计了一种包含切片级约束的损失函数，可以有效提高返回结果在切片层面上的信息量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
1.一种基于深度哈希的病理全切片检索算法，其特征在于，包括：
(1)哈希数据库的建立：
输入查询图像，得到带标签的图像块，将带标签的图像块输入至卷积神经网络中，通过切片级损失函数对cnn网络框架进行训练，将所有的训练图像转化为相应的二值编码，得到哈希数据库；
(2)检索结果的确定：
利用cnn网络框架提取测试图像的二值编码，通过哈希数据库检索得到与测试图像二值编码相近的编码，进而返回对应的图像，采用非极大值抑制的方法对返回的图像进行融合，得出检索结果。
2.根据权利要求2所述的一种基于深度哈希的病理全切片检索算法，其特征在于，查询图像采用224×224像素的图像。
3.根据权利要求1所述的一种基于深度哈希的病理全切片检索算法，其特征在于，采用densenet-121的网络结构作为cnn网络网架，包含121个卷积层，由4个denseblock构成，将224×224像素的训练图像{i1,i2,…,in}映射到d维特征空间，之后用符号函数把特征转化为二值编码：
其中，in指的是其中某一个图像，bn是d维的二值编码，fcnn表示cnn框架的特征提取函数，sgn(·)表示符号函数，当t>0时，sgn(t)＝1，其他情况sgn(t)＝-1。
4.根据权利要求2所述的一种基于深度哈希的病理全切片检索算法，其特征在于，切片级损失函数得出的方法为：
对于一个图像对i1，i2，基本损失函数如下：
l(c1，c2，x)＝(1-x)max(m-||c1-c2||2，|0) x||c1-c2||2 β(|||c1|-1|| |||c2|-1||)；
其中当i1，i2具有相同的标签时x＝1，具有不同的标签时x＝0，m，β是超参数，c1，c2是对应的cnn特征，用来控制特征编码的绝对值接近1；为了加强检索结果的切片信息丰富度，加入一个切片信息约束项：
ls(c1，c2，y)＝ρ(y||c1-c2|| (1-y)max(m2-||c1-c2||，0))
其中，m2和ρ是超参数，y是图像对的切片标签，当图像对来自同一切片时y＝0，来自不同切片时y＝1；在训练过程中对于n个图像对，他的损失函数可以表示为：
其中ci，1，ci，2为第i对图像块的特征。
5.根据权利要求1所述的一种基于深度哈希的病理全切片检索算法，其特征在于，采用如下评价指标来表征检索结果的切片信息丰富度：
其中，ni(k)表示第i张切片中包含的前k张返回图像块的数量；nj(k)表示第j张切片中包含的前k张返回图像块的数量，m为切片总数。
技术总结