【技术领域】
本说明书涉及图像处理技术领域,尤其涉及一种图像特征提取模型的训练方法和图像检索方法。
背景技术:
车险理赔是汽车发生交通事故后,车主到保险公司理赔。保险公司的理赔工作人员根据本次交通事故中车辆所受的损伤,确定理赔额度。但是,为了避免车主对同一损伤重复申请理赔,保险公司的理赔工作人员需要对已经进行理赔的损伤进行记录。
相关技术中,将已经理赔过的车辆照片进行存储,作为该车辆的理赔记录。在车主对某个损伤申请理赔时,系统自动检索该车辆之前的照片,如果检索到的照片中都没有该损伤,则可以确定该损伤没有进行过理赔,以防车主重复申请理赔。
技术实现要素:
本说明书实施例旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本说明书实施例的第一个目的在于提出一种图像特征提取模型的训练方法,使得不同类型的图像对应的图像特征,存在较大区别,在进行图像检索时,使用该模型进行图像特征的提取,提升了图像检索的准确度。
本说明书实施例的第二个目的在于提出一种图像检索方法。
本说明书实施例的第三个目的在于提出一种图像特征提取模型的训练装置。
本说明书实施例的第四个目的在于提出一种图像检索装置。
本说明书实施例的第五个目的在于提出一种计算机设备。
本说明书实施例的第六个目的在于提出一种计算机设备。
本说明书实施例的第七个目的在于提出一种非临时性计算机可读存储介质。
本说明书实施例的第八个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本说明书第一方面的实施例提出了一种图像特征提取模型的训练方法,包括:获取样本图像,以及所述样本图像对应的类型;将所述样本图像输入图像特征提取模型,以生成所述样本图像对应的图像特征;其中,所述图像特征提取模型包括卷积神经网络;根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练;以及当相同类型的所述样本图像对应的图像特征,在所述特征空间中的位置重合,并且不同类型的所述样本图像对应的图像特征,在所述特征空间中均匀分布时,完成对所述图像特征提取模型的训练。
和现有技术相比,本说明书实施例实现了根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练,使得相同类型的图像对应的图像特征,在特征空间中的位置重合,并且不同类型的图像对应的图像特征,在特征空间中均匀分布,在进行图像检索时,使用该模型进行图像特征的提取,提升了图像检索的准确度。
另外,本说明书实施例的图像特征提取模型的训练方法,还具有如下附加的技术特征:
可选地,所述根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练,包括:调整所述卷积神经网络的参数,以减小相同类型的所述样本图像对应的图像特征在所述特征空间中的距离。
可选地,所述根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练,还包括:调整所述卷积神经网络的参数,以增大不同类型的所述样本图像对应的图像特征在所述特征空间中的距离。
可选地,所述根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练,还包括:调整所述卷积神经网络的参数,以使第一类型的所述样本图像对应的图像特征和第二类型的所述样本图像对应的图像特征在所述特征空间中的距离,与第一类型的所述样本图像对应的图像特征和第三类型的所述样本图像对应的图像特征在所述特征空间中的距离的差值小于或者等于预设阈值。
本说明书第二方面的实施例提出了一种图像检索方法,包括:获取待检索图像;将所述待检索图像输入如前述的训练方法训练后的图像特征提取模型,以生成所述待检索图像对应的图像特征;确定所述待检索图像对应的图像特征和图像库中图像对应的图像特征在特征空间中的距离;以及根据所述距离,确定所述图像库中与所述待检索图像类型相同的图像。
另外,本说明书实施例的图像检索方法,还具有如下附加的技术特征:
可选地,在所述根据所述距离,确定所述图像库中与所述待检索图像类型相同的图像之后,还包括:将所述图像库中与所述待检索图像类型相同的图像,设置在图像检索结果列表的顶端。
可选地,所述将所述图像库中与所述待检索图像类型相同的图像,设置在图像检索结果列表的顶端,包括:确定所述待检索图像对应的图像特征和所述图像库中每种类型的图像对应的图像特征在所述特征空间中的距离;按照所述距离从小到大的顺序,将所述图像库中每种类型的图像从上到下设置在所述图像检索结果列表中。
本说明书第三方面的实施例提出了一种图像特征提取模型的训练装置,包括:第一获取模块,用于获取样本图像,以及所述样本图像对应的类型;第一输入模块,用于将所述样本图像输入图像特征提取模型,以生成所述样本图像对应的图像特征;其中,所述图像特征提取模型包括卷积神经网络;训练模块,用于根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练;以及完成模块,用于当相同类型的所述样本图像对应的图像特征,在所述特征空间中的位置重合,并且不同类型的所述样本图像对应的图像特征,在所述特征空间中均匀分布时,完成对所述图像特征提取模型的训练。
另外,本说明书实施例的图像特征提取模型的训练装置,还具有如下附加的技术特征:
可选地,所述训练模块,包括:第一调整子模块,用于调整所述卷积神经网络的参数,以减小相同类型的所述样本图像对应的图像特征在所述特征空间中的距离。
可选地,所述训练模块,还包括:第二调整子模块,用于调整所述卷积神经网络的参数,以增大不同类型的所述样本图像对应的图像特征在所述特征空间中的距离。
可选地,所述训练模块,还包括:第三调整子模块,用于调整所述卷积神经网络的参数,以使第一类型的所述样本图像对应的图像特征和第二类型的所述样本图像对应的图像特征在所述特征空间中的距离,与第一类型的所述样本图像对应的图像特征和第三类型的所述样本图像对应的图像特征在所述特征空间中的距离的差值小于或者等于预设阈值。
本说明书第四方面的实施例提出了一种图像检索装置,包括:第二获取模块,用于获取待检索图像;第二输入模块,用于将所述待检索图像输入如前述的训练装置训练后的图像特征提取模型,以生成所述待检索图像对应的图像特征;第一确定模块,用于确定所述待检索图像对应的图像特征和图像库中图像对应的图像特征在特征空间中的距离;以及第二确定模块,用于根据所述距离,确定所述图像库中与所述待检索图像类型相同的图像。
另外,本说明书实施例的图像检索装置,还具有如下附加的技术特征:
可选地,所述装置还包括:设置模块,用于将所述图像库中与所述待检索图像类型相同的图像,设置在图像检索结果列表的顶端。
可选地,所述设置模块,包括:确定子模块,用于确定所述待检索图像对应的图像特征和所述图像库中每种类型的图像对应的图像特征在所述特征空间中的距离;设置子模块,用于按照所述距离从小到大的顺序,将所述图像库中每种类型的图像从上到下设置在所述图像检索结果列表中。
本说明书实施例第五方面实施例提出了一种计算机设备,包括存储器和处理器;所述存储器上存储有可由处理器运行的计算机程序;所述处理器运行所述计算机程序时,执行如前述方法实施例所述的图像特征提取模型的训练方法。
本说明书实施例第六方面实施例提出了一种计算机设备,包括存储器和处理器;所述存储器上存储有可由处理器运行的计算机程序;所述处理器运行所述计算机程序时,执行如前述方法实施例所述的图像检索方法。
本说明书实施例第七方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述方法实施例所述的图像特征提取模型的训练方法。
本说明书实施例第八方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述方法实施例所述的图像检索方法。
本说明书实施例附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本说明书实施例的实践了解到。
【附图说明】
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1a-1c为现有的图像特征提取模型输出的图像特征在特征空间中的位置的示意图;
图2为本说明书实施例所提出的一种图像特征提取模型的训练方法的流程示意图;
图3为训练完的图像特征提取模型输出的图像特征在特征空间中的位置的示意图;
图4为本说明书实施例所提出的另一种图像特征提取模型的训练方法的流程示意图;
图5为相同类型的样本图像对应的图像特征在特征空间的距离减小的示意图;
图6a为不同类型的样本图像对应的图像特征在特征空间的距离足够大的示意图;
图6b为不同类型的样本图像对应的图像特征在特征空间的距离不够大的示意图;
图7为本说明书实施例所提出的一种图像检索方法的流程示意图;
图8为本说明书实施例提出的一种图像特征提取模型的训练装置的结构示意图;
图9为本说明书实施例提出的另一种图像特征提取模型的训练装置的结构示意图;以及
图10为本说明书实施例所提出的一种图像检索装置的结构示意图。
【具体实施方式】
下面详细描述本说明书的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本说明书实施例,而不能理解为对本说明书实施例的限制。
下面参考附图描述本说明书实施例的图像特征提取模型的训练方法和图像检索方法。
基于前述说明,可以知道,相关技术中,在完成车险理赔后,理赔工作人员将已经理赔过的车辆照片进行存储,作为该车辆的理赔记录。在车主对某个损伤申请理赔时,系统自动检索该车辆之前的照片,如果检索到的照片中都没有该损伤,则可以确定该损伤没有进行过理赔,以防车主重复申请理赔。但是,该技术方案需要能够从存储的全部照片中,准确检索出该车辆之前的所有照片,现有的图像检索技术无法实现对不同车辆的照片进行区分,准确度不高。
具体来说,现有的图像检索技术,将图像输入图像特征提取模型,得到该图像对应的图像特征,不同类型的图像对应的图像特征,在特征空间中有可能存在重叠,无法根据图像特征在特征空间中的位置,对不同类型的图像进行区分,从而使得图像检索的结果中可能存在其他类型的图像。也就是在车险理赔时,系统自动检索该车辆之前的照片,会将其他车辆的照片作为检索结果,或者遗漏该车辆的部分照片,图像检索的准确度不高。
需要说明的是,特征空间的维度与图像特征的维度相对应,可以是二维、三维,甚至是多维,本说明书实施例对此不做限定。为了便于说明,下面以二维的特征空间为例进行说明。
图1a-1c为现有的图像特征提取模型输出的图像特征在特征空间中的位置的示意图。在图像库中,a和b为相同类型的图像,a和c为不同类型的图像,xa为图像a对应的图像特征,xb为图像b对应的图像特征,xc为图像c对应的图像特征。
如图1a所示,将图像a、b、c输入现有的图像特征提取模型后,使得xa和xb的距离小于xa和xc的距离。
但是,当图像库中还存在其他图像d和e时,a和d为相同类型的图像,a和e为不同类型的图像,xd为图像d对应的图像特征,xe为图像e对应的图像特征。
如图1b所示,将图像a、d、e输入现有的图像特征提取模型后,使得xa和xd的距离小于xa和xe的距离。
此时,对于特征空间来说,如图1c所示,存在图像a、b、c、d、e五个图像对应的图像特征,其中,图像a、b、d为相同类型的图像,但是xa和xd的距离却大于xa和xc的距离。在图像检索过程中,需要确定图像a相同类型的图像,由于图像d为图像a相同类型的图像,并且xa和xd的距离大于xa和xc的距离,则会将图像c也作为图像a相同类型的图像,使得图像检索的结果存在问题。因此,现有的图像特征提取模型输出的图像特征在特征空间中的位置,无法满足图像检索的需求。
针对这一问题,本说明书实施例提出了图像特征提取模型的训练方法,根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练,使得相同类型的图像所对应的图像特征,在特征空间中的位置重合,并且不同类型的图像所对应的图像特征,在特征空间中均匀分布,在进行图像检索时,使用该模型进行图像特征的提取,提升了图像检索的准确度。
图2为本说明书实施例所提出的一种图像特征提取模型的训练方法的流程示意图。如图2所示,该方法包括以下步骤:
步骤s101,获取样本图像,以及样本图像对应的类型。
其中,样本图像是已经确定对应的类型的图像,因此能够用来训练图像特征提取模型。
基于前述说明,可以知道,现有的图像特征提取模型输出的图像特征,不能将不同类型的图像完全区分。因此,本说明书实施例需要通过样本图像对应的类型,来对图像特征提取模型进行训练,以使训练后的图像特征提取模型能够区分不同类型的图像。
步骤s103,将样本图像输入图像特征提取模型,以生成样本图像对应的图像特征。
其中,图像特征提取模型包括卷积神经网络。
需要特别说明的是,图像特征提取模型将输入的图像,通过卷积神经网络处理后,得到对应的图像特征,具体以特征向量的形式输出模型。
通常来说,卷积神经网络包括输入层,至少一层卷积层、池化层、全连接层,以及输出层。应当理解,本说明书实施例可用于各种结构的卷积神经网络的训练,因此对卷积神经网络的结构不做限定。
步骤s105,根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练。
可以理解,由于图像特征是特征向量的形式,计算不同样本图像对应的图像特征在特征空间中的距离,就是计算不同特征向量之间的距离。一种可能的实现方式是,将特征向量之间的欧式距离作为图像特征在特征空间中的距离。具体来说,特征向量a和特征向量b之间的欧式距离为
具体地,在计算出任意两个样本图像对应的图像特征在特征空间中的距离后,根据这两个样本图像对应的类型是否相同,对卷积神经网络的参数进行调整。
步骤s107,当相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布时,完成对图像特征提取模型的训练。
基于前述说明,可以知道,本说明书实施例为了对不同类型的样本图像进行区分,需要训练完的图像特征提取模型的输出中,相同类型的图像对应的图像特征之间的距离越小越好,不同类型的图像对应的图像特征之间的距离越大越好。
应当理解,当相同类型的图像对应的图像特征之间的距离趋向0时,相同类型的图像对应的图像特征,在特征空间中的位置重合。当不同类型的图像对应的图像特征之间的距离同时增大,最终占据整个特征空间时,不同类型的样本图像对应的图像特征,在特征空间中均匀分布。
还是以前述的图像a、b、c、d、e为例进行说明,图3为训练完的图像特征提取模型输出的图像特征在特征空间中的位置的示意图。如图3所示,图像a、b和d为第一种类型,图像c为第二种类型,图像e为第三种类型。训练完的图像特征提取模型输出的图像特征中,xa、xb和xd对应的图像类型相同,在特征空间中的位置重合,而xa(或xb、xd)、xc和xe对应的图像类型不同,因此xa、xc和xe之间的距离越大越好。当特征空间为一个圆时,xa、xc和xe位于圆的不同位置,并且相互之间的距离都相等,即在圆上均匀分布。在图像检索时,将待检索图像输入训练完的图像特征提取模型,即可得到待检索图像对应的图像特征在特征空间中的位置,如果与xa重合,则为第一类型,相同类型的图像有a、b、d。如果与xc重合,则为第二类型,相同类型的图像有c。如果与xe重合,则为第三类型,相同类型的图像有e。
因此,在训练过程中,需要让相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布,才能完成对图像特征提取模型的训练。
综上所述,本说明书实施例所提出的一种图像特征提取模型的训练方法,获取样本图像,以及样本图像对应的类型。将样本图像输入图像特征提取模型,以生成样本图像对应的图像特征。其中,图像特征提取模型包括卷积神经网络。根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练。当相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布时,完成对图像特征提取模型的训练。由此,根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练,使得相同类型的图像对应的图像特征,在特征空间中的位置重合,并且不同类型的图像对应的图像特征,在特征空间中均匀分布,在进行图像检索时,使用该模型进行图像特征的提取,提升了图像检索的准确度。
现有的图像检索技术用于车险理赔时,无法实现对不同车辆的照片进行区分,检索准确度不高。将本说明书实施例所提出的图像特征提取模型应用于车险理赔时,能够对存储的全部照片进行特征提取,使得相同车辆的照片对应的图像特征在特征空间中的位置重合,从而准确地检索出该车辆之前的所有照片。
为了更加清楚地说明本说明书实施例所提出的图像特征提取模型的训练方法是如何根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练的,本说明书实施例还提出了另一种图像特征提取模型的训练方法。图4为本说明书实施例所提出的另一种图像特征提取模型的训练方法的流程示意图。如图4所示,该方法包括以下步骤:
步骤s201,获取样本图像,以及样本图像对应的类型。
步骤s203,将样本图像输入图像特征提取模型,以生成样本图像对应的图像特征。
其中,图像特征提取模型包括卷积神经网络。
步骤s205,调整卷积神经网络的参数,以减小相同类型的样本图像对应的图像特征在特征空间中的距离。
具体地,计算不同样本图像对应的图像特征在特征空间中的距离,从中选取第一种类型的样本图像1和2,第二种类型的样本图像3,第三种类型的样本图像4,样本图像1对应的图像特征为x1,样本图像2对应的图像特征为x2,样本图像3对应的图像特征为x3,样本图像4对应的图像特征为x4。
根据公式lossequal=|d(x1,x3)-d(x2,x3)| |d(x1,x4)-d(x2,x4)|,计算出lossequal,其中,d(x1,x3)为图像特征x1和图像特征x3在特征空间中的距离,d(x2,x3)为图像特征x2和图像特征x3在特征空间中的距离,d(x1,x4)为图像特征x1和图像特征x4在特征空间中的距离,d(x2,x4)为图像特征x2和图像特征x4在特征空间中的距离。
需要说明的是,当卷积神经网的参数调整后,样本图像对应的图像特征在特征空间中的位置也会发生变化,从而使得不同样本图像对应的图像特征在特征空间中的距离变化。因此,可以通过调整卷积神经网络的参数,使得lossequal不断减小,趋向于0。可以理解,当lossequal=0时,d(x1,x3)=d(x2,x3),d(x1,x4)=d(x2,x4)。
应当理解,上述的样本图像1、2、3、4只是示例,在完成对卷积神经网络的参数的调整后,相对于其他任意两个不同类型的样本图像,需要相同类型中的任意两个样本图像都满足lossequal=|d(xi,xm)-d(xj,xm)| |d(xi,xn)-d(xj,xn)|=0,其中,样本图像i和j为相同类型,样本图像m为另一种类型,样本图像n为又一种类型,d(xi,xm)为图像特征xi和图像特征xm在特征空间中的距离,d(xj,xm)为图像特征xj和图像特征xm在特征空间中的距离,d(xi,xn)为图像特征xi和图像特征xn在特征空间中的距离,d(xj,xn)为图像特征xj和图像特征xn在特征空间中的距离,即xi和xj在特征空间中重合。
图5为相同类型的样本图像对应的图像特征在特征空间的距离减小的示意图。如图5所示,训练之前的图像特征提取模型,相同类型的样本图像i和样本图像j对应的图像特征在特征空间中位于不同的位置。在图像特征提取模型的训练过程中,通过调整卷积神经网络的参数,使得样本图像i和样本图像j对应的图像特征在特征空间中的距离不断减小。在图像特征提取模型训练完成后,样本图像i和样本图像j对应的图像特征在特征空间中的位置重合。
步骤s207,调整卷积神经网络的参数,以增大不同类型的样本图像对应的图像特征在特征空间中的距离。
具体地,计算不同样本图像对应的图像特征在特征空间中的距离,从中选取相同类型的样本图像i和j,另一种类型的样本图像m,样本图像i对应的图像特征为xi,样本图像j对应的图像特征为xj,样本图像m对应的图像特征为xm。
根据公式lossmargin=max(0,d(xi,xj) k-d(xi,xm)),其中,k为预设的常数。可以理解,当d(xi,xj) k-d(xi,xm)≤0时,lossmargin=0,当d(xi,xj) k-d(xi,xm)>0时,lossmargin=d(xi,xj) k-d(xi,xm)。也就是说,当d(xi,xm)≥d(xi,xj) k时,lossmargin=0。当d(xi,xj) k>d(xi,xm)时,需要增大d(xi,xm),才能让lossmargin趋向于0。
为了更加清楚地说明上述公式的原理,下面进行分情况说明。
图6a为不同类型的样本图像对应的图像特征在特征空间的距离足够大的示意图。如图6a所示,当不同类型的样本图像对应的图像特征在特征空间的距离d(xi,xm)足够大时,即d(xi,xm)≥d(xi,xj) k时,无需增大d(xi,xm),也就无需调整卷积神经网络的参数。
图6b为不同类型的样本图像对应的图像特征在特征空间的距离不够大的示意图。如图6b所示,当不同类型的样本图像对应的图像特征在特征空间的距离d(xi,xm)不够大时,即d(xi,xj) k>d(xi,xm)时,需要不断增大d(xi,xm),直到d(xi,xm)=d(xi,xj) k。
步骤s209,调整卷积神经网络的参数,以使第一类型的样本图像对应的图像特征和第二类型的样本图像对应的图像特征在特征空间中的距离,与第一类型的样本图像对应的图像特征和第三类型的样本图像对应的图像特征在特征空间中的距离的差值小于或者等于预设阈值。
其中,第一类型的样本图像、第二类型的样本图像和第三类型的样本图像为任意三种类型的样本图像。
需要说明的是,当步骤s205,减小相同类型的样本图像对应的图像特征在特征空间中的距离后,让相同类型的样本图像在特征空间中不断聚拢。因此,可以定义不同的样本图像类型之间的距离d(ca,cb)=mind(xi,xj),其中,i为样本图像类型ca中的任意一个样本图像,j为样本图像类型cb中的任意一个样本图像,mind(xi,xj)为样本图像类型ca和样本图像类型cb中,在特征空间中距离最近的两个样本图像的距离。
根据公式
根据公式
需要说明的是,lossm趋向于0时,不同样本图像类型之间的距离不断增大,losse趋向于0时,不同样本图像类型之间的距离等于距离最近的两个样本图像类型之间的距离,将二者相结合,则使得整个样本空间中的样本图像类型在特征空间中均匀分布。具体可以根据公式
需要说明的是,本说明书实施例中的均匀分布,是指任意两种类型的样本图像对应的图像特征在特征空间中的距离大致相等,即第一类型的样本图像对应的图像特征和第二类型的样本图像对应的图像特征在特征空间中的距离,与第一类型的样本图像对应的图像特征和第三类型的样本图像对应的图像特征在特征空间中的距离的差值小于或者等于预设阈值。
此外,为了让相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布,需要结合前述的lossequal、lossmargin和
步骤s211,当相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布时,完成对图像特征提取模型的训练。
从而,实现了训练完的图像特征提取模型对图像进行处理后,能够让相同类型的图像对应的图像特征,在特征空间中的位置重合,并且不同类型的图像对应的图像特征,在特征空间中均匀分布。
进一步地,为了将前述训练方法训练后的图像特征提取模型,用于图像检索中,本说明书实施例还提出了一种图像检索方法,图7为本说明书实施例所提出的一种图像检索方法的流程示意图。如图7所示,该方法包括以下步骤:
步骤s301,获取待检索图像。
步骤s303,将待检索图像输入如前述的训练方法训练后的图像特征提取模型,以生成待检索图像对应的图像特征。
基于前述说明,可以知道,本说明书实施例中的训练完的图像特征提取模型能够生成不同类型的图像对应的图像特征,并且不同类型的图像对应的图像特征在特征空间中均匀分布。
因此,将待检索图像输入训练完的图像特征提取模型,生成对应的图像特征,根据该图像特征在特征空间中的位置,能够确定待检索图像的类型。
步骤s305,确定待检索图像对应的图像特征和图像库中图像对应的图像特征在特征空间中的距离。
步骤s307,根据距离,确定图像库中与待检索图像类型相同的图像。
具体地,计算出待检索图像对应的图像特征在特征空间中的位置,分别与图像库中各个图像对应的图像特征在特征空间中的距离,将距离较短的图像作为与待检索图像类型相同的图像,具体可以设置一个预设阈值,将距离小于该预设阈值的图像,作为与待检索图像类型相同的图像。
应当理解,对于图像库中不同的图像对应的图像特征来说,相同类型的图像特征在特征空间中重合,因此存在多个与待检索图像距离较短的图像,这些图像即为与待检索图像类型相同的图像。
进一步地,在步骤s307,根据距离,确定图像库中与待检索图像类型相同的图像之后,该方法还包括:步骤s309,将图像库中与待检索图像类型相同的图像,设置在图像检索结果列表的顶端。
为了便于用户查看,将图像库中与待检索图像类型相同的图像,设置在图像检索结果列表的顶端。
可以理解,将本说明书实施例中的图像检索方法用于车险理赔,将申请理赔的车辆照片,作为待检索图像,就能够检索出该车辆在之前的理赔过程中,存储在图像库中,作为理赔记录的照片。
综上所述,本说明书实施例所提出的一种图像检索方法,获取待检索图像,将待检索图像输入如前述的训练方法训练后的图像特征提取模型,以生成待检索图像对应的图像特征。确定待检索图像对应的图像特征和图像库中图像对应的图像特征在特征空间中的距离。根据距离,确定图像库中与待检索图像类型相同的图像。由此,实现了使用训练完的图像特征提取模型对待检索图像进行图像特征的提取,提升了图像检索的准确度。
进一步地,为了便于用户查看图像库中,其它与待检索图像相似的图像,步骤s309,将图像库中与待检索图像类型相同的图像,设置在图像检索结果列表的顶端,包括:确定待检索图像对应的图像特征和图像库中每种类型的图像对应的图像特征在特征空间中的距离。按照距离从小到大的顺序,将图像库中每种类型的图像从上到下设置在图像检索结果列表中。
从而,使得图像检索结果列表中,从上到下的图像,与待检索图像的相似度越来越小。
为了实现上述实施例,本说明书实施例还提出了一种图像特征提取模型的训练装置,图8为本说明书实施例提出的一种图像特征提取模型的训练装置的结构示意图。如图8所示,该装置包括:第一获取模块410,第一输入模块420,训练模块430,完成模块440。
第一获取模块410,用于获取样本图像,以及样本图像对应的类型。
第一输入模块420,用于将样本图像输入图像特征提取模型,以生成样本图像对应的图像特征。
其中,图像特征提取模型包括卷积神经网络。
训练模块430,用于根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练。
完成模块440,用于当相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布时,完成对图像特征提取模型的训练。
需要说明的是,前述对上述图像特征提取模型的训练方法实施例的解释说明也适用于本实施例中的图像特征提取模型的训练装置,此处不再赘述。
综上所述,本说明书实施例所提出的一种图像特征提取模型的训练装置,该装置在进行图像特征提取模型的训练时,获取样本图像,以及样本图像对应的类型。将样本图像输入图像特征提取模型,以生成样本图像对应的图像特征。其中,图像特征提取模型包括卷积神经网络。根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练。当相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布时,完成对图像特征提取模型的训练。由此,根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练,使得相同类型的图像对应的图像特征,在特征空间中的位置重合,并且不同类型的图像对应的图像特征,在特征空间中均匀分布,在进行图像检索时,使用该模型进行图像特征的提取,提升了图像检索的准确度。
为了实现上述实施例,本说明书实施例还提出了另一种图像特征提取模型的训练装置,图9为本说明书实施例提出的另一种图像特征提取模型的训练装置的结构示意图。如图9所示,该装置包括:第一获取模块510,第一输入模块520,训练模块530,完成模块540。
第一获取模块510,用于获取样本图像,以及样本图像对应的类型。
第一输入模块520,用于将样本图像输入图像特征提取模型,以生成样本图像对应的图像特征。
其中,图像特征提取模型包括卷积神经网络。
训练模块530,用于根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练。
完成模块540,用于当相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布时,完成对图像特征提取模型的训练。
其中,训练模块530,包括:第一调整子模块531,用于调整卷积神经网络的参数,以减小相同类型的样本图像对应的图像特征在特征空间中的距离。第二调整子模块532,用于调整卷积神经网络的参数,以增大不同类型的样本图像对应的图像特征在特征空间中的距离。第三调整子模块533,用于调整卷积神经网络的参数,以使第一类型的样本图像对应的图像特征和第二类型的样本图像对应的图像特征在特征空间中的距离,与第一类型的样本图像对应的图像特征和第三类型的样本图像对应的图像特征在特征空间中的距离的差值小于或者等于预设阈值。
需要说明的是,前述对上述图像特征提取模型的训练方法实施例的解释说明也适用于本实施例中的图像特征提取模型的训练装置,此处不再赘述。
从而,实现了训练完的卷积神经网络对图像进行处理后,能够让相同类型的图像对应的图像特征,在特征空间中的位置重合,并且不同类型的图像对应的图像特征,在特征空间中均匀分布。
为了实现上述实施例,本说明书实施例还提出了一种图像检索装置,图10为本说明书实施例所提出的一种图像检索装置的结构示意图。如图10所示,该装置包括:第二获取模块610,第二输入模块620,第一确定模块630,第二确定模块640。
第二获取模块610,用于获取待检索图像。
第二输入模块620,用于将待检索图像输入如前述的训练装置训练后的图像特征提取模型,以生成待检索图像对应的图像特征。
第一确定模块630,用于确定待检索图像对应的图像特征和图像库中图像对应的图像特征在特征空间中的距离。
第二确定模块640,用于根据距离,确定图像库中与待检索图像类型相同的图像。
进一步地,为了便于用户查看图像库中,与待检索图像类型相同的图像,一种可能的实现方式是,该装置还包括:设置模块650,用于将图像库中与待检索图像类型相同的图像,设置在图像检索结果列表的顶端。
进一步地,为了便于用户查看图像库中,其它与待检索图像相似的图像,一种可能的实现方式是,设置模块650,包括:确定子模块651,用于确定待检索图像对应的图像特征和图像库中每种类型的图像对应的图像特征在特征空间中的距离。设置子模块652,用于按照距离从小到大的顺序,将图像库中每种类型的图像设置在图像检索结果列表中。
需要说明的是,前述对上述图像检索方法实施例的解释说明也适用于本实施例中的图像检索装置,此处不再赘述。
综上所述,本说明书实施例所提出的一种图像检索装置,该装置在进行图像检索时,获取待检索图像,将待检索图像输入如前述的训练装置训练后的图像特征提取模型,以生成待检索图像对应的图像特征。确定待检索图像对应的图像特征和图像库中图像对应的图像特征,在特征空间中的距离。根据距离,确定图像库中与待检索图像类型相同的图像。由此,实现了使用训练完的图像特征提取模型对待检索图像进行图像特征的提取,提升了图像检索的准确度。
为了实现上述实施例,本说明书实施例还提出一种计算机设备,包括存储器和处理器;存储器上存储有可由处理器运行的计算机程序;当处理器运行计算机程序时,执行如前述方法实施例的图像特征提取模型的训练方法。
为了实现上述实施例,本说明书实施例还提出一种计算机设备,包括存储器和处理器;存储器上存储有可由处理器运行的计算机程序;当处理器运行计算机程序时,执行如前述方法实施例的图像检索方法。
为了实现上述实施例,实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如前述方法实施例的图像特征提取模型的训练方法。
为了实现上述实施例,实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如前述方法实施例的图像检索方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书实施例的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书实施例中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本说明书实施例中的具体含义。
在本说明书实施例中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
1.一种图像特征提取模型的训练方法,包括:
获取样本图像,以及所述样本图像对应的类型;
将所述样本图像输入图像特征提取模型,以生成所述样本图像对应的图像特征;其中,所述图像特征提取模型包括卷积神经网络;
根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练;以及
当相同类型的所述样本图像对应的图像特征,在所述特征空间中的位置重合,并且不同类型的所述样本图像对应的图像特征,在所述特征空间中均匀分布时,完成对所述图像特征提取模型的训练。
2.如权利要求1所述的训练方法,其中,所述根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练,包括:
调整所述卷积神经网络的参数,以减小相同类型的所述样本图像对应的图像特征在所述特征空间中的距离。
3.如权利要求2所述的训练方法,其中,所述根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练,还包括:
调整所述卷积神经网络的参数,以增大不同类型的所述样本图像对应的图像特征在所述特征空间中的距离。
4.如权利要求3所述的训练方法,其中,所述根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练,还包括:
调整所述卷积神经网络的参数,以使第一类型的所述样本图像对应的图像特征和第二类型的所述样本图像对应的图像特征在所述特征空间中的距离,与第一类型的所述样本图像对应的图像特征和第三类型的所述样本图像对应的图像特征在所述特征空间中的距离的差值小于或者等于预设阈值。
5.一种图像检索方法,包括:
获取待检索图像;
将所述待检索图像输入如权利要求1-4所述的训练方法训练后的图像特征提取模型,以生成所述待检索图像对应的图像特征;
确定所述待检索图像对应的图像特征和图像库中图像对应的图像特征在特征空间中的距离;以及
根据所述距离,确定所述图像库中与所述待检索图像类型相同的图像。
6.如权利要求5所述的方法,其中,在所述根据所述距离,确定所述图像库中与所述待检索图像类型相同的图像之后,还包括:将所述图像库中与所述待检索图像类型相同的图像,设置在图像检索结果列表的顶端。
7.如权利要求6所述的方法,其中,所述将所述图像库中与所述待检索图像类型相同的图像,设置在图像检索结果列表的顶端,包括:
确定所述待检索图像对应的图像特征和所述图像库中每种类型的图像对应的图像特征在所述特征空间中的距离;
按照所述距离从小到大的顺序,将所述图像库中每种类型的图像从上到下设置在所述图像检索结果列表中。
8.一种图像特征提取模型的训练装置,包括:
第一获取模块,用于获取样本图像,以及所述样本图像对应的类型;
第一输入模块,用于将所述样本图像输入图像特征提取模型,以生成所述样本图像对应的图像特征;其中,所述图像特征提取模型包括卷积神经网络;
训练模块,用于根据所述样本图像对应的图像特征在特征空间中的距离,对所述卷积神经网络进行训练;以及
完成模块,用于当相同类型的所述样本图像对应的图像特征,在所述特征空间中的位置重合,并且不同类型的所述样本图像对应的图像特征,在所述特征空间中均匀分布时,完成对所述图像特征提取模型的训练。
9.如权利要求8所述的训练装置,其中,所述训练模块,包括:
第一调整子模块,用于调整所述卷积神经网络的参数,以减小相同类型的所述样本图像对应的图像特征在所述特征空间中的距离。
10.如权利要求9所述的训练装置,其中,所述训练模块,还包括:
第二调整子模块,用于调整所述卷积神经网络的参数,以增大不同类型的所述样本图像对应的图像特征在所述特征空间中的距离。
11.如权利要求10所述的训练装置,其中,所述训练模块,还包括:
第三调整子模块,用于调整所述卷积神经网络的参数,以使第一类型的所述样本图像对应的图像特征和第二类型的所述样本图像对应的图像特征在所述特征空间中的距离,与第一类型的所述样本图像对应的图像特征和第三类型的所述样本图像对应的图像特征在所述特征空间中的距离的差值小于或者等于预设阈值。
12.一种图像检索装置,包括:
第二获取模块,用于获取待检索图像;
第二输入模块,用于将所述待检索图像输入如权利要求8-11所述的训练装置训练后的图像特征提取模型,以生成所述待检索图像对应的图像特征;
第一确定模块,用于确定所述待检索图像对应的图像特征和图像库中图像对应的图像特征在特征空间中的距离;以及
第二确定模块,用于根据所述距离,确定所述图像库中与所述待检索图像类型相同的图像。
13.如权利要求12所述的装置,其中,所述装置还包括:
设置模块,用于将所述图像库中与所述待检索图像类型相同的图像,设置在图像检索结果列表的顶端。
14.如权利要求13所述的装置,其中,所述设置模块,包括:
确定子模块,用于确定所述待检索图像对应的图像特征和与所述图像库中每种类型的图像对应的图像特征在所述特征空间中的距离;
设置子模块,用于按照所述距离从小到大的顺序,将所述图像库中每种类型的图像从上到下设置在所述图像检索结果列表中。
15.一种计算机设备,包括存储器和处理器;所述存储器上存储有可由处理器运行的计算机程序;所述处理器运行所述计算机程序时,执行如权利要求1-4中任一项所述的图像特征提取模型的训练方法。
16.一种计算机设备,包括存储器和处理器;所述存储器上存储有可由处理器运行的计算机程序;所述处理器运行所述计算机程序时,执行如权利要求5-7中任一项所述的图像检索方法。
17.一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1-4中任一项所述的图像特征提取模型的训练方法。
18.一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求5-7中任一项所述的图像检索方法。
技术总结