本申请实施例涉及人工智能技术领域,尤其涉及一种图片评价方法、装置、设备及存储介质。
背景技术:
如今,智能技术已经广泛应用于人们生活的各类领域。如室内购物场景中,用户可以通过带有定位功能的应用软件确定智能设备所处的位置。例如,智能手表通过定位功能确定自身的位置,并显示该位置,同时,将该位置发送至关联的智能手机中,以使智能手机的用户确认智能手表的位置。为了使用户可以准确、全面的确定位置信息,可以将该位置处的商铺的门店图片作为展示信息同步展示在智能手表或智能手机中。现有技术中,作为展示信息的图片通常需要人工拍摄并审核,以将质量高的图片显示给用户。然而,为了保证定位结果成功率,带有定位功能的应用软件的后台服务器中会存储有大量的图片,这样不仅需要投入大量的人力资源,且审核周期长。同时,人工审核存在主观性,会影响图片审核结果的准确性。
综上,如何快速、高效地得到图片的审核结果,成为了亟需解决的问题。
技术实现要素:
本申请提供了一种图片评价方法、装置、设备及存储介质,以解决现有技术中无法快速、高效地得到图片的审核结果的技术问题。
第一方面,本申请实施例提供了一种图片评价方法,包括:
获取待评价图片;
通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片;
计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数。
进一步的,所述通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片包括:
将所述待评价图片输入至图片修正模型;
指示所述图片修正模型对所述待评价图片中的各像素点进行折叠和/或卷曲处理,以得到至少一张扭曲图片;
指示所述图片修正模型根据所述待评价图片和所述扭曲图片确定扭曲图片的像素矩阵,所述像素矩阵包括扭曲图片中各像素点的灰度值、各像素点在x轴上的移动方向和移动距离、以及各像素点在y轴上的移动方向和移动距离;
指示所述图片修正模型将包含像素矩阵的扭曲图片输入至包含空洞卷积的神经网络,以得到修正图片。
进一步的,所述指示所述图片修正模型根据所述待评价图片和所述扭曲图片确定扭曲图片的像素矩阵之后,还包括:
指示所述图片修正模型基于所述像素矩阵确定所述扭曲图片中的空白像素点;
指示所述图片修正模型基于所述空白像素点的近邻像素点进行近邻插值,以得到所述空白像素点的灰度值,并更新所述像素矩阵。
进一步的,所述计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数包括:
获取所述修正图片中包含文本信息的像素区域,所述文本信息利用光学字符识别得到;
计算所述像素区域与标准图片库中各标准图片之间的相似度;
在计算得到的相似度中,选择最大相似度,并将所述最大相似度作为所述待评价图片的评价分数。
进一步的,所述计算所述像素区域与标准图片库中各标准图片之间的相似度包括:
利用结构相似性算法得到所述像素区域和标准图片库中标准图片之间的局部相似度;
结合所述待评价图片的分辨率维度,计算各所述局部相似度的平均相似度,以得到所述像素区域和对应标准图片之间的相似度。
进一步的,所述结合所述待评价图片的分辨率维度,计算各所述局部相似度的平均相似度包括:
确认待评价图片中与所述局部相似度对应的子像素区域所落入的分辨率维度;
查找所述分辨率维度对应的权重;
根据各所述局部相似度以及对应的权重计算平均相似度。
进一步的,所述计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数之后,还包括:
若所述评价分数大于或等于分数阈值,则将所述待评价图片确认为有效图片;
将所述有效图片以及所述有效图片中包含的文本信息上传至数据库中,以便于用户通过数据库查看所述有效图片和文本信息。
第二方面,本申请实施例还提供了一种图片评价装置,包括:
图片获取模块,用于获取待评价图片;
图片修正模块,用于通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片;
分数计算模块,用于计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数。
第三方面,本申请实施例还提供了一种图片评价设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的图片评价方法。
第四方面,本申请实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的图片评价方法。
上述图片评价方法、装置、设备及存储介质,通过获取待评价图片,并利用图片修正模型对待评价图片进行形变修正得到修正图片,之后,计算修正图片与标准图片库中各标准图片的相似度,进而得到待评价图片的评价分数的技术手段,可以解决现有技术中无法快速、高效地得到图片的审核结果的技术问题,利用图片修正和图片相似度计算实现自动评价图片,不仅可以节省大量的人力资源,缩短审核周期,且可以防止人工审核图片的主观性,保证图片审核的质量。
附图说明
图1为本申请一个实施例提供的一种图片评价方法的流程图;
图2为本申请一个实施例提供的一种图片评价方法的流程图;
图3为本申请一个实施例提供的折叠和/或卷曲处理前后示意图;
图4为本申请一个实施例提供的一种图片评价装置的结构示意图;
图5为本申请一个实施例提供的一种图片评价设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
实施例中提供的图片评价方法可以由图片评价装置执行,该图片评价装置可以通过软件和/或硬件的方式实现,并集成在图片评价设备中。其中,图片评价设备可以是平板电脑、台式电脑等具有数据处理及分析能力的智能设备。
图1为本申请一个实施例提供的一种图片评价方法的流程图。参考图1,该图片评价方法具体包括:
步骤110、获取待评价图片。
其中,待评价图片为人工拍摄的、需要图片评价设备进行评价的图片,待评价图片的内容可以根据实际设定。例如,商铺搜索场景下,待评价图片可以为门店图片;景区搜索场景下,待评价图片可以为景点图片;游记展示场景下,待评价图片可以为景点图片、站点图片等。实施例中,以待评价图片为门店图片为例,此时,待评价图片中显示有店铺的名称和/或logo等内容。实施例中,以待评价图片中显示有店铺的名称和logo为例进行描述。
进一步的,待评价图片的获取方式实施例不做限定。例如,图片评价设备设置有图像采集装置(如摄像头等),并通过图像采集装置获取待评价图片。再如,图片评价设备可以与配置有图像采集装置的其他设备(如手机、相机、平板电脑等)进行数据通信,以获取待评价图片。又如,配置有图像采集装置的其他设备将待评价图片上传至互联网的特定存储位置(如云盘)中,图片评价设备可以通过互联网的特定存储位置获取待评价图片。
步骤120、通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片。
考虑到用户在拍摄待评价图片时,由于拍摄角度和拍摄水平的限制,拍摄出来的图片与实际内容相比,会出现一定程度的形变。例如,店铺的门店名称通常位于店铺出入口的上方,当用户拍摄门店图片时,为了包含完整的门店名称,需要倾斜图像采集装置,此时,图像采集装置拍摄的待评价图片会呈现仰视拍摄的效果,即相比于实际门店,待评价图片中门店图像会出现上宽下窄的效果。因此,为了便于对待评价图片进行有效评价,需要先对待评价图片中的形变进行修正,实施例中,将修正过程记为形变修正,将形变修正后得到的结果记为修正图片。修正图片与待评价图片的大小相等。
具体的,形变修正可以通过图片修正模型实现。其中,图片修正模型的具体构建方式实施例不作限定。例如,扭曲变换作为形变修正的一种,可以通过折叠、卷曲以及移动像素点等至少一项操作实现,此时,可以在图片修正模型中设定各项操作对应的计算规则,如在图片修正模型中设定像素点的折叠公式、卷曲公式以及移动公式,且公式参数可以结合待评价图片进行修改,进而通过上述公式实现形变修正。再如,通过人工智能的方式,利用神经网络训练大量的已知待评价图片和修正图片,以得到图片修正模型。又如,结合计算规则和神经网络的方式得到图片修正模型。
可选的,在形变修正的过程中,修正图片可能出现空白的像素点,此时,为了保证修正图片的质量,可以采用近邻插值法为空白的像素点赋予像素值。
步骤130、计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数。
一个实施例中,标准图片库中存储有大量的标准图片。每张标准图片中呈现有店铺的名称和/或对应的logo,标准图片中的名称和/或logo为规整的样式。可以理解,若多个店铺的名称和/或对应的logo相同,则可以共用一张标准图片。进一步的,标准图片库中标准图片的采集范围可以根据实际情况设定。例如,以省为单位,采集省内各门店的名称和/或对应的logo,得到各门店的标准图片并组成标准图片库。又如,以国家为单位,采集全国内各门店的名称和/或对应的logo,得到各门店的标准图片并组成标准图片库。需说明,标准图片的采集方式实施例不做限定。实施例中,以标准图片包含名称和logo为例进行描述。
具体的,修正图片中店铺的名称和logo与某张标准图片的相似度越高,说明修正图片中店铺的名称和logo越清晰、越准确,相应的,待评价图片的质量越好、评价分数越高。反之,修正图片与标准图片的相似度越低,说明修正图片中店铺的名称和logo越不准确,相应的,待评价图片的质量越低、评价分数越低。因此,实施例中,以通过计算修正图片与标准图片库中每张标准图片的相似度的方式得到待评价图片的评价分数。
示例性的,修正图片与标准图片的相似度计算方式实施例不作限定。例如,采用结构相似性(structuralsimilarityindex,ssim)计算修正图片和标准图片之间的相似度。又如,基于余弦相似度计算修正图片和标准图片之间的相似度。进一步的,每张标准图片均有一个与修正图片计算得到的相似度,相似度越高,说明修正图片与对应标准图片越相似度,修正图片越准确,因此,在计算得到的全部相似度中,选择最大相似度作为待评价图片的评价分数。
可选的,得到待评价图片的评价分数后,可以将待评价分数与预先设定的分数阈值进行比较。其中,分数阈值可以根据实际情况设定。当评价分数大于或等于分数阈值,则说明待评价图片的质量较好,可以认为待评价图片审核通过,可以后续使用。当评价分数小于分数阈值,则说明待评价分数的质量较差,可以认为待评价图片审核未通过,此时,不会后续使用。
上述,通过获取待评价图片,并利用图片修正模型对待评价图片进行形变修正得到修正图片,之后,计算修正图片与标准图片库中各标准图片的相似度,进而得到待评价图片的评价分数的技术手段,可以解决现有技术中无法快速、高效地得到图片的审核结果,利用图片修正和图片相似度计算实现自动评价图片,不仅可以节省大量的人力资源,缩短审核周期,且可以防止人工审核图片的主观性,保证图片审核的质量。
图2为本申请一个实施例提供的一种图片评价方法的流程图。本实施例提供的图片评价方法是在上述实施例的基础上进行具体化。本实施例中,以待评价图片用于向用户进行展示为例进行描述。具体的,参考图2,本实施例提供的图片评价方法包括:
步骤201、获取待评价图片。
步骤202、将所述待评价图片输入至图片修正模型。
具体的,将待评价图片作为图片修正模型的输入。可以理解,输入至图片修正模型中的待评价图片未经过其他处理,为未经压缩的无失真图像。
步骤203、指示所述图片修正模型对所述待评价图片中的各像素点进行折叠和/或卷曲处理,以得到至少一张扭曲图片。
实施例中,扭曲分为折叠和卷曲,即扭曲图片可以是指对待评价图片进行折叠和/或卷曲处理后得到的图片,扭曲图片为至少一张,其具体数量可以根据实际情况设定。
具体的,图片修正模型对待评价图片进行折叠处理时,可以利用折叠公式:
可选的,在得到扭曲图片时,首先将待评价图片转换成p-v热力图,之后,通过α1和/或α2利用折叠公式以及卷曲公式得到对应的w1和/或w2。之后,基于w1和/或w2对p-v热力图进行扭曲,并将待评价图片中各像素点上的灰度值映射到扭曲后p-v热力图内对应的像素点上,以得到对应的扭曲图片。可以理解,此时,扭曲图片为灰度图像。
步骤204、指示所述图片修正模型根据所述待评价图片和所述扭曲图片确定扭曲图片的像素矩阵,所述像素矩阵包括扭曲图片中各像素点的灰度值、各像素点在x轴上的移动方向和移动距离、以及各像素点在y轴上的移动方向和移动距离。
实施例中,通过像素矩阵体现扭曲图片中各像素点的标签。像素矩阵可以通过比较待评价图片与扭曲图片得到,具体的,图片修正模型在待评价图片中找到扭曲图片中各像素点对应的像素点,进而得到像素矩阵。其中,像素矩阵为三维矩阵,其用于存储扭曲图片中各像素点的灰度值,各像素点在x轴上的移动方向和移动距离、各像素点在y轴上的移动方向和移动距离。其中,移动方向和移动距离分别是指扭曲图片中像素点映射到待评价图片中,应该移动的方向和像素距离。此时,像素矩阵可以包含扭曲图片中全部像素点的灰度值、移动方向和移动距离,即扭曲图片中每个像素点均可以在像素矩阵中找到对应的标签。
步骤205、指示所述图片修正模型将包含像素矩阵的扭曲图片输入至包含空洞卷积的神经网络,以得到修正图片。
具体的,通过神经网络识别扭曲图片和像素矩阵,进而输出修正图片。此时,神经网络可以利用语义学习将像素级分类问题转化为像素级的回归问题,进而实现对待评价图片进行修正以得到修正图片。
可以理解,神经网络的具体结构可以根据实际情况设定。一个实施例中,采用包含空洞卷积的神经网络。空洞卷积(dilatedconvolution)是指在标准的卷积核里注入空洞,以此来增加感受野(receptionfield),同时可以在一定程度上降低修正图片的失真。此时,每个像素点可以看到周边更多像素点的信息,从而得到更为精确的结果。举例而言,空洞卷积为1时,即1-dilatedconv时,卷积层与普通卷积层操作一样。空洞卷积为2时,即2-dilatedconv时,若卷积核大小为3×3,那么,该卷积层的感受野可以达到7×7,此时,卷积核的大小和感受野的大小之间是指数关系。这样可以在不进行池化损失信息的情况下增大感受野,并且可以不增加神经网络的参数数量,减小过拟合现象的发生,同时加快训练速度。可选的,包含空洞卷积的神经网络可以为多尺度u-net网络,且其可以包含并行网络和串行网络,此时,并行网络和串行网络均包含空洞卷积。
可以理解,上述提及的图片修正模型可以通过训练得到。即预先选择大量的训练数据,其中,一张用户拍摄的原始图片和对应的修正图片作为一组训练数据。之后,基于大量的训练数据训练图片修正模型,以调整图片修正模型中涉及的各参数(如超参数、空洞卷积数等)。当模型训练稳定后,可以再采集一定量的验证数据,其中,一张用户拍摄的原始图片和对应的修正图片作为一组验证数据。需说明,验证数据和训练数据不同,例如,采集大量的数据,其中80%作为训练数据,20%作为验证数据。之后,基于验证数据对图片修正模型进行验证,以确定图片修正模型的修正效果。当图片修正模型验证通过,可以说明图片修正模型修正结果稳定可以应用。本实施例中,可以直接应用验证后的图片修正模型得到修正图片。需说明,训练和验证图片修正模型时,图片修正模型的处理过程与步骤203-步骤205中提及的应用图片修正模型时的处理过程相似,只是应用过程中的参数固定,训练过程中的参数需要调整。
可以理解,图片修正模型还可以采用其他的方式实现,如采用deeplab-crf作为图片分隔的后端,进而保证图片语义分隔的预测精度。
步骤206、获取所述修正图片中包含文本信息的像素区域,所述文本信息利用光学字符识别得到。
光学字符识别(opticalcharacterrecognition,ocr)是指通过检测暗、亮的模式确定图像中字符的形状,然后用字符识别方法将形状翻译成计算机文字的过程。实施例中,通过ocr对修正图片进行识别,可以确定修正图片中包含的文本信息,以及文本信息在修正图片中的像素区域。其中,文本信息可以是对修正图片中包含的文本进行识别后得到的信息,文本信息可以包括文字、数字以及字符等内容。例如,待评价图片为门店图片,文本信息可以包含门店的名称和logo等内容。文本信息在修正图片中的像素区域是指修正图片中显示文本信息的像素点组成的区域。可以理解,像素区域是小于或等于修正图片尺寸的一块区域。
步骤207、计算所述像素区域与标准图片库中各标准图片之间的相似度。
由于像素区域中包含拍摄得到的门店的名称和logo,标准图片中包含标准的名称和logo,因此,可以通过计算像素区域与标准图片之间的相似度确定修正图片与标准图片之间的相似度。
具体的,计算相似度时可以利用结构相似度算法。此时,该步骤具体包括步骤2071-步骤2072:
步骤2071、利用结构相似性算法得到所述像素区域和标准图片库中标准图片之间的局部相似度。
具体的,ssim通过比较修正图片和标准图片的亮度、对比度和结构得到相似度。在进行ssim计算时,取n×n大小的窗口,其中,n可以根据实际情况设定,通常为正整数。之后,将该窗口分别在像素区域和标准图片上进行滑动,以遍历全部像素区域和标准图片。其中,窗口在滑动时的滑动幅度可以根据实际情况设定,例如,滑动幅度为1,即窗口每次滑动一个像素点。进一步的,由于窗口需要进行多次滑动,才可以遍历全部像素区域和标准图片,因此,窗口每滑动一次后,均需要计算窗口在像素区域中的子像素区域与窗口在标准图片中的区域之间的相似度,实施例中,将该相似度记为局部相似度。即窗口每滑动一次均会得到一个新的局部相似度,换言之,像素区域与一张标准图片之间可以得到多个局部相似度。需说明,一个局部相似度计算过程中,窗口在像素区域中的子像素区域与窗口在标准图片中的区域的像素坐标范围相同。按照上述方式可以计算得到像素区域与每张标准图片的局部相似度。
步骤2072、结合所述待评价图片的分辨率维度,计算各所述局部相似度的平均相似度,以得到所述像素区域和对应标准图片之间的相似度。
示例性的,针对一张标准图片与像素区域计算得到的各局部相似度而言,取各局部相似度的平均值作为该张标准图片和像素区域之间的相似度,此时,各局部相似度的平均值可以记为ms-ssim指标。考虑到实际应用中,不同图像采集装置采集得到的待评价图片的分辨率可能不同,不同分辨率对最终得到的评价分数可能会产生影响,因此,为了保证评价分数的准确性,实施例中,在计算相似度时,加入了分辨率维度。即计算相似度时考虑当前待评价图片的分辨率。此时,该步骤具体包括步骤20721-步骤20723:
步骤20721、确认待评价图片中与所述局部相似度对应的子像素区域所落入的分辨率维度。
具体的,预先划分不同的分辨率范围,每个分辨率范围对应一个分辨率维度。其中,划分规则实施例不作限定。计算每个局部相似度时,窗口会落入像素区域中的一块子像素区域,本步骤中,可以确定各子像素区域对应的分辨率,进而确定分辨率所属的分辨率范围,以此可以确定分辨率对应的分辨率维度。
步骤20722、查找所述分辨率维度对应的权重。
具体的,预先设定不同分辨率维度对应的权重,其中,设定规则实施例不做限定。通过权重可以平衡不同分辨率对评价分数的影响。实施例中,确定每个局部相似度对应的分辨率维度后,根据分辨率维度与权重的对应关系得到每个局部相似度对应的权重。
步骤20723、根据各所述局部相似度以及对应的权重计算平均相似度。
具体的,在计算平均相似度时,可以结合权重,利用加权平均的方式得到平均相似度,进而将计算得到的平均相似度作为像素区域和对应标准图片之间的相似度。
步骤208、在计算得到的相似度中,选择最大相似度,并将所述最大相似度作为所述待评价图片的评价分数。
具体的,相似度越高说明修正图片与对应的标准图片越相似,修正图片中的文本信息越准确,对应的待评价图片的质量越高。因此,实施例中计算修正图片和每张标准图片的相似度之后,在全部相似度中,选择最大相似度。之后,将选择的最大相似度作为待评价图片的评价分数。
可以理解,实际应用中,可以构建评价分数模型,此时,将修正图片输入至评价分数模型后,评价分数模型可以基于上述处理过程输出最大相似度。
步骤209、判断评价分数是否大于或等于分数阈值,若所述评价分数大于或等于分数阈值,则执行步骤210。否则,执行步骤212。
具体的,分数阈值可以根据实际情况设定,用于对待评价图片的质量进行划分。当评价分数大于或等于分数阈值时,说明待评价图片的质量比较好,并执行步骤210,当评价分数小于分数阈值时,说明待评价图片的质量较差,并执行步骤212。举例而言,设定分数阈值为0.5,若评价分数大于或等于0.5,则执行步骤210,否则,执行步骤212。
步骤210、将所述待评价图片确认为有效图片。
具体的,当评价分数大于或等于分数阈值时,将待评价图片确认为有效图片,即确认待图片审核通过,即可以后续使用。
步骤211、将所述有效图片以及所述有效图片中包含的文本信息上传至数据库中,以便于用户通过数据库查看所述有效图片和文本信息。
一个实施例中,将有效图片(即待评价图片)上传至数据库中,其中,数据库可以为图片评价设备自身配置的数据库,也可以为其他设备或云存储中配置的数据库,其具体的数据库形式实施例不作限定。进一步的,用户可以通过访问数据库的方式查看数据库中存储的数据。
可选的,向数据库上传有效图片时,同时上传有效图片中的文本信息(如门店的名称和/或logo)。可以理解,可以结合数据库的应用场景,同步上传其他信息,以便于用户查看文本信息和有效图片。举例而言,假设有效图片为门店图片,对于门店展示场景下,数据库中可以存储有效图片和文本信息,此时,用户可以通过输入文本信息的方式查看对应的有效图片。再如,对于室内定位场景,数据库中还存储有门店的具体地理位置,此时,数据库可以通过获取用户的位置,确定距离用户最近的门店位置,进而反馈对应的有效图片和文本信息,以便于用户查看。需说明,用户访问数据库是指用户通过所使用的设备与配置数据库的设备进行数据通信,进而实现访问数据库。由于有效图片均为审核通过的图片,因此,用户仅会查看到形变小的图片。
步骤212、将所述待评价图片确认为无效图片。
具体的,当评价分数小于分数阈值时,确定待评价图片为无效图片,即审核不通过的图片。此时,可以重新采集待评价图片并进行评价,还可以由人工审核的方式确认待评价图片是否审核通过。
上述,通过获取待评价图片,通过图片修正模型得到待评价图片的扭曲图片,之后,通过比较待评价图片和扭曲图片得到扭曲图片的像素矩阵,即对扭曲图片添加标签,之后,将扭曲图片和像素矩阵作为包含空洞卷积的神经网络的输入,以得到修正图片,并利用结构相似性算法得到修正图片中文本信息的像素区域和标准图片之间的局部相似度,结合待评价图片的分辨率维度,计算局部相似度的平均相似度,进而得到像素区域和标准图片之间的相似度,在得到标准图片库中全部标准图片与像素区域的相似度后,将最大相似度作为待评价图片的评价分数,之后,若评价分数大于或等于分数阈值,则将待评价图片确认为有效图片,并将有效图片以及有效图片中包含的文本信息上传至数据库中,以便于用户查看有效图标和文本信息的技术手段,解决了现有技术中无法快速、高效地得到图片的审核结果的技术问题,利用图片修正和图片相似度计算实现自动评价图片,不仅可以节省大量的人力资源,缩短审核周期,且可以防止人工审核图片的主观性,保证图片审核的质量。同时,在进行图片修正时,通过像素矩阵为扭曲图片添加标签,可以实现采用神经网络的方式得到修正图片,且上述方式具有泛化性,并将像素级分类问题转化为像素级的回归问题。同时,神经网络中包含空洞卷积,可以增加感受野,保证处理结果准确性。并且,在进行相似度计算时,考虑到了不同分辨率对相似度的影响,可以保证相似度更加准确,即提高待评价图片的评价准确率。进一步的,自动评价图片后,可以将有效图片输入至数据库,便于用户查询,无需人工录入数据库,可以进一步减小人力资源浪费。
可以理解,在进行折叠和/或卷曲处理后,扭曲图片中会存在一些黑点或黑线。这是因为在进行折叠/或卷曲处理时有一个取整操作,这可能会让原本相邻的两个或两列像素点空出一列,进而导致这些像素点在扭曲图片中的像素为空,即呈现黑点或黑线。例如,图3为本申请一个实施例提供的折叠和/或卷曲处理前后示意图,参考图3,区域21为待评价图片中的一块像素区域,每个方块代表一个像素点,此时,第一列像素点的像素值为a,第二列像素点的像素值为b,在折叠/或卷曲变换时有一个取整操作,此时,区域21变为区域22,由图3可知,第二列像素点为空白像素点,那么,在扭曲图片中,该列像素点的位置处会显示一条黑线。此时,为了防止黑点或黑线对后续处理过程的影响,实施例中设定指示所述图片修正模型对所述待评价图片中的各像素点进行折叠和/或卷曲处理,以得像素矩阵之后,还包括:
步骤213、指示所述图片修正模型基于所述像素矩阵确定空白像素点。
具体的,由于像素矩阵中记录了扭曲图片中每个像素点的灰度值,此时,可以通过查看像素矩阵中各像素值确定空白像素点。由于空白像素点显示为黑色,即灰度值为0,因此,可以将灰度值为0的像素点确定为空白像素点。
步骤214、指示所述图片修正模型基于所述空白像素点的近邻像素点进行近邻插值,以得到所述空白像素点的灰度值,并更新所述像素矩阵。
具体的,采用近邻插值法得到空白像素点的灰度值。即通过空白像素点的近邻像素点的灰度值得到空白像素点的灰度值,其中,灰度值确定方式可以根据实际情况设定,如选择某个近邻像素点的灰度值作为空白像素点的灰度值。再如,计算近邻像素点的灰度均值,并取整后得到空白像素点的灰度值。或者采用其他的方式得到空白像素点的灰度值。之后,便可以更新像素矩阵中各空白像素点的灰度值。进而在网络模型中输入更新后的像素矩阵。
上述通过近邻插值的方式,可以避免扭曲图片中出现空白像素点,进而保证后续处理准确度。可以理解,除了近邻插值法,还可以采用其他方式修复空白像素点,实施例对此不作限定。
图4为本申请一个实施例提供的一种图片评价装置的结构示意图。参考图4,本实施例提供的图片评价装置包括:图片获取模块301、图片修正模块302和分数计算模块303。
其中,图片获取模块301,用于获取待评价图片;图片修正模块302,用于通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片;分数计算模块303,用于计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数。
上述,通过获取待评价图片,并利用图片修正模型对待评价图片进行形变修正得到修正图片,之后,计算修正图片与标准图片库中各标准图片的相似度,进而得到待评价图片的评价分数的技术手段,可以解决现有技术中无法快速、高效地得到图片的审核结果的技术问题,利用图片修正和图片相似度计算实现自动评价图片,不仅可以节省大量的人力资源,缩短审核周期,且可以防止人工审核图片的主观性,保证图片审核的质量。
在上述实施例的基础上,图片修正模块302包括:数据输入单元,用于将所述待评价图片输入至图片修正模型;扭曲图片获取单元,用于指示所述图片修正模型对所述待评价图片中的各像素点进行折叠和/或卷曲处理,以得到至少一张扭曲图片;矩阵确定单元,用于指示所述图片修正模型根据所述待评价图片和所述扭曲图片确定扭曲图片的像素矩阵,所述像素矩阵包括扭曲图片中各像素点的灰度值、各像素点在x轴上的移动方向和移动距离、以及各像素点在y轴上的移动方向和移动距离;修正图片获取单元,用于指示所述图片修正模型将包含像素矩阵的扭曲图片输入至包含空洞卷积的神经网络,以得到修正图片。
在上述实施例的基础上,还包括:空白像素查找模块,用于指示所述图片修正模型根据所述待评价图片和所述扭曲图片确定扭曲图片的像素矩阵之后,指示所述图片修正模型基于所述像素矩阵确定所述扭曲图片中的空白像素点;近邻插值模块,用于指示所述图片修正模型基于所述空白像素点的近邻像素点进行近邻插值,以得到所述空白像素点的灰度值,并更新所述像素矩阵。
在上述实施例的基础上,分数计算模块303包括:区域获取单元,用于获取所述修正图片中包含文本信息的像素区域,所述文本信息利用光学字符识别得到;相似度计算单元,用于计算所述像素区域与标准图片库中各标准图片之间的相似度;分数选择单元,用于在计算得到的相似度中,选择最大相似度,并将所述最大相似度作为所述待评价图片的评价分数。
在上述实施例的基础上,相似度计算单元包括:局部相似度计算子单元,用于利用结构相似性算法得到所述像素区域和标准图片库中标准图片之间的局部相似度;平均相似度计算子单元,用于结合所述待评价图片的分辨率维度,计算各所述局部相似度的平均相似度,以得到所述像素区域和对应标准图片之间的相似度。
在上述实施例的基础上,平均相似度计算子单元包括:分辨率维度确定孙单元,用于确认待评价图片中与所述局部相似度对应的子像素区域所落入的分辨率维度;权重查找孙单元,用于查找所述分辨率维度对应的权重;计算孙单元,用于根据各所述局部相似度以及对应的权重计算平均相似度。
在上述实施例的基础上,还包括:分数比较模块,用于计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数之后,若所述评价分数大于或等于分数阈值,则将所述待评价图片确认为有效图片;数据上传模块,用于将所述有效图片以及所述有效图片中包含的文本信息上传至数据库中,以便于用户通过数据库查看所述有效图片和文本信息。
本实施例提供的图片评价装置包含在图片评价设备中,可以用于执行上述任意实施例提供的图片评价方法,具备相应的功能和有益效果。
值得注意的是,上述图片评价装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
图5为本申请一个实施例提供的一种图片评价设备的结构示意图。具体的,如图5所示,该图片评价设备包括处理器40、存储器41、输入装置42、输出装置43以及通信装置44;该图片评价设备中处理器40的数量可以是一个或多个,图5中以一个处理器40为例;该图片评价设备中的处理器40、存储器41、输入装置42、输出装置43以及通信装置44可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的图片评价方法中的程序指令/模块(例如,图片评价装置中的图片获取模块301、图片修正模块302和分数计算模块303)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行图片评价设备的各种功能应用以及数据处理,即实现上述任意实施例提供的图片评价方法。
存储器41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据图片评价设备的使用所创建的数据等。此外,存储器41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至图片评价设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息,以及产生与图片评价设备的用户设置以及功能控制有关的键信号输入,还可以通过图像采集装置(如摄像头)、音频采集装置(如麦克风)等。输出装置43可包括显示屏、扬声器等设备。通信装置44用于与其他设备进行数据通信。
上述图片评价设备可以用于执行任意实施例提供的图片评价方法,具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图片评价方法,该方法包括:
获取待评价图片;
通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片;
计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本申请任意实施例所提供的图片评价方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本申请可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的图片评价方法。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
1.一种图片评价方法,其特征在于,包括:
获取待评价图片;
通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片;
计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数。
2.根据权利要求1所述的图片评价方法,其特征在于,所述通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片包括:
将所述待评价图片输入至图片修正模型;
指示所述图片修正模型对所述待评价图片中的各像素点进行折叠和/或卷曲处理,以得到至少一张扭曲图片;
指示所述图片修正模型根据所述待评价图片和所述扭曲图片确定扭曲图片的像素矩阵,所述像素矩阵包括扭曲图片中各像素点的灰度值、各像素点在x轴上的移动方向和移动距离、以及各像素点在y轴上的移动方向和移动距离;
指示所述图片修正模型将包含像素矩阵的扭曲图片输入至包含空洞卷积的神经网络,以得到修正图片。
3.根据权利要求2所述的图片评价方法,其特征在于,所述指示所述图片修正模型根据所述待评价图片和所述扭曲图片确定扭曲图片的像素矩阵之后,还包括:
指示所述图片修正模型基于所述像素矩阵确定所述扭曲图片中的空白像素点;
指示所述图片修正模型基于所述空白像素点的近邻像素点进行近邻插值,以得到所述空白像素点的灰度值,并更新所述像素矩阵。
4.根据权利要求1所述的图片评价方法,其特征在于,所述计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数包括:
获取所述修正图片中包含文本信息的像素区域,所述文本信息利用光学字符识别得到;
计算所述像素区域与标准图片库中各标准图片之间的相似度;
在计算得到的相似度中,选择最大相似度,并将所述最大相似度作为所述待评价图片的评价分数。
5.根据权利要求4所述的图片评价方法,其特征在于,所述计算所述像素区域与标准图片库中各标准图片之间的相似度包括:
利用结构相似性算法得到所述像素区域和标准图片库中标准图片之间的局部相似度;
结合所述待评价图片的分辨率维度,计算各所述局部相似度的平均相似度,以得到所述像素区域和对应标准图片之间的相似度。
6.根据权利要求5所述的图片评价方法,其特征在于,所述结合所述待评价图片的分辨率维度,计算各所述局部相似度的平均相似度包括:
确认待评价图片中与所述局部相似度对应的子像素区域所落入的分辨率维度;
查找所述分辨率维度对应的权重;
根据各所述局部相似度以及对应的权重计算平均相似度。
7.根据权利要求1所述的图片评价方法,其特征在于,所述计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数之后,还包括:
若所述评价分数大于或等于分数阈值,则将所述待评价图片确认为有效图片;
将所述有效图片以及所述有效图片中包含的文本信息上传至数据库中,以便于用户通过数据库查看所述有效图片和文本信息。
8.一种图片评价装置,其特征在于,包括:
图片获取模块,用于获取待评价图片;
图片修正模块,用于通过图片修正模型对所述待评价图片进行形变修正,以得到修正图片;
分数计算模块,用于计算所述修正图片和标准图片库中各标准图片之间的相似度,并根据所述相似度得到所述待评价图片的评价分数。
9.一种图片评价设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的图片评价方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图片评价方法。
技术总结