本发明涉及图像和视频显示适应处理领域，特别是一种基于配准置信度量的图像显示适应评估方法。
背景技术：
随着移动显示设备的发展，图像和视频需要适配具有不同尺寸和宽高比的各种显示设备。在过去的几年中，研究人员提出了许多图像显示适应算法来自适应地调整图像和视频的宽高比和尺寸。由于复杂的图像转换和显示适应操作，可能会给显示适应图像造成信息丢失，并给图像结构带来一些扭曲，例如拉伸，挤压，不均匀的翘曲等，从而降低视觉感知质量。仍然没有一种图像显示适应方法可以很好地应用于各种图像并产生令人满意的图像显示适应结果。因此，有必要开发一个有效的图像显示适应评估方法，以选择良好的显示适应图像。
为了克服原始图像和显示适应图像之间的尺寸差异，zhang等人利用siftflow算法建立原始图像与显示适应图像之间的像素对应，并提出宽高比相似性度量，并通过重要性加权将每一个局部图像块的宽高比相似性。zhang等人在宽高比相似性的基础上，考虑了人类视觉系统感兴趣的人脸和线条特征并提出了基于多级特征的显示适应图像质量评估方法。guo等人为了度量整体变形，提出了基于b样条函数的弹性配准和前景保留特征。fu等人对原始图像和显示适应图像进行双向配准，利用相似性变换矩阵与标准变换句正经间的距离得到显示适应图像的几何失真。通过局部图像块的面积缺失度量显示适应图像的信息损失。zhang等人认为siftflow算法存在错误匹配的情况。他们认为像素点在显示适应前后，对应的像素点在颜色上应该是相似的。因此，提出了一种color-flow的配准方法，对区域级别的形状保真度和像素级别的信息保真度以及块级别的形状保真度进行度量，最后整合三个保真度量得到客观图像质量。
尽管上述基于配准的图像显示适应评估方法通过配准算法可以有效匹配原始图像与显示适应图像之间的像素，但是显示适应图像在经历拉伸，放缩以及各种复杂的几何变换之后，配准结果往往是不准确的。原始图像和显示适应图像之间的配准是计算局部保真度量的关键步骤。因为图像保真度是在图像配准结果的基础上进行计算的，所以不正确的图像配准结果将导致计算的图像保真度结果不准确，从而导致基于配准的图像显示适应评估方法所评估的显示适应图像的质量不可靠。现有的基于配准的图像显示适应评估方法并没有考虑配准不准确对图像显示适应评估性能的影响。
技术实现要素：
有鉴于此，本发明的目的是提出一种基于配准置信度量的图像显示适应评估方法，有利于提高图像显示适应评估性能。
本发明采用以下方案实现：一种基于配准置信度量的图像显示适应评估方法，包括以下步骤：
对原始图像进行显著性检测，生成显著性图；
计算待评估的显示适应结果图像和原始图像之间的配准置信度量；
计算待评估的显示适应结果图像的块级图像相似度量；
利用配准置信度量对块级图像相似度量进行校正，得到块级保真度量；
使用显著性图对块级保真度量进行加权池化并得到图像质量分数。
进一步地，所述计算待评估的显示适应结果图像和原始图像之间的配准置信度量具体包括以下步骤：
步骤s21：先对原始图像和待评估的显示适应结果图像进行后向配准，建立原始图像与待评估的显示适应结果图像之间对应关系
步骤s22：计算与原始图像io对应的显示适应结果图像ir相同尺寸的重构图像
式中，
步骤s23：计算待评估的显示适应结果图像与重构图像之间的结构相似性issim(pr)：
式中，issim(pr)表示待评估的显示适应结果图像ir中pr处像素与重构图像
步骤s24：步骤s21的后向配准所建立的对应关系是从待评估图像中的像素到原始图像中的像素的一一映射，使用io和ir中的对应像素坐标对组成po和pr两个对应坐标集，并建立一个坐标映射函数mc，由于原始图像与显示适应图像存在尺寸差异，当目标尺寸小于原始尺寸时，并不是所有io中的像素都能在ir中找到其对应的像素，因此对于po中的原始图像像素坐标po(po∈po)，其在pr中相应的像素坐标即为pr＝mc(po)，对于不在po中的原始图像像素坐标po(po∉po)，称为无匹配的像素的坐标；对于无匹配的像素，通常存在两种情况，即是由于配准算法误差所导致的遗漏，或者是在显示适应过程中由于过度挤压和裁剪掉的像素。如果，配准算法足够准确，那么出现遗漏的可能性就会降低，因此本发明将无匹配的像素位置的置信度值定义为issim的平均值；根据坐标映射函数，遍历io中的所有像素坐标，根据计算issim得到与原始图像具有相同尺寸的配准置信度图rcm，其公式定义如下：
式中，rcm(po)表示原始图像io上po处像素的置信度值；hr和wr分别表示待评估的显示适应结果图像的高度和宽度。
进一步地，步骤s21中，采用基于siftflow的后向配准算法来建立原始图像与待评估的显示适应结果图像之间对应关系，待评估的显示适应结果图像到原始图像的siftflow矢量场通过求解能量最小化问题来计算，如下所示：
式中，pr代表待评估的显示适应结果图像中的像素坐标，下标r是retargeted的首字母，qr是pr的邻接像素坐标之一，ε是pr的四个连接的邻域集，w(pr)＝(u(pr),v(pr))代表pr处像素对应的siftflow位移矢量，u(pr)和u(qr)分别表示像素pr和qr的siftflow矢量的水平分量，v(pr)和v(qr)分别表示像素pr和qr的siftflow矢量的垂直分量，d是一个阈值，α是第二项的加权因子；原始图像与待评估的显示适应结果图像之间对应关系
较佳的，所述d和α的值分别取40和2。
进一步地，所述计算待评估的显示适应结果图像的块级图像相似度量具体为：
步骤s31：将原始图像io划分为n×n的图像块，总块数为n；同时，将io对应的显著性图做与原始图像io相同的划分；构造一张和原始图像尺寸相同的分块标号图，图中每个像素的值对应它的分块标号，标号从1到n；然后建立显示适应结果图像中每个像素对应的分块标号图，其计算公式如下：
式中，pr为显示适应结果图像ir上的像素坐标；
式中，k表示原始图像中局部图像块的索引，宽度和高度的变化比分别为rw(k)＝w*(k)/n和rh(k)＝h*(k)/n，w*(k)和h*(k)表示待评估的显示适应结果图像中的局部待评估图像块水平和竖直方向上最大的宽度和高度，定义为每个待评估图像的网格内像素之间的最大水平和垂直距离。当宽高比变化相等时，对原始局部图像块均匀缩放，最大值为1。当在显示适应期间移除整个块时，即rw＝rh＝0；λ表示视觉失真的惩罚因子，本发明取值为0.66；
步骤s32：将每个待评估的显示适应结果图像块中保留的像素数计算为相应图像块的面积，记为a*。当待评估图像块的面积更接近原始局部图像块的面积n2时，原始图像块中的信息得到很好的保存。计算待评估的显示适应结果图像中的局部块的面积相似度：
式中，ra(k)＝a*(k)/n2为局部块的面积变化率，a*(k)为第k个待评估的显示适应结果图像的局部块面积，η是一个大于零的常数，它控制了图像保真度量中信息丢失的重要性，默认值为0.3；
步骤s33：将第k对原始图像和其对应的待评估的显示适应结果图像的图像块的轮廓分别表示为co(k)和cr(k)；每个轮廓中的像素采用八连通freeman链码表示，然后计算该轮廓的链码直方图；第k对轮廓co(k)和cr(k)的链码直方图分别表示为
式中，
步骤s34：使用余弦相似度来计算第k对图像块轮廓的链码直方图的相似度h(k)：
步骤s35：采用高斯函数计算第k对图像块轮廓的形状相似度如下：
式中，β是一个大于0的常数，用于调整形状相似度在图像保真度度量中的权重，sh(k)即为局部块级图像相似度量。较佳的，本发明取β的值为0.3。
进一步地，所述利用配准置信度量对块级图像相似度量进行校正，得到块级保真度量具体为：将宽高比相似度、面积相似度和局部块级图像相似度量与配准置信度量相结合，计算第k对图像块的局部保真度：
式中，f(k)表示第k个局部块的保真度分数，
进一步地，所述使用显著性图对块级保真度量进行加权池化并得到图像质量分数具体包括以下步骤：
步骤s51：使用显著性图对块级保真度进行加权池化并得到图像质量分数，待评估的显示适应结果图像的局部图像块的客观质量为：
式中，
步骤s52：最终显示适应结果图像的质量分数计算公式如下：
与现有技术相比，本发明有以下有益效果：本发明通过减小配准不准确对图像显示适应评估方法的影响，从而提高图像显示适应评估方法性能。该方法对原始图像进行显著性检测，并生成显著性图。然后分别计算待评估图像的块级图像保真度，包括宽高比相似度，面积相似度以及块级形状相似度。最后，使用显著性图对块级保真度进行加权池化并得到图像质量分数。本发明首次考虑配准算法不准确对图像显示适应评估方法的影响，提出一种配准置信度量，能够显著提高图像显示适应评估方法性能。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例的原理框架图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1以及图2所示，本实施例提供了一种基于配准置信度量的图像显示适应评估方法，包括以下步骤：
对原始图像进行显著性检测，生成显著性图；
计算待评估的显示适应结果图像和原始图像之间的配准置信度量；
计算待评估的显示适应结果图像的块级图像相似度量；
利用配准置信度量对块级图像相似度量进行校正，得到块级保真度量；
使用显著性图对块级保真度量进行加权池化并得到图像质量分数。
在本实施例中，所述计算待评估的显示适应结果图像和原始图像之间的配准置信度量具体包括以下步骤：
步骤s21：先对原始图像和待评估的显示适应结果图像进行后向配准，建立原始图像与待评估的显示适应结果图像之间对应关系
步骤s22：计算与原始图像io对应的显示适应结果图像ir相同尺寸的重构图像
式中，
步骤s23：计算待评估的显示适应结果图像与重构图像之间的结构相似性issim(pr)：
式中，issim(pr)表示待评估的显示适应结果图像ir中pr处像素与重构图像
步骤s24：步骤s21的后向配准所建立的对应关系是从待评估图像中的像素到原始图像中的像素的一一映射，使用io和ir中的对应像素坐标对组成po和pr两个对应坐标集，并建立一个坐标映射函数mc，由于原始图像与显示适应图像存在尺寸差异，当目标尺寸小于原始尺寸时，并不是所有io中的像素都能在ir中找到其对应的像素，因此对于po中的原始图像像素坐标po(po∈po)，其在pr中相应的像素坐标即为pr＝mc(po)，对于不在po中的原始图像像素坐标po(po∉po)，称为无匹配的像素的坐标；对于无匹配的像素，通常存在两种情况，即是由于配准算法误差所导致的遗漏，或者是在显示适应过程中由于过度挤压和裁剪掉的像素。如果，配准算法足够准确，那么出现遗漏的可能性就会降低，因此本发明将无匹配的像素位置的置信度值定义为issim的平均值；根据坐标映射函数，遍历io中的所有像素坐标，根据计算issim得到与原始图像具有相同尺寸的配准置信度图rcm，其公式定义如下：
式中，rcm(po)表示原始图像io上po处像素的置信度值；hr和wr分别表示待评估的显示适应结果图像的高度和宽度。
在本实施例中，步骤s21中，采用基于siftflow的后向配准算法来建立原始图像与待评估的显示适应结果图像之间对应关系，待评估的显示适应结果图像到原始图像的siftflow矢量场通过求解能量最小化问题来计算，如下所示：
式中，pr代表待评估的显示适应结果图像中的像素坐标，下标r是retargeted的首字母，qr是pr的邻接像素坐标之一，ε是pr的四个连接的邻域集，w(pr)＝(u(pr),v(pr))代表pr处像素对应的siftflow位移矢量，u(pr)和u(qr)分别表示像素pr和qr的siftflow矢量的水平分量，v(pr)和v(qr)分别表示像素pr和qr的siftflow矢量的垂直分量，d是一个阈值，α是第二项的加权因子；原始图像与待评估的显示适应结果图像之间对应关系
较佳的，所述d和α的值分别取40和2。
在本实施例中，所述计算待评估的显示适应结果图像的块级图像相似度量具体为：
步骤s31：将原始图像io划分为n×n的图像块，总块数为n；同时，将io对应的显著性图做与原始图像io相同的划分；构造一张和原始图像尺寸相同的分块标号图，图中每个像素的值对应它的分块标号，标号从1到n；然后建立显示适应结果图像中每个像素对应的分块标号图，其计算公式如下：
式中，pr为显示适应结果图像ir上的像素坐标；
式中，k表示原始图像中局部图像块的索引，宽度和高度的变化比分别为rw(k)＝w*(k)/n和rh(k)＝h*(k)/n，w*(k)和h*(k)表示待评估的显示适应结果图像中的局部待评估图像块水平和竖直方向上最大的宽度和高度，定义为每个待评估图像的网格内像素之间的最大水平和垂直距离。当宽高比变化相等时，对原始局部图像块均匀缩放，最大值为1。当在显示适应期间移除整个块时，即rw＝rh＝0；λ表示视觉失真的惩罚因子，本发明取值为0.66；
步骤s32：将每个待评估的显示适应结果图像块中保留的像素数计算为相应图像块的面积，记为a*。当待评估图像块的面积更接近原始局部图像块的面积n2时，原始图像块中的信息得到很好的保存。计算待评估的显示适应结果图像中的局部块的面积相似度：
式中，ra(k)＝a*(k)/n2为局部块的面积变化率，a*(k)为第k个待评估的显示适应结果图像的局部块面积，η是一个大于零的常数，它控制了图像保真度量中信息丢失的重要性，默认值为0.3；
步骤s33：将第k对原始图像和其对应的待评估的显示适应结果图像的图像块的轮廓分别表示为co(k)和cr(k)；每个轮廓中的像素采用八连通freeman链码表示，然后计算该轮廓的链码直方图；第k对轮廓co(k)和cr(k)的链码直方图分别表示为
式中，
步骤s34：使用余弦相似度来计算第k对图像块轮廓的链码直方图的相似度h(k)：
步骤s35：采用高斯函数计算第k对图像块轮廓的形状相似度如下：
式中，β是一个大于0的常数，用于调整形状相似度在图像保真度度量中的权重，sh(k)即为局部块级图像相似度量。较佳的，本发明取β的值为0.3。
在本实施例中，所述利用配准置信度量对块级图像相似度量进行校正，得到块级保真度量具体为：将宽高比相似度、面积相似度和局部块级图像相似度量与配准置信度量相结合，计算第k对图像块的局部保真度：
式中，f(k)表示第k个局部块的保真度分数，
在本实施例中，所述使用显著性图对块级保真度量进行加权池化并得到图像质量分数具体包括以下步骤：
步骤s51：使用显著性图对块级保真度进行加权池化并得到图像质量分数，待评估的显示适应结果图像的局部图像块的客观质量为：
式中，
步骤s52：最终显示适应结果图像的质量分数计算公式如下：
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
1.一种基于配准置信度量的图像显示适应评估方法，其特征在于，包括以下步骤：
对原始图像进行显著性检测，生成显著性图；
计算待评估的显示适应结果图像和原始图像之间的配准置信度量；
计算待评估的显示适应结果图像的块级图像相似度量；
利用配准置信度量对块级图像相似度量进行校正，得到块级保真度量；
使用显著性图对块级保真度量进行加权池化并得到图像质量分数。
2.根据权利要求1所述的一种基于配准置信度量的图像显示适应评估方法，其特征在于，所述计算待评估的显示适应结果图像和原始图像之间的配准置信度量具体包括以下步骤：
步骤s21：先对原始图像和待评估的显示适应结果图像进行后向配准，建立原始图像与待评估的显示适应结果图像之间对应关系
步骤s22：计算与原始图像io对应的显示适应结果图像ir相同尺寸的重构图像
式中，
步骤s23：计算待评估的显示适应结果图像与重构图像之间的结构相似性issim(pr)：
式中，issim(pr)表示待评估的显示适应结果图像ir中pr处像素与重构图像
步骤s24：使用io和ir中的对应像素坐标对组成po和pr两个对应坐标集，并建立一个坐标映射函数mc，对于po中的原始图像像素坐标po(po∈po)，其在pr中相应的像素坐标即为pr＝mc(po)，对于不在po中的原始图像像素坐标
式中，rcm(po)表示原始图像io上po处像素的置信度值；hr和wr分别表示待评估的显示适应结果图像的高度和宽度。
3.根据权利要求2所述的一种基于配准置信度量的图像显示适应评估方法，其特征在于，步骤s21中，采用基于siftflow的后向配准算法来建立原始图像与待评估的显示适应结果图像之间对应关系，待评估的显示适应结果图像到原始图像的siftflow矢量场通过求解能量最小化问题来计算，如下所示：
式中，pr代表待评估的显示适应结果图像中的像素坐标，qr是pr的邻接像素坐标之一，ε是pr的四个连接的邻域集，w(pr)＝(u(pr),v(pr))代表pr处像素对应的siftflow位移矢量，u(pr)和u(qr)分别表示像素pr和qr的siftflow矢量的水平分量，v(pr)和v(qr)分别表示像素pr和qr的siftflow矢量的垂直分量，d是一个阈值，α是第二项的加权因子；原始图像与待评估的显示适应结果图像之间对应关系
4.根据权利要求1所述的一种基于配准置信度量的图像显示适应评估方法，其特征在于，所述计算待评估的显示适应结果图像的块级图像相似度量具体为：
步骤s31：将原始图像io划分为n×n的图像块，总块数为n；同时，将io对应的显著性图做与原始图像io相同的划分；构造一张和原始图像尺寸相同的分块标号图，图中每个像素的值对应它的分块标号，标号从1到n；然后建立显示适应结果图像中每个像素对应的分块标号图，其计算公式如下：
式中，pr为显示适应结果图像ir上的像素坐标；
式中，k表示原始图像中局部图像块的索引，宽度和高度的变化比分别为rw(k)＝w*(k)/n和rh(k)＝h*(k)/n，w*(k)和h*(k)表示待评估的显示适应结果图像中的局部待评估图像块水平和竖直方向上最大的宽度和高度；λ表示视觉失真的惩罚因子；
步骤s32：计算待评估的显示适应结果图像中的局部块的面积相似度：
式中，ra(k)＝a*(k)/n2为局部块的面积变化率，a*(k)为第k个待评估的显示适应结果图像的局部块面积，η是一个大于零的常数；
步骤s33：将第k对原始图像和其对应的待评估的显示适应结果图像的图像块的轮廓分别表示为co(k)和cr(k)；每个轮廓中的像素采用八连通freeman链码表示，然后计算该轮廓的链码直方图；第k对轮廓co(k)和cr(k)的链码直方图分别表示为
式中，
步骤s34：使用余弦相似度来计算第k对图像块轮廓的链码直方图的相似度h(k)：
步骤s35：采用高斯函数计算第k对图像块轮廓的形状相似度如下：
式中，β是一个大于0的常数，用于调整形状相似度在图像保真度度量中的权重，sh(k)即为局部块级图像相似度量。
5.根据权利要求1所述的一种基于配准置信度量的图像显示适应评估方法，其特征在于，所述利用配准置信度量对块级图像相似度量进行校正，得到块级保真度量具体为：将宽高比相似度、面积相似度和局部块级图像相似度量与配准置信度量相结合，计算第k对图像块的局部保真度：
式中，f(k)表示第k个局部块的保真度分数，
6.根据权利要求1所述的一种基于配准置信度量的图像显示适应评估方法，其特征在于，所述使用显著性图对块级保真度量进行加权池化并得到图像质量分数具体包括以下步骤：
步骤s51：使用显著性图对块级保真度进行加权池化并得到图像质量分数，待评估的显示适应结果图像的局部图像块的客观质量为：
式中，
步骤s52：最终显示适应结果图像的质量分数计算公式如下：
