本发明属于图像处理技术领域，尤其涉及一种基于点线特征的最大直方图异源图像匹配方法。
背景技术：
近年来，异源图像分析被广泛应用于跟踪、视频监控、制导和遥感监测等众多领域。这些应用往往都是采用不同成像机理的传感器获取的图像。所谓的异源图像匹配就是从不同传感器图像中定位具有相同特征和区域的过程。异源图像对提供的信息可以相互补充，有利于在缺乏有效信息的情况下解决各种检测问题。在这些需要图像分析的视觉任务中，图像匹配是最重要的处理步骤之一。然而，由于不同的传感器获取图像的原理不同，导致获取图像在相同区域呈现出不同灰度强度和纹理特征。一方面，在参考图像中呈现的单个特征可能不会出现在目标图像的相应区域中；另一方面，参考图像中的多个特征映射到目标图像中的唯一特征，反之亦然。此外，异源图像的计算效率和匹配精度及其稳定性都是后续执行图像配准、目标检测、定位和导航的巨大保障。因此，异源图像匹配仍然是一项具有挑战性的课题，仍然需要研究者开发出效率高、稳定性好的异源图像匹配算法。
一般来说，匹配的成功于否，很大程度上依赖于描述子的描述能力和对应区域之间关键点的可重复性。在异源图像匹配中，红外图像往往质量较差，且比可见光图像包含可探测特征点更少。因此，在异源图像中，基于单一的点特征描述子很难实现令人满意的匹配性能。边缘作为一种重要的图像特征，在异源图像匹配中比点特征更容易获取稳定的局部特征。然而，与基于特征点的特征匹配相比，边缘特征在图像匹配中的应用较少，因为基于边缘特征构造的描述子需要对局部信息进行编码，端点的不确定性对匹配性能有很大影响。因此，单独使用基于特征点或边缘特征在异源图像匹配中仍然难以获得满意的匹配结果。然而现阶段的异源图像匹配，为了满足匹配效率，往往都采用单一特征进行匹配，而单一特征没有充分利用图像的有用信息，导致匹配精度不高，获得的匹配点对数量也较少。
技术实现要素：
本发明的目的在于提供一种基于点线特征的最大直方图异源图像匹配方法，通过匹配不同传感器下的不同成像特征，融合各波段有用信息以期实现遥感图像全天候监测和精准的定位，充分分析图像特征对异源图像匹配系统的影响，确立影响匹配系统性能的特征要素，设计一种融合的局部特征描述子，解决单一特征匹配方法在区域特征差异较大的异源图像匹配时存在描述特征不稳定的问题。
为达到上述目的，本发明采用的技术方案如下：
一种基于点线特征的最大直方图异源图像匹配方法，包括：
将参考图像和待匹配的异源图像分别灰度化后提取分布在粗大边缘区域的特征点；
对参考图像和待匹配的异源图像提取的特征点，构造特征点最大梯度方向特征描述，以及构造特征点最大边缘方向特征描述；
结合特征点最大梯度方向特征描述和特征点最大边缘方向特征描述，构造新的特征点描述子；
采用双边匹配规则对特征点进行匹配。
进一步的，所述将参考图像和待匹配的异源图像分别灰度化后提取粗大边缘区域的特征点，包括：
当一个潜在的目标检测器置信度附加到其预测位置时，通过考虑不同的置信阈值，能够得到一整套目标检测器，置信度对象检测器被赋予一个输入图像或一组图像，并生成一组置信度位置：
h＝{((x1,y1),c1),((x2,y2),c2),...,((xi,yi),ci)}
其中，(xi,yi)是图像中第i个预测位置，ci是预测置信度；
用h(θ)表示在置信阈值θ下过滤的列表h：
h(θ)＝{(x,y)：((x,y),c)∈handc≥θ}
在置信阈值θ下过滤的列表h以坐标形式输出分布于粗大边缘区域的特征点位置(xi,yi)。
进一步的，所述对参考图像和待匹配的异源图像提取的特征点，构造特征点最大梯度方向特征描述，包括：
对待匹配图像灰度化并求梯度：
其中，i为灰度图像，gx和gy分别为水平x方向和垂直y方向的梯度；
对所求解的梯度，采用梯度平方，将相反方向的梯度归化为相同方向：
其中，gs,x和gs,y分别表示水平x方向和垂直y方向的梯度平方；
求解局部平均梯度值：
其中，
将每幅图像的特征点的主方向定义为：
其中，φ表示特征点的主方向；
将特征点周围128x128像素区域划分为4x4相互连接的小区域，每个小区域以特征点主方向为基础，建立小区域内所有特征点方向分布直方图，选择每个小区域直方图的最大值作为该小区域的方向，构造特征点最大梯度方向特征描述：
hpo＝[θ1,v1......θ16,v16]
其中，hpo表示特征点最大梯度方向特征描述子，θi,vi分别表示特征点局部图像第i个小区域的最大梯度方向和最大梯度方向直方图数值，i＝1,2,…,16。
进一步的，所述对参考图像和待匹配的异源图像提取的特征点，构造特征点最大边缘方向特征描述，包括：
将特征点周围128x128像素区域划分为4x4相互连接的小区域，小区域内以边缘像素点边缘方向为基础，构造特征点最大边缘方向直方图；
使用sobel运算，计算边缘方向直方图：
binheo(x,y)＝fsobel(x,y)·ik(x,y)
其中，binheo(x,y)为直方图分布，fsobel(x,y)是sobel运算，ik(x,y)是第k个小区域的图像块，k＝1,2,…,16，“·”表示点乘；
构造特征点局部最大边缘方向特征描述子heo：
heo＝[θ′1,v′1......θ′16,v′16]
其中，θ′i,v′i分别表示特征点局部第i个小区域的最大边缘方向和最大边缘方向直方图数值，i＝1,2,…,16。
进一步的，所述结合特征点最大梯度方向特征描述和特征点最大边缘方向特征描述，构造新的特征点描述子，包括：
hpeo＝[θ1,v1......θ16,v16,λθ1',λv1',…,λθ′16,λv′16]
其中，hpeo为特征点描述子，λ为边缘像素点和特征点数量比值，θi,vi分别表示特征点局部图像第i个小区域的最大梯度方向和最大梯度方向直方图数值，θi',vi'分别表示特征点局部第i个小区域的最大边缘方向和最大边缘方向直方图数值，i＝1,2,…,16。
进一步的，所述采用双边匹配规则对特征点进行匹配，包括：
参考图像的特征点f1i到待匹配图像特征点集f2的所有距离表示为：
如果|f′2j-f″2j|＜＜t，则对应的最近点即为匹配点；相反，同时满足待匹配图像上的特征点f2i在参考图像上最近的点是f1i，则特征点f1i和f2i符合双边匹配规则；
其中，f′2j和f″2j分别为所有距离中最近和第二近的距离，t为最邻近阈值。
进一步的，还包括异源图像匹配后，剔除误匹配点对的步骤：
经过初步匹配的特征点对为：
m(p11(x11,y11),p21(x21,y21)),....,m(p1k(x1k,y1k),p2k(x2k,y2k))
其中，m表示匹配过程，m2k(x1k,y1k)和p2k(x2k,y2k)分别表示匹配点对；
在参考图像上由水平线和穿过中心点和其他特征点的连线的夹角构造角度
在参考图像和待匹配图像各自构造的角度θ1,j和θ2,j之间求差：
通过迭代计算角度差分集的方差剔除误匹配点。
进一步的，所述通过迭代计算角度差分集的方差剔除误匹配点，包括：
(6d1)输入角度数据
(6d2)计算数据方差初值；
(6d3)按顺序剔除其中一个角度；
(6d4)计算剩余角度的方差和均值；
(6d5)如果本次循环方差不小于上一次循环方差则进入第(6d6)；反之，则存储最小方差，将本轮剔除的
(6d6)判断循环是否结束，未结束则返回第(6d3)步，否则进入下一步；
(6d7)如果min/var<r和m>c同时满足则该点对为误匹配点，反之为正确匹配点，其中，v为方差初始值，min为最小方差，m为所有保留数据的均值，r和c为遴选阈值。
进一步的，所述r和c分别设置为0.4和2。
进一步的，所述参考图像为红外图像，所述待匹配图像为可见光图像。
与现有技术相比，本发明的技术方案具有以下有益技术效果：
本发明利用位置的boosting算法提取大量的分布在显著边缘区域特征点，一方面，为后续的匹配提供充足的特征点，另一方面边缘区域纹理清晰且更容易出现一致性特征，对后续的匹配是有利的。
本发明以组合的方式表示局部特征时，梯度信息可以为边缘特征提供参考，降低边缘分布的依赖性；相反，边缘特征可以为特征点提供可靠的边缘方向信息，有效地缓解了由于梯度方向计算不准确导致性能下降的问题。
本发明通过去除对直方图贡献较小的部分，优化了描述子的构造过程，提高了计算效率。
本发明设计基于角度差分的旋转不变误匹配剔除方法，进一步提高了匹配性能。
附图说明
图1是本发明基于点线特征的最大直方图异源图像匹配方法流程图；
图2是本发明在粗大边缘区域提取的特征点；
图3是本发明描述子构造图；
图4是本发明角度构建示意图；
图5是本发明中基于角度差分的旋转不变误匹配剔除方法流程图；
图6是本发明在异源图像灰度值相反的情况下匹配结果；
图7是本发明在异源图像存在噪声情况下的匹配结果。
具体实施方式
下面对本发明作进一步描述。以下实例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明提供一种点线特征的最大直方图异源图像匹配方法。首先，针对待匹配的红外和可见光异源图像，将它们分别灰度化后，采用基于位置的boosting提取大量集中在粗大边缘区域的特征点。其次，针对待匹配的红外和可见光异源图像上检测到的特征点，设计改进的直方图提取特征点局部最大梯度方向，并构建新的局部特征向量；采用加窗梯度平方求和的方式表示局部梯度保证在对应区域但强度不同的特征点的主方向一致。第三，针对待匹配的红外和可见光异源图上的特征点，计算特征点局部区域边缘像素点的方向，并选择最大的边缘方向直方图，以此构建特征点局部边缘方向特征。第四，针对待匹配的红外和可见光异源图像上的特征点，设计结合特征点最大边缘方向和特征点梯度方向直方图构造一种具有光照不变性的局部特征点描述子hpeo。第五，针对待匹配的红外和可见光异源图像构造的特征点描述子，基于欧氏距离，使用有效的双边匹配规则完成匹配。最后，针对待匹配的红外和可见光异源图像构造的匹配点对，设计基于角度差分的旋转不变误匹配剔除方法，以期达到更高的匹配正确率。
结合图1，本发明提供一种基于点线特征的最大直方图异源图像匹配方法，具体包括：
(1)针对传统的异源图像特征不明显，匹配点对较少导致匹配精度不高的问题，针对待匹配的红外和可见光异源图像，将红外和可见光异源图像分别灰度化后采用基于位置的boosting探测器提取大量集中在粗大边缘区域的特征点，为提取大量可重复描述符和提升匹配精度提供保障。本发明中参考图像为红外图像，待匹配图像为可见光图像。
进一步的，提取粗大边缘区域的特征点包括：
(1a)当一个(潜在的)目标检测器置信度附加到其预测位置时，通过考虑不同的置信阈值，可以得到一整套目标检测器。置信度对象检测器被赋予一个输入图像(或一组图像)，并生成一组置信度位置：
h＝{((x1,y1),c1),((x2,y2),c2),...,((xi,yi),ci)}
其中，(xi,yi)是图像中第i个预测位置，ci是预测置信度。这个列表中的可信度定义了对检测的排序。
(1b)用h(θ)表示在置信阈值θ下过滤的列表h：
h(θ)＝{(x,y)：((x,y),c)∈handc≥θ}
在置信阈值θ下过滤的列表h以坐标形式输出分布于粗大边缘处的特征点位置(xi,yi)。图2即为在边缘区域提取的大量的特征点示例。这里需要说明的是，检测到的目标是以目标边缘处密集的点坐标方式输出的。
(2)针对异源图像匹配中常见的对应区域图像强度不统一甚至对比相反导致梯度方向不一致的问题，对待匹配的红外和可见光异源图像上提取的特征点，设计改进的直方图提取特征点局部最大梯度方向，并构造新的特征点最大梯度方向特征描述。具体为，设计加窗梯度平方求和的方式表示局部梯度，保证在对应区域但强度不同的特征点的主方向一致。实现过程如下：
(2a)针对待匹配图像灰度化并求梯度，表示为：
其中，i为灰度图像，gx和gy分别为水平(x)和垂直(y)方向的梯度。
(2b)对步骤(2a)中的梯度，采用梯度平方，将相反方向的梯度化为相同方向，具体水平(gs,x)和垂直方向(gs,y)梯度求平方表示为：
(2c)采用高斯加窗口求和的方式，对步骤(2b)中的梯度求和，求出局部平均梯度值：
其中，
(2d)根据角度关系，待匹配图像组的每幅图像的特征点的主方向定义为：
其中，φ表示图像特征点的主方向。
(2e)将特征点周围128x128像素区域划分为4x4相互连接的小区域，每个小区域以特征点方向为基础，建立小区域内所有特征点梯度方向分布直方图，选择每个区域直方图的最大值作为该区域的方向，则可以构造特征点最大梯度方向特征描述：
hpo＝[θ1,v1......θ16,v16](5)
其中，hpo表示特征点最大梯度方向特征描述子，θi,vi分别表示特征点局部图像第i个小区域的最大梯度方向和最大梯度方向直方图数值，i＝1,2,…,16。
(3)针对待匹配的红外和可见光异源图像上的特征点，计算特征点局部区域边缘像素点的方向，并选择最大的边缘方向作为该特征点的主方向，以此构建特征点局部边缘特征。
具体包括：
(3a)将特征点周围128x128像素区域划分为4x4相互连接的小区域，小区域内以边缘像素点边缘方向为基础，构造特征点最大边缘方向直方图。
(3b)使用sobel运算，计算边缘方向直方图，计算公式如下：
binheo(x,y)＝fsobel(x,y)·ik(x,y)(6)
其中，binheo(x,y)为直方图分布，fsobel(x,y)是sobel运算，ik(x,y)是代表第k个小区域的图像块，k＝1,2,…,16，“·”表示点乘。
(3c)仅选择各个小区域创建的边缘方向直方图中的最大值构造特征描述，即特征点最大边缘方向直方图特征：
heo＝[θ1',v1'......θ′16,v′16](7)
其中，θi',vi'分别表示特征点局部图像第i个小区域的最大边缘方向和最大边缘方向直方图数值，i＝1,2,…,16。
(4)针对单一的异源图像特征匹配在区域特征差异较大时匹配特征不稳定的问题，设计结合最大边缘方向和特征点梯度方向直方图构造一种具有光照不变性的局部特征点描述子hpeo，图3为特征点描述子的构建过程。
新的特征描述子由64维特征矢量构成，如下所示：(未匹配，匹配在下面)
hpeo＝[θ1,v1......θ16,v16,λθ′1,λv′1,…,λθ′16,λv′16](8)
其中，λ提取的边缘像素数与特征点数量的比值。
(5)本发明在求所有特征点之间欧式距离的基础上，采用双边匹配规则对特征点实现匹配。
参考图像的特征点f1i到待匹配图像的特征点集f2的所有距离表示为：
定义f′2j和f″2j分别为所有距离中最近和第二近的距离。如果|f′2j-f″2j|＜＜t，则对应的最近点即为匹配点；相反，满足待匹配图像上的特征点f2i在参考图像上最近的点是f1i，则特征点f1i和f2i符合双边匹配规则；其中，最邻近阈值t设置为0.9。
(6)针对异源图像特征匹配后仍然存在部分误匹配点对问题，针对待匹配的红外和可见光异源图像构造的匹配点对，设计基于角度差分的旋转不变误匹配剔除方法，以期达到更高的匹配正确率。
具体如下：
(6a)由步骤(5)获得经过初步匹配的特征点对为：
m(p11(x11,y11),p21(x21,y21)),....,m(p1k(x1k,y1k),p2k(x2k,y2k))(9)
其中，m表示匹配过程，m2k(x1k,y1k)和p2k(x2k,y2k)分别表示匹配点对。
(6b)如图4，在红外图像上由水平线和穿过中心点和其他特征点的连线的夹角构造角度θ1,1,θ1,2....θ1,k，同理可以构建可见光图像上直线之间的角度θ2,1,θ2,2....θ2,k。
(6c)在步骤(6b)中构建的参考图像和目标图像的角度θ1,j和θ2,j之间求差：
(6d)通过迭代计算角度差分集的方差剔除误匹配点。图5为判断某一特征点对是否为正确的匹配点流程图，具体步骤如下：
(6d1)输入角度数据
(6d2)计算数据方差初值；
(6d3)按顺序剔除其中一个角度；
(6d4)计算剩余角度的方差和均值；
(6d5)如果本次循环方差不小于上一次循环方差则进入第(6d6)；反之，则存储最小方差，将本轮剔除的
(6d6)判断循环是否结束，未结束则返回第(6d3)步，否则进入下一步；
(6d7)如果min/var<r和m>c同时满足则该点对为误匹配点，反之为正确匹配点，其中，v为方差初始值，min为最小方差，m为所有保留数据的均值。
阈值r和c为遴选阈值，可控制匹配标准的宽松程度，r越大则保留的特征点越少，c越大保留的特征点越多。本发明中r和c分别设置为0.4和2。
图6为本发明在异源图像灰度值相反的情况下匹配结果。可以看出，匹配图像为灰度强度完全相反的遥感图像，采用本发明提出算法可以匹配大量的特征点对，同时保证所有匹配点对均为正确的匹配。
图7为本发明在较强噪声的遥感图像的匹配结果。可以看出，虽然噪声强度较大，但是提出的算法仍然可以实现大量的匹配，同时满足较高的正确率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
1.一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，包括：
将参考图像和待匹配的异源图像分别灰度化后提取分布在粗大边缘区域的特征点；
对参考图像和待匹配的异源图像提取的特征点，构造特征点最大梯度方向特征描述，以及构造特征点最大边缘方向特征描述；
结合特征点最大梯度方向特征描述和特征点最大边缘方向特征描述，构造新的特征点描述子；
采用双边匹配规则对特征点进行匹配。
2.根据权利要求1所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，所述将参考图像和待匹配的异源图像分别灰度化后提取粗大边缘区域的特征点，包括：
当一个潜在的目标检测器置信度附加到其预测位置时，通过考虑不同的置信阈值，能够得到一整套目标检测器，置信度对象检测器被赋予一个输入图像或一组图像，并生成一组置信度位置：
h＝{((x1,y1),c1),((x2,y2),c2),...,((xi,yi),ci)}
其中，(xi,yi)是图像中第i个预测位置，ci是预测置信度；
用h(θ)表示在置信阈值θ下过滤的列表h：
h(θ)＝{(x,y)：((x,y),c)∈handc≥θ}
在置信阈值θ下过滤的列表h以坐标形式输出分布于粗大边缘区域的特征点位置(xi,yi)。
3.根据权利要求1所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，所述对参考图像和待匹配的异源图像提取的特征点，构造特征点最大梯度方向特征描述，包括：
对待匹配图像灰度化并求梯度：
其中，i为灰度图像，gx和gy分别为水平x方向和垂直y方向的梯度；
对所求解的梯度，采用梯度平方，将相反方向的梯度归化为相同方向：
其中，gs,x和gs,y分别表示水平x方向和垂直y方向的梯度平方；
求解局部平均梯度值：
其中，
将每幅图像的特征点的主方向定义为：
其中，φ表示特征点的主方向；
将特征点周围128x128像素区域划分为4x4相互连接的小区域，每个小区域以特征点主方向为基础，建立小区域内所有特征点方向分布直方图，选择每个小区域直方图的最大值作为该小区域的方向，构造特征点最大梯度方向特征描述：
hpo＝[θ1,v1......θ16,v16]
其中，hpo表示特征点最大梯度方向特征描述子，θi,vi分别表示特征点局部图像第i个小区域的最大梯度方向和最大梯度方向直方图数值，i＝1,2,…,16。
4.根据权利要求1所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，所述对参考图像和待匹配的异源图像提取的特征点，构造特征点最大边缘方向特征描述，包括：
将特征点周围128x128像素区域划分为4x4相互连接的小区域，小区域内以边缘像素点边缘方向为基础，构造特征点最大边缘方向直方图；
使用sobel运算，计算边缘方向直方图：
binheo(x,y)＝fsobel(x,y)·ik(x,y)
其中，binheo(x,y)为直方图分布，fsobel(x,y)是sobel运算，ik(x,y)是第k个小区域的图像块，k＝1,2,…,16，“·”表示点乘；
构造特征点局部最大边缘方向特征描述子heo：
heo＝[θ′1,v′1......θ′16,v′16]
其中，θ′i,v′i分别表示特征点局部第i个小区域的最大边缘方向和最大边缘方向直方图数值，i＝1,2,…,16。
5.根据权利要求1所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，所述结合特征点最大梯度方向特征描述和特征点最大边缘方向特征描述，构造新的特征点描述子，包括：
hpeo＝[θ1,v1......θ16,v16,λθ′1,λv′1,…,λθ′16,λv′16]
其中，hpeo为特征点描述子，λ为边缘像素点和特征点数量比值，θi,vi分别表示特征点局部图像第i个小区域的最大梯度方向和最大梯度方向直方图数值，θ′i,v′i分别表示特征点局部第i个小区域的最大边缘方向和最大边缘方向直方图数值，i＝1,2,…,16。
6.根据权利要求1所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，所述采用双边匹配规则对特征点进行匹配，包括：
参考图像的特征点f1i到待匹配图像特征点集f2的所有距离表示为：
如果|f′2j-f″2j|＜＜t，则对应的最近点即为匹配点；相反，同时满足待匹配图像上的特征点f2i在参考图像上最近的点是f1i，则特征点f1i和f2i符合双边匹配规则；
其中，f′2j和f″2j分别为所有距离中最近和第二近的距离，t为最邻近阈值。
7.根据权利要求1所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，还包括异源图像匹配后，剔除误匹配点对的步骤：
经过初步匹配的特征点对为：
m(p11(x11,y11),p21(x21,y21)),....,m(p1k(x1k,y1k),p2k(x2k,y2k))
其中，m表示匹配过程，m2k(x1k,y1k)和p2k(x2k,y2k)分别表示匹配点对；
在参考图像上由水平线和穿过中心点和其他特征点的连线的夹角构造角度
在参考图像和待匹配图像各自构造的角度θ1,j和θ2,j之间求差：
通过迭代计算角度差分集的方差剔除误匹配点。
8.根据权利要求7所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，所述通过迭代计算角度差分集的方差剔除误匹配点，包括：
(6d1)输入角度数据
(6d2)计算数据方差初值；
(6d3)按顺序剔除其中一个角度；
(6d4)计算剩余角度的方差和均值；
(6d5)如果本次循环方差不小于上一次循环方差则进入第(6d6)；反之，则存储最小方差，将本轮剔除的
(6d6)判断循环是否结束，未结束则返回第(6d3)步，否则进入下一步；
(6d7)如果min/var<r和m>c同时满足则该点对为误匹配点，反之为正确匹配点，其中，v为方差初始值，min为最小方差，m为所有保留数据的均值，r和c为遴选阈值。
9.根据权利要求8所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，所述r和c分别设置为0.4和2。
10.根据权利要求1至7任意一项所述的一种基于点线特征的最大直方图异源图像匹配方法，其特征在于，所述参考图像为红外图像，所述待匹配图像为可见光图像。
技术总结