本发明涉及户外增强现实技术领域，特别涉及一种基于跨源图像匹配的户外增强现实应用方法、一种计算机可读存储介质和一种计算机设备。
背景技术：
相关技术中，增强现实的应用主要集中在室内场景，通过预先放置标记以辅助虚实注册，然而在户外场景中，由于户外场景的规模和复杂程度都增大了，采用预先放置标记是不现实的，因此大多数的户外增强现实应用通常是基于传感器的定位和视觉方法，且主要应用在静态的场景，而且多传感器的融合精度对光线的变化和遮挡并不鲁棒，从而影响增强现实的效果。
技术实现要素：
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于跨源图像匹配的户外增强现实应用方法，通过对跨源图像进行匹配以获取对应关系，并根据对应关系获取虚实注册变换关系，从而提高增强现实的效果。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种计算机设备。
为达到上述目的，本发明第一方面实施例提出了一种基于跨源图像匹配的户外增强现实应用方法，包括以下步骤：获取相机图像和与所述相机图像对应匹配的渲染图像，并对所述相机图像和所述渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块；根据自动编码机和孪生网络构建深度学习模型，并根据成对匹配的局部相机图像块和局部渲染图像块对所述深度学习模型进行训练；基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对所述待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果；根据所述跨源图像匹配结果获取跨源图像的对应关系，并根据所述对应关系计算虚实注册变换关系；根据所述虚实注册变换关系实现对户外增强现实的应用。
根据本发明实施例的基于跨源图像匹配的户外增强现实应用方法，首先获取相机图像和与相机图像对应匹配的渲染图像，并对相机图像和渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块，接着根据自动编码机和孪生网络构建深度学习模型，并根据成对匹配的局部相机图像块和局部渲染图像块对深度学习模型进行训练，然后基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果，再接着根据跨源图像匹配结果获取跨源图像的对应关系，并根据对应关系计算虚实注册变换关系，最后根据虚实注册变换关系实现对户外增强现实的应用；由此，通过对跨源图像进行匹配以获取对应关系，并根据对应关系获取虚实注册变换关系，从而提高增强现实的效果。
另外，根据本发明上述实施例提出的基于跨源图像匹配的户外增强现实应用方法还可以具有如下附加的技术特征：
可选地，获取相机图像和与所述相机图像对应匹配的渲染图像，包括：获取相机图像；获取航拍影像，并采用sfm算法对所述航拍影像进行三维重建，以获得户外场景的三维图像点云；根据所述相机图像获取图像信息，并根据所述图像信息在所述三维图像点云中渲染出一张与所述相机图像对应匹配的渲染图像。
可选地，对所述相机图像和所述渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块，包括：获取所述相机图像和所述渲染图像的透视变换矩阵；采用labelme工具包对所述相机图像中的分割样本进行标记；构建分割网络，并根据标记好的相机图像对所述分割网络进行训练；基于训练好的分割网络对相机图像进行分割，以分割出所述相机图像的分割样本；采用尺度不变特征变换的检测器提取所述分割样本的所有关键点，并从所有关键点中选定多个关键点，以使选定的每个关键点之间的距离大于第一预设阈值，以及删除未选定的其他关键点；以选定的多个关键点为中心，按预设尺寸获取对应局部相机图像块，并根据所述透视变换矩阵将所述局部相机图像块映射到所述渲染图像上，以获取对应的局部渲染图像块。
可选地，所述深度学习模型包括：编码器、解码器和stn模块。
可选地，根据成对匹配的局部相机图像块和局部渲染图像块对所述深度学习模型进行训练时，还包括：根据深度学习模型训练需求，调整优化器和超参数，其中超参数包括学习步长、学习率和batch大小。
可选地，根据提取到的特征描述子对所述待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，包括：采用最近邻检索方法以局部相机图像块的特征描述子为基准，获取满足第一预设条件的对应局部渲染图像块的特征描述子；根据检索出的匹配的局部相机图像块的特征描述子和局部渲染图像块的特征描述子，采用ransac算法滤除错误匹配，并对剩余成对匹配的局部相机图像块和局部渲染图像块的中心点进行计算，以获取局部相机图像块和局部渲染图像块的匹配关系，并获得跨源图像匹配结果。
可选地，根据所述对应关系计算虚实注册变换关系，包括：根据所述图像信息获取所述三维图像点云m到相机图像ci对应的渲染图像ri的投影矩阵p，即p·m→ri；获取相机图像ci和对应的渲染图像ri的匹配关系t，即t·ri→ci；根据所述投影关系和所述匹配关系获取三维图像点云m到相机图像ci的虚实注册变换关系，即三维空间与二维空间的变换关系t·(p·m)→ci。
可选地，根据所述虚实注册变换关系实现对户外增强现实的应用，包括：获取户外场景中需要叠加三维虚拟目标的位置；将所述三维虚拟目标放置到三维图像点云中；根据所述虚实注册变换关系将所述三维虚拟目标映射到所述相机图像上。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于跨源图像匹配的户外增强现实应用程序，该基于跨源图像匹配的户外增强现实应用程序被处理器执行时实现如上述的基于跨源图像匹配的户外增强现实应用方法。
根据本发明实施例的计算机可读存储介质，通过存储基于跨源图像匹配的户外增强现实应用程序，以便处理器在执行该基于跨源图像匹配的户外增强现实应用程序时实现如上述的基于跨源图像匹配的户外增强现实应用方法，从而提高增强现实的效果。
为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的基于跨源图像匹配的户外增强现实应用方法。
根据本发明实施例的计算机设备，通过存储器存储可在处理器上运行的计算机程序，以便处理器在执行该计算机程序时，实现如上述的基于跨源图像匹配的户外增强现实应用方法，从而提高增强现实的效果。
附图说明
图1为根据本发明实施例的基于跨源图像匹配的户外增强现实应用方法的流程示意图；
图2为根据本发明一个实施例的航拍影像经过sfm算法进行三维重建后得到的户外场景的三维图像点云结果的示意图；
图3为根据本发明一个实施例的获取与相机图像对应匹配的渲染图像的示意图；
图4为根据本发明一个实施例的分割网络的结构示意图；
图5为根据本发明一个实施例的成对匹配的跨源图像块；
图6为根据本发明一个实施例的深度学习模型的结构示意图；
图7为根据本发明一个实施例的深度学习模型分支1的结构示意图；
图8为根据本发明一个实施例的深度学习模型分支2的结构示意图；
图9为根据本发明一个实施例的跨源图像匹配结果；
图10为根据本发明一个实施例的跨源图像中心点连线的匹配结果；
图11为根据本发明一个实施例的户外增强现实的应用效果图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的基于跨源图像匹配的户外增强现实应用方法的流程示意图，如图1所示，本发明实施例的基于跨源图像匹配的户外增强现实应用方法包括以下步骤：
步骤101，获取相机图像和与相机图像对应匹配的渲染图像，并对相机图像和渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块。
作为一个实施例，获取相机图像和与相机图像对应匹配的渲染图像包括：获取相机图像；获取航拍影像，并采用sfm算法对航拍影像进行三维重建，以获得户外场景的三维图像点云；根据相机图像获取图像信息，并根据图像信息在三维图像点云中渲染出一张与相机图像对应匹配的渲染图像。
作为一个具体实施例，相机图像可通过手机拍摄获得。
作为一个具体实施例，航拍影像可通过无人机拍摄获得。
作为一个具体实施例，如图2所示，通过无人机对户外场景进行倾斜摄影，从而获取大量的航拍影像ii,i＝1,2,…,n,其中n为航拍影像的数量，并采用sfm算法对这些航拍影像进行三维重建，从而得到户外场景的三维图像点云m。
作为一个具体实施例，如图3所示，通过手机对户外场景进行拍摄，从而获取相机图像ci，并利用手机的定位信息在重建的三维图像点云场景m中虚拟定位，按照手机相机外参确定的拍摄方向出发得到一个三维图像点云m到相机图像的投影矩阵p，并以手机拍摄的图像的尺寸为标准，在重建的三维图像点云m中渲染出一张尺寸一致的渲染图像ri。
需要说明的是，根据相机图像ci的定位信息等渲染出来的渲染图像ri与该相机图像ci相互匹配，且相机图像ci和渲染图像ri称为跨源图像。
作为一个实施例，对相机图像和渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块，包括：获取相机图像和渲染图像的透视变换矩阵；采用labelme工具包对相机图像中的分割样本进行标记；构建分割网络，并根据标记好的相机图像对分割网络进行训练；基于训练好的分割网络对相机图像进行分割，以分割出相机图像的分割样本；采用尺度不变特征变换的检测器提取分割样本的所有关键点，并从所有关键点中选定多个关键点，以使选定的每个关键点之间的距离大于第一预设阈值，以及删除未选定的其他关键点；以选定的多个关键点为中心，按预设尺寸获取对应局部相机图像块，并根据透视变换矩阵将所述局部相机图像块映射到所述渲染图像上，以获取对应的局部渲染图像块。
需要说明的是，预先设定匹配的相机图像ci和渲染图像ri的变换关系为透视变换。
作为一个具体实施例，首先手动选取至少4组相机图像ci和渲染图像ri之间的匹配对应点，从而计算出这两张跨源图像的透视变换矩阵t；接着采用u-net的框架构建一个分割网络，然后使用labelme工具包标记200张相机图像ci中的建筑物作为目标分割的样本，最后将这200张标记好的样本输入到构建的分割网络进行训练；其中，构建的分割网络如图4所示；接着，将相机图像ci输入到训练好的分割网络中以分割出建筑物，然后利用sift(scaleinvariantfeaturetransform，尺度不变特征变换)的检测器提取相机图像ci中分割出的建筑物的sift关键点，并从所有sift关键点中选定多个关键点，以使选定的每个sift关键点之间的距离大于30像素，以及删除未选定的其他sift关键点；以选定的多个sift关键点为中心，按一定的尺寸获取每个sift关键点对应的局部相机图像块，并将这些局部相机图像块按照算出的透视变换矩阵t映射到与相机图像匹配的渲染图像上，得到对应匹配的局部渲染图像块；成对匹配的局部相机图像块和局部渲染图像块如图5所示，其中图5中的第一行为局部相机图像块，第二行为局部渲染图像块。
步骤102，根据自动编码机和孪生网络构建深度学习模型，并根据成对匹配的局部相机图像块和局部渲染图像块对深度学习模型进行训练。
作为一个实施例，如图6所示，深度学习模型y-net的形状类似字母y，且该深度学习模型y-net包括：编码器、解码器和stn模块。
其中，该编码器有两个，该编码器的结构为：c(32,5,2)-bn-selu-c(64,5,2)-bn-selu-p(3,2)-c(96,3,1)-bn-selu-c(256,3,1)-bn-selu-p(3,2)-c(384,3,1)-bn-selu-c(384,3,1)-bn-selu-c(256,3,1)-bn-selu-p(3,2)-c(128,7,1)-bn-selu；其中c(n,k,s)代表的是卷积层，包含了n个尺寸为k×k的卷积核并且步长为s；p(k,s)代表的是最大池化层，其滑动窗口为k×k，步长为s；bn为批标准化；selu为激活函数。
其中，该解码器为有一个共享解码器，该解码器的结构为：fc(128,1024)-tc(128,4,2)-selu-tc(64,4,2)-selu-tc(32,4,2)-selu-tc(16,4,2)-selu-tc(8，4，2)-selu-tc(4，4，2)-selu-tc(3，4，2)-sigmoid；其中，fc(p，q)代表的是全连接层，fc将p维的向量映射到q维的向量；tc(n，k，s)代表的是反卷积层，输出深度为n，卷积核尺寸为k×k，步长为s；selu和sigmoid为激活函数。
需要说明的是，深度学习模型y-net的输入是成对匹配的局部相机图像块和局部渲染图像块，其中一个分支的输入是局部相机图像块，另一个分支的输入是局部渲染图像块，这些图像块在输入深度学习模型y-net之前尺寸首先调整成256*256*3；深度学习模型y-net的输出是两个128维的特征向量，即特征描述子；深度学习模型y-net两个分支的分解示意图如图7和图8所示。
其中，图7中，深度学习模型y-net分支1的输入是局部渲染图像块r，经编码器fen1提取的特征fae1，特征fae1经解码器gde1恢复得到的图像记为r’；图8中，深度学习模型y-net分支2的输入是局部相机图像块c，将stn模块与编码器结合起来作为一个大的编码器fen2，局部相机图像块c经编码器fen2提取的特征是fae2，特征fae2经解码器gde2恢复得到的图像记为c’。
作为一个具体实施例，根据自动编码机和孪生网络构建深度学习模型时还设计一个跨源约束损失函数优化深度学习模型y-net，其中该跨源约束损失函数包括内容损失和特征一致损失。
首先，采用mse(meansquarederror，均方差)作用于输入深度学习模型y-net的图像块，具体如下：
其中，w×h是输入图像块的尺寸，n是图像的通道数；将这三个mse损失合并得到内容损失，如下所示：
lcontent＝lae1(r，r′) lae2(r，c′) lgen(r′，c′)
其次，特征一致损失约束的是深度学习模型y-net两个分支所提取的特征fae1与fae2，采用欧式距离进行约束，具体如下：
其中，k为特征fae1与fae2的维度，在本发明中k＝128。
最后，将内容损失与特征一致损失合并得到跨源约束损失函数，具体如下：
ly-net＝lcontent λ*lfeature
其中，λ为权值参数。
作为一个实施例，根据成对匹配的局部相机图像块和局部渲染图像块对深度学习模型进行训练时，还包括：根据深度学习模型训练需求，调整优化器和超参数，其中超参数包括学习步长、学习率和batch大小。
作为一个具体实施例，通过pytorch实现深度学习模型y-net，采用的优化器为rmsprop，学习率的初始值是0.001并且每4个循环就衰减0.99倍。
步骤103，基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果。
作为一个实施例，在对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取之前还通过上述训练好的分割网络将相机图像的建筑物分割出来；并使用sift的检测器提取相机图像中分割出的建筑物的sift关键点，并从所有关键点中选定多个关键点，以使选定的每个关键点之间的距离大于30像素，以及删除未选定的其他关键点，并以这些sift关键点为中心获取局部相机图像块；在对应的渲染图像上随机选取3000个点，并以这些随机点为中心获取局部渲染图像块；从而获取待匹配的相同个数的局部相机图像块和局部渲染图像块。
作为一个具体实施例，将获取的待匹配的相同个数的局部相机图像块和局部渲染图像块输入训练好的深度学习模型y-net提取它们的特征描述子；并采用最近邻检索方法以局部相机图像块的特征描述子为基准，获取满足以下两个条件的局部渲染图像块的特征描述子：1)距离局部相机图像块的特征描述子最近的局部渲染图像块的特征描述子，2)与局部相机图像块的特征描述子的预先相似度大于0.92的局部渲染图像块的特征描述子；根据检索出的匹配的局部相机图像块和的局部渲染图像块的特征描述子，采用ransac算法滤除错误的匹配，然后以留下的匹配的局部相机图像块和的局部渲染图像块的中心计算出两个图像的变换关系，完成跨源图像的匹配。最终的跨源图像块匹配结果如图9所示，这些图像块的中心点连线结果如图10所示。
步骤104，根据跨源图像匹配结果获取跨源图像的对应关系，并根据对应关系计算虚实注册变换关系。
作为一个实施例，根据对应关系计算虚实注册变换关系，包括：根据图像信息获取三维图像点云m到相机图像ci对应的渲染图像ri的投影矩阵p，即p·m→ri；获取相机图像ci和对应的渲染图像ri的透视变换矩阵t，即t·ri→ci；根据投影矩阵p和透视变换矩阵t获取三维图像点云m到相机图像ci的虚实注册变换关系，即三维空间与二维空间的变换关系t·(p·m)→ci。
步骤105，根据虚实注册变换关系实现对户外增强现实的应用。
作为一个实施例，根据虚实注册变换关系实现对户外增强现实的应用，包括：获取户外场景中需要叠加三维虚拟目标的位置；将三维虚拟目标放置到三维图像点云中；根据虚实注册变换关系将三维虚拟目标映射到相机图像上。其中，图11展示了几个基于本发明的户外增强现实应用效果，现实的内容是图书馆的实时信息。
综上所述，本发明所提出的基于跨源图像匹配的户外增强现实应用方法，首先获取相机图像和与相机图像对应匹配的渲染图像，并对相机图像和渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块，接着根据自动编码机和孪生网络构建深度学习模型，并根据成对匹配的局部相机图像块和局部渲染图像块对深度学习模型进行训练，然后基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果，再接着根据跨源图像匹配结果获取跨源图像的对应关系，并根据对应关系计算虚实注册变换关系，最后根据虚实注册变换关系实现对户外增强现实的应用；由此，通过对跨源图像进行匹配以获取对应关系，并根据对应关系获取虚实注册变换关系，从而提高增强现实的效果。
另外，本发明实施例还提出了一种计算机可读存储介质，其上存储有基于跨源图像匹配的户外增强现实应用程序，该基于跨源图像匹配的户外增强现实应用程序被处理器执行时实现如上述的基于跨源图像匹配的户外增强现实应用方法。
根据本发明实施例的计算机可读存储介质，通过存储基于跨源图像匹配的户外增强现实应用程序，以便处理器在执行该基于跨源图像匹配的户外增强现实应用程序时实现如上述的基于跨源图像匹配的户外增强现实应用方法，从而提高增强现实的效果。
另外，本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的基于跨源图像匹配的户外增强现实应用方法。
根据本发明实施例的计算机设备，通过存储器存储可在处理器上运行的计算机程序，以便处理器在执行该计算机程序时，实现如上述的基于跨源图像匹配的户外增强现实应用方法，从而提高增强现实的效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
1.一种基于跨源图像匹配的户外增强现实应用方法，其特征在于，包括以下步骤：
获取相机图像和与所述相机图像对应匹配的渲染图像，并对所述相机图像和所述渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块；
根据自动编码机和孪生网络构建深度学习模型，并根据成对匹配的局部相机图像块和局部渲染图像块对所述深度学习模型进行训练；
基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对所述待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果；
根据所述跨源图像匹配结果获取跨源图像的对应关系，并根据所述对应关系计算虚实注册变换关系；
根据所述虚实注册变换关系实现对户外增强现实的应用。
2.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，获取相机图像和与所述相机图像对应匹配的渲染图像，包括：
获取相机图像；
获取航拍影像，并采用sfm算法对所述航拍影像进行三维重建，以获得户外场景的三维图像点云；
根据所述相机图像获取图像信息，并根据所述图像信息在所述三维图像点云中渲染出一张与所述相机图像对应匹配的渲染图像。
3.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，对所述相机图像和所述渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块，包括：
获取所述相机图像和所述渲染图像的透视变换矩阵；
采用labelme工具包对所述相机图像中的分割样本进行标记；
构建分割网络，并根据标记好的相机图像对所述分割网络进行训练；
基于训练好的分割网络对相机图像进行分割，以分割出所述相机图像的分割样本；
采用尺度不变特征变换的检测器提取所述分割样本的所有关键点，并从所有关键点中选定多个关键点，以使选定的每个关键点之间的距离大于第一预设阈值，以及删除未选定的其他关键点；
以选定的多个关键点为中心，按预设尺寸获取对应局部相机图像块，并根据所述透视变换矩阵将所述局部相机图像块映射到所述渲染图像上，以获取对应的局部渲染图像块。
4.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，所述深度学习模型包括：编码器、解码器和stn模块。
5.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，根据成对匹配的局部相机图像块和局部渲染图像块对所述深度学习模型进行训练时，还包括：
根据深度学习模型训练需求，调整优化器和超参数，其中超参数包括学习步长、学习率和batch大小。
6.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，根据提取到的特征描述子对所述待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，包括：
采用最近邻检索方法以局部相机图像块的特征描述子为基准，获取满足第一预设条件的对应局部渲染图像块的特征描述子；
根据检索出的匹配的局部相机图像块的特征描述子和局部渲染图像块的特征描述子，采用ransac算法滤除错误匹配，并对剩余成对匹配的局部相机图像块和局部渲染图像块的中心点进行计算，以获取局部相机图像块和局部渲染图像块的透视变换矩阵，并获得跨源图像匹配结果。
7.如权利要求2所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，根据所述对应关系计算虚实注册变换关系，包括：
根据所述图像信息获取所述三维图像点云m到相机图像ci对应的渲染图像ri的投影矩阵p，即p·m→ri；
获取相机图像ci和对应的渲染图像ri的透视变换矩阵t，即t·ri→ci；
根据所述投影矩阵p和所述透视变换矩阵t获取三维图像点云m到相机图像ci的虚实注册变换关系，即三维空间与二维空间的变换关系t·(p·m)→ci。
8.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，根据所述虚实注册变换关系实现对户外增强现实的应用，包括：
获取户外场景中需要叠加三维虚拟目标的位置；
将所述三维虚拟目标放置到三维图像点云中；
根据所述虚实注册变换关系将所述三维虚拟目标映射到所述相机图像上。
9.一种计算机可读存储介质，其特征在于，其上存储有基于跨源图像匹配的户外增强现实应用程序，该基于跨源图像匹配的户外增强现实应用程序被处理器执行时实现如权利要求1-8中任一项所述的基于跨源图像匹配的户外增强现实应用方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-8中任一项所述的基于跨源图像匹配的户外增强现实应用方法。
技术总结