本发明涉及图像处理领域，更具体地说，涉及应用于多重成像设备的图像融合方法和装置。
背景技术：
自古以来，人们就渴望着能够得到周围世界的图像。从手工描绘，到胶片相机，再到数码相机和各种专用相机，成像技术经历着漫长而越来越高速的演进。
近年来，随着电子科技的发展，使用单一相机来进行拍摄已经不再能满足人们的需求。例如，一种可能的多重成像设备包括全景相机和非全景相机。然后，将全景相机拍摄的全景图像与非全景相机拍摄的非全景图像组合以获得更多信息。例如，非全景图像可以是诸如红外图像、紫外图像之类的特殊图像。
大部分现有技术更感兴趣于分别将可见光图像和特殊图像拼接成全景图像。然而，这种做法会在图像匹配方面花费大量的时间，而且如果算法不够有效时，这种方式会带来大量不可忽略的误差。
另外一种现有技术致力于可见光图像和特殊图像的直接匹配，用这种方式来获取感兴趣区域的更多信息。然而，由于可见光图像与特殊图像在图像特性上的差异(如，像素点的颜色属性)很大，因此不能使用特征点自动匹配的方法来实现两种图像的匹配，而只能通过手动特征点标记的方式来实现两种图像的匹配。
技术实现要素：
鉴于以上情形，期望提供能够通过自动特征点检测的方式来匹配全景可见光图像和特殊图像的图像融合方法和装置。
根据本发明的一个方面，提供了一种图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。
另外，在根据本发明实施例的方法中，所述多个第二图像为立方体全景图中六个面的图像。
另外，在根据本发明实施例的方法中，以由所述非全景相机获得的特殊图像替换所述可见光图像的步骤进一步包括：确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；判断所述视差是否满足预定条件；当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。
另外，在根据本发明实施例的方法中，在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域的步骤进一步包括：对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的对应区域的第二变换矩阵。
另外，在根据本发明实施例的方法中，将所述特殊图像融合至匹配的第二图像中的对应区域的步骤进一步包括：通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。
根据本发明的另一方面，提供了一种图像融合装置，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述装置包括：畸变校正单元，用于通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；匹配单元，用于在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；融合单元，用于以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及反变换单元，用于将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。
另外，在根据本发明实施例的装置中，所述多个第二图像为立方体全景图中六个面的图像。
另外，在根据本发明实施例的装置中，所述融合单元进一步包括替换部件，所述替换部件被配置为执行以下处理：确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；判断所述视差是否满足预定条件；当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。
另外，在根据本发明实施例的装置中，所述匹配单元进一步被配置为：对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的第二变换矩阵。
另外，在根据本发明实施例的装置中，所述融合单元进一步被配置为：通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。
根据本发明的再一方面，提供了一种计算机介质，用于存储计算机程序，当由处理器执行所述计算机程序时，实现以下步骤：通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。
在根据本发明实施例的图像融合方法和装置中，通过使用可见光图像作为中间介质来完成特殊图像和全景图像的融合，从而能够将特殊图像的信息补充至全景图像，同时能够避免特殊图像与全景图像的直接匹配所引起的手动标记特征点的问题。
附图说明
图1是图示根据本发明的实施例的图像融合方法的过程的流程图；
图2示出了由全景相机获得的全景图像的一种示例；
图3(a)至图3(f)示出了通过步骤s101中的畸变校正而获得的立方体全景图中六个面的图像的一种示例；
图4(a)和图4(b)分别示出了由可见光镜头获得的可见光图像以及由特殊镜头获得的特殊图像；
图5(a)和图5(b)分别示出了所述多重成像设备的两种可能的配置方式；
图6(a)和图6(b)示出了可见光镜头和特殊镜头之间的物理关系；
图7示出了在步骤s103获得的融合后的面图像；
图8示出了融合了特殊图像的全景图像的一种示例；
图9是示出了根据本发明的实施例的图像融合装置的配置的功能性框图；
图10示出了根据本发明的实施例的图像融合装置作为硬件实体的一个示例；以及
图11示出了根据本发明的实施例的计算机可读记录介质的示意图。
具体实施方式
下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。
首先，将参照图1描述根据本发明的实施例的图像融合方法。根据本发明的实施例的图像融合方法应用于一多重成像设备。所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像。例如，所述特殊图像可以是诸如红外图像、紫外图像之类的、与可见光图像在图像特性(如，像素点的颜色属性)上差异很大的图像。
如图1所示，所述方法包括以下步骤。
首先，在步骤s101，通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像。
全景相机可以由两个鱼眼相机来构成。其中，每个鱼眼相机能够覆盖180度的视角。或者，全景相机也可以使用两个折反射相机来实现。其中，每个折反射相机由普通相机和一个反射镜组成，能够覆盖180度的视角。
鱼眼相机拍摄的图像存在畸变，从而不利于图像的辨认、分析和判断。如果希望利用这些严重变形图像的信息，那么就需要将这些严重变形的图像校正为符合人们视觉习惯的透视投影图像。
一种可能的方式是将全景图像变换为立方体全景图。换言之，所述多个第二图像为立方体全景图中六个面的图像。另一种可能的方式是将全景图像变换为多个非全景透视图。当然，本发明并不仅限于此。任何其他的校正全景图像中的畸变的方式都可以类似地应用于本发明，且应该包括在本发明的范围内。
图2示出了由全景相机获得的全景图像的一种示例。从图2中可以看出，在该全景图像的部分区域中存在畸变。图3(a)至图3(f)示出了通过步骤s101中的畸变校正而获得的立方体全景图中六个面的图像。从图3(a)至图3(f)中可以看出，每个面的图像中都不存在任何畸变。
在校正了全景图像中的畸变之后，由于将非线性特征点检测转换为线性特征点检测，因此后续的特征点检测和图像融合将更加快捷简便。
然后，在步骤s102，在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域。
在通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为立方体全景图的情况下，步骤s102具体包括以下步骤。
首先，对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像。
具体来说，例如，可以基于sift(scale-invariantfeaturetransform)算法或者surf(speededuprobustfeatures)算法来执行可见光图像与目标面图像之间的特征点匹配。从而，在可见光图像与目标面图像之间，找到多个匹配的特征点对。如果在当前的目标面的图像中未找到对应的匹配特征点或者找到的特征点并非完全匹配，那么该面图像与可见光图像的匹配度低。匹配度取决于找到的匹配特征点的数量以及特征点的匹配程度。可以遍历六个面的图像，并获得每个面的图像的匹配度，最终选择这六个面的图像中匹配度最高的一个面的图像作为与可见光图像匹配的面图像。
此外，当在当前的目标面图像中找到与可见光图像中的所有特征点完全对应的匹配特征点时，匹配度最高。换言之，此时的匹配度将明显地大于其他面的图像的匹配度。因此，作为另一种可能的实施方式，可以考虑设置一预定阈值，从而当匹配度大于该预定阈值时，直接将当前的目标面的图像选择作为与可见光图像匹配的面图像，而无需进一步比较其他面的图像。
然后，在找到与可见光图像匹配的面的图像之后，可以基于这两个图像之间的多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的对应区域的第二变换矩阵。换言之，通过将可见光图像中的各个像素点乘以该第二变换矩阵，可以将其变换至所述面图像的对应区域中。
例如，以(x，y)表示可见光图像中的一个特征点，以(x’，y’)表示面图像中的对应特征点，那么以下等式成立：
其中，w为一固定常数，h2为第二变换矩阵。通过多个匹配的特征点对作为已知量，可以求得矩阵h2中的各个系数。
图4(a)和图4(b)分别示出了由可见光镜头获得的可见光图像以及由特殊镜头获得的特殊图像。通过步骤s102的匹配，确定图4(a)所示的可见光图像与图3(a)中的面图像相匹配。
接下来，在步骤s103，以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域。
这里，特殊图像与可见光图像可以相互替换的前提是所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差满足预定条件，如视差小于预定阈值。
如上文中所述，多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像。非全景相机可以是一个相机，也可以是多个相机。非全景相机通过应用不同功能的特殊镜头来在全景图像上添加感兴趣的信息。例如，特殊镜头可以是红外镜头。可以应用红外镜头来给感兴趣的区域添加温度有关的信息。
图5(a)和图5(b)分别示出了所述多重成像设备的两种可能的配置方式。如图5(a)所示，所述多重成像设备包括鱼眼镜头①、可见光镜头②和特殊镜头③，其中鱼眼镜头①用于拍摄全景图像，而可见光镜头②和特殊镜头③配置在完全相同的位置。例如，可以在镜头内部通过增加特定的机械镜片结构来将该镜头在实现可见光镜头与特殊镜头之间切换，以便既能够拍摄非全景可见光图像，又能够拍摄特殊图像。如图5(b)所示，所述多重成像设备包括鱼眼镜头①、可见光镜头②和特殊镜头③，其中鱼眼镜头①用于拍摄全景图像，而可见光镜头②和特殊镜头③配置在不同的位置。这里，需要指出的是，将可见光镜头②和特殊镜头③放置得尽量靠近，以便如下文中所述，可见光镜头②和特殊镜头③之间的视差可以忽略。
图6(a)和图6(b)示出了可见光镜头和特殊镜头之间的物理关系。参照图6(a)，如果由可见光镜头和特殊镜头分别拍摄相同场景的图像，那么所获得的图像之间的视差disparity为：
其中，b为两个镜头的间距，z为镜头到目标场景x的距离，f为镜头的焦距。
参照图6(b)，假设可见光镜头和特殊镜头之间的距离是d(即，图3(a)中的b)，多重成像设备和目标场景之间的距离是dn(即，图3(a)中的z)。如果目标场景足够远(即，dn足够大)，两个镜头足够近(即，d足够小)，那么在一定程度上就可以忽略特殊图像和可见光图像之间的位置差异，此时两个图像可以相互替换。
然而，如果目标场景没有足够远，两个镜头设置得也不是足够近，那么视差将不是足够小，从而不能忽略特殊图像和可见光图像之间的位置差异，此时两个图像需要进行转换后才能够相互替换。
具体来说，“以由所述非全景相机获得的特殊图像替换所述可见光图像”的步骤进一步包括：
首先，确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差。
然后，判断所述视差是否满足预定条件。如上文中所述，预定条件可以是所述视差小于预定阈值。
当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像。
另一方面，当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。
具体来说，作为一种可能的实施方式，可以通过可见光镜头拍摄关于一校正板的图像。并且，由特殊镜头拍摄关于同一校正板的图像。例如，所述校正板可以是一棋盘格或一点阵光源。手动标记可见光图像中的校正板上的特征点以及特殊图像中的对应特征点。并且，基于这些特征点对，在可见光图像中确定多个特征点，并且在所述六个面的图像中，确定与之对应的匹配特征点。
例如，以(x，y)表示特殊图像中的一个特征点，以(x’，y’)表示可见光图像中的对应特征点，那么以下等式成立：
其中，w为一固定常数，h1为第一变换矩阵。通过多个匹配的特征点对作为已知量，可以求得矩阵h1中的各个系数。
此外，“将所述特殊图像融合至匹配的第二图像中的对应区域”的步骤进一步包括：通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。所述第二变换矩阵是通过将可见光图像与全景图像进行匹配而获得的，但却应用于特殊图像与全景图像间的融合。换言之，由于可见光图像与全景图像有相似的光学特征，更便于自动特征点检测和匹配，因此将可见光图像作为中间介质，用以获得可以将特殊图像融合至全景图像的第二变换矩阵。也就是说，图像融合是在特殊图像和立方体的目标面之间进行的。
图7示出了在步骤s103获得的融合后的面图像，即：以图4(b)所示的特殊图像替换图4(a)所示的可见光图像，并变换到图3(a)中的面图像的目标位置后得到的图像。其中，在图7中，由白色方框圈出的位置为特殊图像的变换位置。
最后，在步骤s104，将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。从而，可以获得增加了特定区域的例如与温度有关的信息的全景图像。图8示出了融合了特殊图像的全景图像。其中，在图8中，由白色方框圈出的部分为融合了特殊图像的区域。
在根据本发明的实施例的图像融合方法中，通过使用可见光图像作为中间介质来完成特殊图像和全景图像的融合，从而能够将特殊图像的信息补充至全景图像，同时能够避免特殊图像与全景图像的直接匹配所引起的手动标记特征点的问题。
此外，以上图像融合方法可以在本地执行。例如，多重成像设备拍摄的全景图像和非全景图像直接在用户设备上被处理，即直接在用户设备上进行图像匹配和融合以及观看结果。或者，可替代地，以上图像融合方法也可以在远程进行。例如，多重成像设备拍摄的全景图像和非全景图像被传送到一个远程系统(如，服务器)或者一个本地计算机来进行图像匹配和融合，然后传回已匹配和融合好的图像到用户设备，从而用户可以观看结果。
接下来，将参照图9描述根据本发明的实施例的图像融合装置。所述图像融合装置应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像。
如图9所示，所述图像融合装置900包括：畸变校正单元901、匹配单元902、融合单元903和反变换单元904。
畸变校正单元901用于通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像。
全景相机可以由两个鱼眼相机来构成。其中，每个鱼眼相机能够覆盖180度的视角。或者，全景相机也可以使用两个折反射相机来实现。其中，每个折反射相机由普通相机和一个反射镜组成，能够覆盖180度的视角。
鱼眼相机拍摄的图像存在畸变，从而不利于图像的辨认、分析和判断。如果希望利用这些严重变形图像的信息，那么就需要将这些严重变形的图像校正为符合人们视觉习惯的透视投影图像。
一种可能的方式是将全景图像变换为立方体全景图。换言之，所述多个第二图像为立方体全景图中六个面的图像。另一种可能的方式是将全景图像变换为多个非全景透视图。当然，本发明并不仅限于此。任何其他的校正全景图像中的畸变的方式都可以类似地应用于本发明，且应该包括在本发明的范围内。
匹配单元902用于在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域。
在通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为立方体全景图的情况下，所述匹配单元902进一步被配置为：对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的第二变换矩阵。
融合单元903用于以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域。
这里，特殊图像与可见光图像可以相互替换的前提是所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差满足预定条件，如视差小于预定阈值。
其中所述融合单元903进一步包括替换部件(图中未示出)，所述替换部件被配置为执行以下处理。
首先，确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差。
然后，判断所述视差是否满足预定条件。
当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像。另一方面，当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。
此外，所述融合单元进一步被配置为：通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。所述第二变换矩阵是通过将可见光图像与全景图像进行匹配而获得的，但却应用于特殊图像与全景图像间的融合。换言之，由于可见光图像与全景图像有相似的光学特征，更便于自动特征点检测和匹配，因此将可见光图像作为中间介质，用以获得可以将特殊图像融合至全景图像的第二变换矩阵。也就是说，图像融合是在特殊图像和立方体的目标面之间进行的。
反变换单元904用于将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。
此外，以上图像融合装置可以存在于用户设备本地。例如，多重成像设备拍摄的全景图像和非全景图像直接在用户设备上被处理，即直接在用户设备上进行图像匹配和融合以及观看结果。或者，可替代地，以上图像融合装置也可以存在于一远程系统中。例如，多重成像设备拍摄的全景图像和非全景图像被传送到该远程系统(如，服务器)或者一个本地计算机来进行图像匹配和融合，然后传回已匹配和融合好的图像到用户设备，从而用户可以观看结果。
这里，需要指出的是，由于根据本发明的实施例的图像融合装置中各个单元所执行的处理完全对应于上文中所述的图像融合方法中的各个步骤。因此，为了避免冗余起见，这里未对图像融合装置中各个单元的具体细节展开描述。上文中所描述的方法中的各个步骤可以对应地应用于图像融合装置中的各个单元。
根据本发明的图像融合装置作为硬件实体的一个示例如图10所示。所述灰度控制设备包括处理器1001、存储器1002以及至少一个外部通信接口1003。所述处理器1001、存储器1002以及外部通信接口1003均通过总线1004连接。
对于用于数据处理的处理器1001而言，在执行处理时，可以采用微处理器、中央处理器(cpu，centralprocessingunit)、数字信号处理器(dsp，digitalsignalprocessor)或可编程逻辑阵列(fpga，field－programmablegatearray)实现；对于存储器1002来说，包含操作指令，该操作指令可以为计算机可执行代码，通过所述操作指令来实现上述本发明实施例交互反馈方法流程中的各个步骤。
图11示出了根据本发明的实施例的计算机可读记录介质的示意图。如图11所示，根据本发明实施例的计算机可读记录介质1100其上存储有计算机程序指令1101。当所述计算机程序指令1101由处理器运行时，执行参照以上附图描述的根据本发明实施例的图像融合方法。
迄今为止，已经参照图1到图11详细描述了根据本发明实施例的图像融合方法和装置。在根据本发明实施例的图像融合方法和装置中，通过使用可见光图像作为中间介质来完成特殊图像和全景图像的融合，从而能够将特殊图像的信息补充至全景图像，同时能够避免特殊图像与全景图像的直接匹配所引起的手动标记特征点的问题。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过软件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁盘、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
1.一种图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：
通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；
在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；
以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及
将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。
2.根据权利要求1所述的方法，其中所述多个第二图像为立方体全景图中六个面的图像。
3.根据权利要求1所述的方法，其中以由所述非全景相机获得的特殊图像替换所述可见光图像的步骤进一步包括：
确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；
判断所述视差是否满足预定条件；
当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；
当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。
4.根据权利要求2所述的方法，其中在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域的步骤进一步包括：
对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；
基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的对应区域的第二变换矩阵。
5.根据权利要求4所述的方法，其中将所述特殊图像融合至匹配的第二图像中的对应区域的步骤进一步包括：
通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。
6.一种图像融合装置，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述装置包括：
畸变校正单元，用于通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；
匹配单元，用于在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；
融合单元，用于以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及
反变换单元，用于将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。
7.根据权利要求6所述的装置，其中所述多个第二图像为立方体全景图中六个面的图像。
8.根据权利要求6所述的装置，其中所述融合单元进一步包括替换部件，所述替换部件被配置为执行以下处理：
确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；
判断所述视差是否满足预定条件；
当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；
当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。
9.根据权利要求7所述的装置，其中所述匹配单元进一步被配置为：
对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；
基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的第二变换矩阵。
10.根据权利要求9所述的装置，其中所述融合单元进一步被配置为：
通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。
技术总结