本申请涉及图像处理技术领域，尤其涉及一种全景视频的拼接线优化方法及设备。
背景技术：
现有技术中，图像拼接技术不仅在民用领域有重要的应用，如风景照的全景拼接，在军用领域也有很重要的应用，如无人机航拍图像序列的拼接。现有的图像拼接方法主要有：基于频域的变换位移方法，基于像素灰度级的方法和基于图像特征的拼接方法。上述经典的图像拼接方案中的技术手段也可以同样适用于视频拼接，视频拼接和图像拼接的一个重要的区别是，在视频拼接中，物体若通过拼接线，则会导致拼接出来的全景视频拼接的图像出现重影或部分遮挡的情况(统称为鬼影)；若视频中的两幅图像的重叠区域在存在像素的亮度差，可以通过递归法求解亮度差异最小路径，得到视频中的两幅图像拼接后的图像的更新的拼接线；但是基于亮度差异表的方法，在视频中的两图重叠区域的亮度差异大时，拼接效果严重下降；又由于拼接线更新的阈值条件，容易随着环境的变化而变化，固定的阈值会使得拼接线快速变化而引起视频帧的闪烁。因此，如何避免全景视频拼接过程中出现的重影和/或部分遮挡成为业界研究的主要课题。
技术实现要素：
本申请的一个目的是提供一种全景视频的拼接线优化方法及设备，解决现有技术中对全景视频进行图像拼接时导致的重影和/或部分遮挡的问题。
根据本申请的一个方面，提供了一种全景视频的拼接线优化方法，该方法包括：
确定全景视频的每一帧全景拼接视频帧及其初始拼接线；
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；
基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
进一步地，上述方法中，所述确定全景视频的每一帧全景拼接视频帧及其初始拼接线，包括：
获取全景中各拍摄视角上的至少一帧视频帧及其帧标记；
将每个帧标记对应的各拍摄视角上的视频帧进行对齐拼接，确定每个帧标记对应的全景拼接视频帧及其初始拼接线，确定全景视频的每一帧全景拼接视频帧及其初始拼接线。
进一步地，上述方法中，所述对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，还包括：
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到所述至少一个运动显著区域分别与所述初始拼接线之间的相对位置关系；
所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线，包括：
基于所述相对位置关系和所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
进一步地，上述方法中，所述对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，包括：
在所述初始拼接线的两侧的预设像素范围内，依次基于频谱残差法和图像二值化法，分别对每一帧所述全景拼接视频帧进行显著性区域检测和处理，得到每一帧所述全景拼接视频帧的至少一个显著目标区域；
分别对每一帧所述全景拼接视频帧的至少一个显著目标区域进行运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧。
进一步地，上述方法中，所述分别对每一帧所述全景拼接视频帧的至少一个显著目标区域进行运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，包括：
设当前全景拼接视频帧中的一个显著目标区域为区域c1，与当前全景拼接视频帧连续相邻的、前两帧全景拼接视频帧中的与区域c1对应的显著目标区域分别为区域c2和区域c3，其中，区域c1、区域c2和区域c3的中心点分别为点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)；
计算所述连续三帧全景拼接视频帧中分别对应的区域c1、区域c2和区域c3之间的相对运动，得到两个相对运动参数δx和δy，分别为：δx＝x3-x1，δy＝y3-y1；
若所述相对运动参数δx和δy满足预设的相对运动参数条件，则确定所述显著目标区域为运动显著区域，并基于点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)，得到所述运动显著区域的运动方向；
重复上述步骤，得到包含至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧。
进一步地，上述方法中，所述预设的相对运动参数条件为：
abs(δx)>预设像素范围；和/或，
abs(δy)>预设像素范围。
进一步地，上述方法中，基于点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)，得到所述运动显著区域的运动方向，包括：
采用最小二乘法将点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)拟合成一条运动直线，基于该运动直线确定所述运动显著区域的运动方向。
进一步地，上述方法中，所述相对位置关系包括：
在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，
所述初始拼接线穿过所述运动显著区域；或，所述运动显著区域位于所述初始拼接线的一侧。
进一步地，上述方法中，若所述相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述初始拼接线穿过所述运动显著区域时，所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线，包括：
沿着所述运动方向平移对应的所述运动直线，直至所述运动直线与所述运动显著区域的边缘线的一端相交于一端点p1，且该端点p1位于所述拼接线的、与所述运动方向相反的一侧，同时得到所述运动直线与所述初始拼接线的交点p2，并确定由交点p2和端点p1确定的运动边缘直线p2p1；
获取所述初始拼接线与所述运动显著区域的边缘线相交的点中的、与交点p2之间的距离最大的交点p3，确定由交点p2和交点p3确定的所述初始拼接线中的待优化拼接线p2p3，并确定由端点p1和交点p3确定的、与所述运动方向相反的所述运动显著区域的边缘线p1p3；
将所述待优化拼接线p2p3替换为所述运动边缘直线p2p1和边缘线p1p3，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
进一步地，上述方法中，若所述相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述运动显著区域位于所述初始拼接线的一侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线，则所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线，包括：
沿着所述运动方向平移对应的所述运动直线，直至所述运动直线平移至所述运动显著区域的边缘线的两端并分别相交于端点1和端点2，记录所述端点1和端点2分别对应的运动直线与所述初始拼接线的交点1和交点2，确定由交点1和交点2确定的所述初始拼接线中的待优化拼接线l0；
确定由端点1和交点1确定的运动边缘直线l1，由端点2和交点2确定的运动边缘直线l2，并确定由端点1和端点2确定的、与所述运动方向相反的所述运动显著区域的边缘线l3；
将所述待优化拼接线l0替换为所述运动边缘直线l1、运动边缘直线l2和边缘线l3，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
进一步地，上述方法中，所述端点1和交点1指示相同的一点；和/或，所述端点2和交点2指示相同的一点。
进一步地，上述方法中，若所述相对位置关系为：在全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述运动显著区域位于与所述初始拼接线的一侧，且所述运动显著区域的部分区域将沿着所述运动方向穿过所述初始拼接线，则所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线，包括：
确定所述运动显著区域的部分区域沿着所述运动方向若穿过所述初始拼接线后、被覆盖的待优化拼接线l覆盖；
在平行于所述运动方向上，确定所述运动显著区域与所述初始拼接线的最外交点，基于所述最外交点和与所述运动方向对应的运动直线，确定穿过所述初始拼接线后的，所述运动显著区域在所述运动方向上移动的、与所述初始拼接线距离最近的运动边缘直线l边缘；
将所述待优化拼接线l覆盖替换为所述运动边缘直线l边缘，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
根据本申请的另一方面，还提供了一种基于计算的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
确定全景视频的每一帧全景拼接视频帧及其初始拼接线；
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；
基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
根据本申请的另一方面，还提供了一种存储可执行指令的非暂态计算机可读存储介质，在所述可执行指令由电子设备执行时，使得所述电子设备：
确定全景视频的每一帧全景拼接视频帧及其初始拼接线；
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；
基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
与现有技术相比，本申请首先确定全景视频的每一帧全景拼接视频帧及其初始拼接线；由于拼接后的全景拼接视频帧可能存在运动显著区域，则需要对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线，实现了对全景视频拼接过程中得到的待优化的全景拼接视频帧中的初始拼接线进行优化，从而可以得到最优拼接线，避免了全景视频中的移动的物体通过拼接线时导致的重影和/或遮挡部分，进一步提高了全景视频在拼接过程中的拼接效果，进而提高了全景视频的视觉效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出本申请一实施例中提供的一种全景视频的拼接线优化方法的流程示意图；
图2示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的拍摄视角a和拍摄视角b的分布示意图；
图3示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的帧标记为时间点i时的拍摄视角a对应的视频帧cai的示意图；
图4示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的帧标记为时间点i时的拍摄视角b对应的视频帧cbi的示意图；
图5示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的帧标记为时间点(i n)时的拍摄视角a对应的视频帧ca(i n)的示意图；
图6示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的帧标记为时间点(i n)时的拍摄视角b对应的视频帧cb(i n)的示意图；
图7示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的帧标记为时间点(i n)时对应的全景拼接视频帧cab(i n)的示意图；
图8示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的运动显著区域与初始拼接线的相对位置关系的示意图；
图9示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的对全景拼接视频帧进行运动性显著区域检测的示意图；
图10a、10b、10c和10d示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述初始拼接线穿过所述运动显著区域时对应的实际应用场景示意图；
图11a、11b、11c和11d示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的所述相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述运动显著区域位于所述初始拼接线的左侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线时对应的实际应用场景示意图；
图12a、12b、12c和12d示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的所述相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述运动显著区域位于所述初始拼接线的右侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线时对应的实际应用场景示意图；
图13示出本申请一实施例中提供的一种全景视频的拼接线优化方法中的将帧标记为时间点(i n)时对应的全景拼接视频帧cab(i n)进行初始拼接线优化调整之后的全景拼接视频帧的示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
图1示出本申请一实施例中提供的一种全景视频的拼接线优化方法的流程示意图，该方法应用于对全景视频中的视频帧进行拼接的过程中，该方法包括步骤s11、步骤s12和步骤s13，具体包括：
所述步骤s11，确定全景视频的每一帧全景拼接视频帧及其初始拼接线；由于拼接后的全景拼接视频帧可能存在运动显著区域，则所述步骤s12需要对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；即在全景视频进行视频帧的拼接时，并不是拼接后的每一帧全景拼接视频帧存在运动显著区域，则需要对所有帧全景拼接视频帧进行显著性区域检测和运动性显著区域检测，得到需要进行初始拼接线的调整的所述待优化的全景拼接视频帧，当然该待优化的全景拼接视频帧的帧数可以是一帧，也可以是多帧；所述步骤s13，基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线，实现了对全景视频拼接过程中得到的待优化的全景拼接视频帧中的初始拼接线进行优化，从而可以得到最优拼接线，避免了全景视频中的移动的物体通过拼接线时导致的重影和/或遮挡部分，进一步提高了全景视频在拼接过程中的拼接效果，进而提高了全景视频的视觉效果。
本申请一实施例中，所述步骤s11确定全景视频的每一帧全景拼接视频帧及其初始拼接线，包括：
获取全景中各拍摄视角上的至少一帧视频帧及其帧标记；在此，所述帧标记可以是每一帧视频帧对应的时间点，也可以是按照拍摄顺序进行获取的每一帧视频帧对应的帧序号等。例如，如图2所示的全景中布置了摄像装置a和b，分别对应的拍摄视角分别为拍摄视角a和拍摄视角b，若帧标记为时间点，则拍摄视角a和拍摄视角b上的t帧视频帧分别为cai，cbj(i，j＝1，2，...，t)，其中，cai为拍摄视角a上的时间点为i时对应的视频帧，cbj为拍摄视角b上的时间点为j时对应的视频帧。又例如，若帧标记为帧序号，则在拍摄视角a上按照拍摄顺序进行获取的t帧视频帧分别为a1、a2、a3、……、ai、……、at，在拍摄视角b上按照拍摄顺序进行获取的t帧视频帧分别为b1、b2、b3、……、bj、……、bt，其中，ai为拍摄视角a上的帧序号为i时对应的视频帧，bj为拍摄视角b上的帧序号为j时对应的视频帧。
将每个帧标记对应的各拍摄视角上的视频帧进行对齐拼接，确定每个帧标记对应的全景拼接视频帧及其初始拼接线，确定全景视频的每一帧全景拼接视频帧及其初始拼接线。在此，将每个帧标记对应的各拍摄视角上的视频帧进行对齐拼接是将同一帧标记对应的拍摄视角a和拍摄视角b上的视频帧进行对齐拼接，例如如图3和4所示将时间点为i时的拍摄视角a和拍摄视角b上的cai和cbi进行对齐拼接；又例如如图5和6所示将时间点为(i n)时的拍摄视角a和拍摄视角b上的ca(i n)和cb(i n)进行对齐拼接，以确保将每个帧标记对应各拍摄视角上的视频帧进行对齐拼接，得到如图7所示的帧标记为时间点(i n)时对应的全景拼接视频帧cab(i n)(由ca(i n)和cb(i n)对齐拼接得到)。
以下以帧标记为时间点为例，对上述对齐拼接步骤进行解释，将每个帧标记(时间点1、2、…….、t)对应的拍摄视角a和拍摄视角b上的视频帧进行对齐拼接，例如分别将时间点为k对应的拍摄视角a上的视频帧cak和拍摄视角b上的视频帧cbk进行对齐拼接，得到时间点为k时对应的全景拼接视频帧cab(k)，其中，k∈[1，t]，如此可以得到每个帧标记(时间点为例)对应的全景拼接视频帧及其初始拼接线，将每个帧标记对应的全景拼接视频帧按照帧标记的先后顺序(此处帧标记以时间点为例，则按照帧标记的先后顺序；若帧标记为帧序列，则按照帧序号从小到大的顺序)进行排列放映，得到全景视频，则根据按照帧标记进行对齐拼接得到的全景拼接视频帧及其初始拼接线，也是全景视频中的每一帧全景拼接视频帧及其初始拼接线，实现按照帧标记对各拍摄视角上的视频帧进行对齐拼接，得到了全景视频中的每一帧全景拼接视频帧及其初始拼接线。
本申请一实施例中，所述步骤s12对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，还包括：
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到至少一个运动显著区域分别与所述初始拼接线之间的相对位置关系；例如，如图8所示对全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测之后，得到图8中的椭圆内所示的运动显著区域及分别与初始拼接线(经过运动显著区域3的弯曲的实线为初始拼接线)，可见，运动显著区域3与所述初始拼接线的相对位置关系为所述初始拼接线穿过所述运动显著区域，运动显著区域4与所述初始拼接线的相对位置关系为与所述初始拼接线的相对位置关系为所述初始拼接线穿过所述运动显著区域4位于所述初始拼接线的左侧，运动显著区域5与所述初始拼接线的相对位置关系为与所述初始拼接线的相对位置关系为所述初始拼接线穿过所述运动显著区域5位于所述初始拼接线的右侧，进而可以得到至少一个运动显著区域分别与所述初始拼接线之间的相对位置关系。
接着，所述步骤s13基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线，包括：基于所述相对位置关系和所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线，使得基于该相对位置关系、运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化得到的最优拼接线的精确度最好，从而使基于该最优拼接线的全景拼接视频帧的拼接效果更好，进一步使得拼接之后得到的全景视频的视觉效果更好。
本申请一实施例中，所述步骤s12对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，包括：
在所述初始拼接线的两侧的预设像素范围内，依次基于频谱残差法和图像二值化法，分别对每一帧所述全景拼接视频帧进行显著性区域检测和处理，得到每一帧所述全景拼接视频帧的至少一个显著目标区域；例如，在获取初始拼接线后，在初始拼接线的两侧的预设像素范围δ内(如图8中的两条弯曲的虚线之间的部分为初始拼接线的两侧的预设像素范围δ内)，由于频谱残差法需要输入矩形图像，为便于后续图像处理，故将如图8中的初始拼接线的两侧的预设像素范围δ的虚线边界线拉直得到矩形图像(图8中包括显著性区域3、4、5和穿过显著性区域2和6的矩形图像)，接着采用频谱残差法对全景拼接视频中的矩形图像进行显著性区域检测，并对频谱残差法处理之后的图像采用图像二值化法进行处理，得到每一帧全景拼接视频帧的至少一个显著目标区域；由于显著目标区域可能是静止区域，也可能是运动区域，故所述步骤s12需要分别对每一帧所述全景拼接视频帧的至少一个显著目标区域进行运动性显著区域检测，以得到需要对初始拼接线进行调整时对应的运动显著区域及其运动方向，进而得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧。
如图8所示待优化的全景拼接视频帧中的运动显著区域与初始拼接线之间的相对位置关系有多种，例如：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述初始拼接线穿过所述运动显著区域(例如图8中的运动显著区域3)；或，所述运动显著区域位于所述初始拼接线的一侧(例如图8中的运动显著区域4和5)。而图8中的每一个运动显著区域可能代表着一个运动目标，对于确定为运动状态的运动目标，当且仅当运动目标与初始拼接线第一次接触时，才会启用对所述初始拼接线进行优化调整的所述步骤s13；其中运动显著区域3在调整开始时，就已经穿过了初始拼接线，则需要采用所述步骤s13对初始拼接线进行优化调整。
通过上述步骤s12中的依次采用频谱残差法和图像二值化法，分别对每一帧所述全景拼接视频帧进行显著性区域检测和处理，可以得到需要对初始拼接线进行优化调整时对应的至少一个运动显著区域及其运动方向，就可以得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，实现对全景拼接视频帧中的运动显著区域的检测。
本申请一实施例中，由于所述步骤s12中得到的显著目标区域一般是不规则的形状，为了便于处理，故将显著目标区域通过外切矩形的方式来得到矩形的显著目标区域如图8中的显著目标区域3的外切矩形，当然该显著目标区域也可以是其他规则形状的区域例如三角形，平行四边形等。所述步骤s12中的分别对每一帧所述全景拼接视频帧的至少一个显著目标区域进行运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，包括：
设当前全景拼接视频帧中的一个显著目标区域为区域c1，与当前全景拼接视频帧连续相邻的、前两帧全景拼接视频帧中的与区域c1对应的显著目标区域分别为区域c2和区域c3，其中，区域c1、区域c2和区域c3的中心点分别为点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)；为了消除误差影响，以连续的三帧全景拼接视频帧作为运动方向的计算基础，分别记录连续三帧全景拼接视频帧中的同一显著目标区域的三个中心点，分别为点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)如图9所示。
计算所述连续三帧全景拼接视频帧中分别对应的区域c1、区域c2和区域c3之间的相对运动，得到两个相对运动参数δx和δy，分别为：δx＝x3-x1，δy＝y3-y1；
若所述相对运动参数δx和δy满足预设的相对运动参数条件，则确定所述显著目标区域为运动显著区域，并基于点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)，得到所述运动显著区域的运动方向；在此，所述预设的相对运动参数条件为：
abs(δx)>预设像素范围；和/或，abs(δy)>预设像素范围。
即，若所述相对运动参数δx和δy中的任一个先对运动参数满足上述运动参数条件，则可以确定对应的显著目标区域为运动显著区域；接着，采用最小二乘法将点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)拟合成一条运动直线：y＝a bx，该运动直线用于指示运动显著区域的运动方向，基于该运动直线确定所述运动显著区域的运动方向。当然，若相对运动参数δx和δy中的两个先对运动参数均不满足上述运动参数条件时，则确定该显著目标区域目前没有运动。
重复上述步骤，得到包含至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，实现每一帧全景拼接视频帧中的运动显著区域的检测，以得到全景视频中的包含至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，以便后续对该待优化的全景拼接视频帧中的初始拼接线进行优化调整。
本申请一实施例中的全景视频的拼接线优化方法中，运动显著区域与初始拼接线之间的所述相对位置关系包括：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述初始拼接线穿过所述运动显著区域；或，所述运动显著区域位于所述初始拼接线的一侧。
本申请一实施例中，若所述相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述初始拼接线穿过所述运动显著区域时，所述步骤s13基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线，包括：
沿着所述运动方向平移对应的所述运动直线，直至所述运动直线与所述运动显著区域的边缘线的一端相交于一端点p1，且该端点p1位于所述初始拼接线的、与所述运动方向相反的一侧，同时得到所述运动直线与所述初始拼接线的交点p2，并确定由交点p2和端点p1确定的运动边缘直线p2p1；
获取所述初始拼接线与所述运动显著区域的边缘线相交的点中的、与交点p2之间的距离最大的交点p3，确定由交点p2和交点p3确定的所述初始拼接线中的待优化拼接线p2p3，并确定由端点p1和交点p3确定的、与所述运动方向相反的所述运动显著区域的边缘线p1p3；
将所述待优化拼接线p2p3替换为所述运动边缘直线p2p1和边缘线p1p3，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
例如，如图10a所示当
本申请一实施例中，若所述相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述运动显著区域位于所述初始拼接线的一侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线，则所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线，包括：
沿着所述运动方向平移对应的所述运动直线，直至所述运动直线平移至所述运动显著区域的边缘线的两端并分别相交于端点1和端点2，记录所述端点1和端点2分别对应的运动直线与所述初始拼接线的交点1和交点2，确定由交点1和交点2确定的所述初始拼接线中的待优化拼接线l0；
确定由端点1和交点1确定的运动边缘直线l1，由端点2和交点2确定的运动边缘直线l2，并确定由端点1和端点2确定的、与所述运动方向相反的所述运动显著区域的边缘线l3；
将所述待优化拼接线l0替换为所述运动边缘直线l1、运动边缘直线l2和边缘线l3，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
例如，当运动显著区域位于所述初始拼接线的左侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线时，如图11a所示当
又例如，当运动显著区域位于所述初始拼接线的右侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线时，如图12a所示当
本申请一实施例中，若所述相对位置关系为：在全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述运动显著区域位于与所述初始拼接线的一侧，且所述运动显著区域的部分区域将沿着所述运动方向穿过所述初始拼接线，则所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧所述待优化的全景拼接视频帧的最优拼接线，包括：
确定所述运动显著区域的部分区域沿着所述运动方向若穿过所述初始拼接线后、被覆盖的待优化拼接线l覆盖；
在平行于所述运动方向上，确定所述运动显著区域与所述初始拼接线的最外交点，基于所述最外交点和与所述运动方向对应的运动直线，确定穿过所述初始拼接线后的，所述运动显著区域在所述运动方向上移动的、与所述初始拼接线距离最近的运动边缘直线l边缘；
将所述待优化拼接线l覆盖替换为所述运动边缘直线l边缘，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
例如，在全景拼接视频帧的初始拼接线的两侧的预设像素范围内，当运动显著区域位于所述初始拼接线的左侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线时，如图11c所示当
例如，在全景拼接视频帧的初始拼接线的两侧的预设像素范围内，当运动显著区域位于所述初始拼接线的右侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线时，如图12c所示当
此外，本申请的另一方面还提供了一种基于计算的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
确定全景视频的每一帧全景拼接视频帧及其初始拼接线；
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；
基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
本申请的另一方面还提供了一种存储可执行指令的非暂态计算机可读存储介质，在所述可执行指令由电子设备执行时，使得所述电子设备：
确定全景视频的每一帧全景拼接视频帧及其初始拼接线；
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；
基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
综上所述，本申请首先确定全景视频的每一帧全景拼接视频帧及其初始拼接线；由于拼接后的全景拼接视频帧可能存在运动显著区域，则需要对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线，实现了对全景视频拼接过程中得到的待优化的全景拼接视频帧中的初始拼接线进行优化，从而可以得到最优拼接线，避免了全景视频中的移动的物体通过拼接线时导致的重影和/或遮挡部分，进一步提高了全景视频在拼接过程中的拼接效果，进而提高了全景视频的视觉效果如图13所示，图13为将图7所示的包含有最初拼接线的全景拼接视频帧进行最初拼接线的优化调整之后的全景拼接视频帧。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
1.一种全景视频的拼接线优化方法，其中，所述方法包括：
确定全景视频的每一帧全景拼接视频帧及其初始拼接线；
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；
基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
2.根据权利要求1所述的方法，其中，所述确定全景视频的每一帧全景拼接视频帧及其初始拼接线，包括：
获取全景中各拍摄视角上的至少一帧视频帧及其帧标记；
将每个帧标记对应的各拍摄视角上的视频帧进行对齐拼接，确定每个帧标记对应的全景拼接视频帧及其初始拼接线，确定全景视频的每一帧全景拼接视频帧及其初始拼接线。
3.根据权利要求1所述的方法，其中，所述对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，还包括：
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到所述至少一个运动显著区域分别与所述初始拼接线之间的相对位置关系；
所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线，包括：
基于所述相对位置关系和所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
4.根据权利要求3所述的方法，其中，所述对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，包括：
在所述初始拼接线的两侧的预设像素范围内，依次基于频谱残差法和图像二值化法，分别对每一帧所述全景拼接视频帧进行显著性区域检测和处理，得到每一帧所述全景拼接视频帧的至少一个显著目标区域；
分别对每一帧所述全景拼接视频帧的至少一个显著目标区域进行运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧。
5.根据权利要求4所述的方法，其中，所述分别对每一帧所述全景拼接视频帧的至少一个显著目标区域进行运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，包括：
设当前全景拼接视频帧中的一个显著目标区域为区域c1，与当前全景拼接视频帧连续相邻的、前两帧全景拼接视频帧中的与区域c1对应的显著目标区域分别为区域c2和区域c3，其中，区域c1、区域c2和区域c3的中心点分别为点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)；
计算所述连续三帧全景拼接视频帧中分别对应的区域c1、区域c2和区域c3之间的相对运动，得到两个相对运动参数δx和δy，分别为：δx＝x3-x1，δy＝y3-y1；
若所述相对运动参数δx和δy满足预设的相对运动参数条件，则确定所述显著目标区域为运动显著区域，并基于点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)，得到所述运动显著区域的运动方向；
重复上述步骤，得到包含至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧。
6.根据权利要求5所述的方法，其中，所述预设的相对运动参数条件为：
abs(δx)>预设像素范围；和/或，
abs(δy)>预设像素范围。
7.根据权利要求5所述的方法，其中，基于点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)，得到所述运动显著区域的运动方向，包括：
采用最小二乘法将点c1(x1，y1)、点c2(x2，y2)和点c3(x3，y3)拟合成一条运动直线，基于该运动直线确定所述运动显著区域的运动方向。
8.根据权利要求3所述方法，其中，所述相对位置关系包括：
在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，
所述初始拼接线穿过所述运动显著区域；或，所述运动显著区域位于所述初始拼接线的一侧。
9.根据权利要求8所述的方法，其中，若所述相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述初始拼接线穿过所述运动显著区域时，所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线，包括：
沿着所述运动方向平移对应的所述运动直线，直至所述运动直线与所述运动显著区域的边缘线的一端相交于一端点p1，且该端点p1位于所述初始拼接线的、与所述运动方向相反的一侧，同时得到所述运动直线与所述初始拼接线的交点p2，并确定由交点p2和端点p1确定的运动边缘直线p2p1；
获取所述初始拼接线与所述运动显著区域的边缘线相交的点中的、与交点p2之间的距离最大的交点p3，确定由交点p2和交点p3确定的所述初始拼接线中的待优化拼接线p2p3，并确定由端点p1和交点p3确定的、与所述运动方向相反的所述运动显著区域的边缘线p1p3；
将所述待优化拼接线p2p3替换为所述运动边缘直线p2p1和边缘线p1p3，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
10.根据权利要求8所述的方法，其中，若所述相对位置关系为：在待优化的全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述运动显著区域位于所述初始拼接线的一侧，且所述运动显著区域的整体区域将沿着所述运动方向穿过所述初始拼接线，则所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线，包括：
沿着所述运动方向平移对应的所述运动直线，直至所述运动直线平移至所述运动显著区域的边缘线的两端并分别相交于端点1和端点2，记录所述端点1和端点2分别对应的运动直线与所述初始拼接线的交点1和交点2，确定由交点1和交点2确定的所述初始拼接线中的待优化拼接线l0；
确定由端点1和交点1确定的运动边缘直线l1，由端点2和交点2确定的运动边缘直线l2，并确定由端点1和端点2确定的、与所述运动方向相反的所述运动显著区域的边缘线l3；
将所述待优化拼接线l0替换为所述运动边缘直线l1、运动边缘直线l2和边缘线l3，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
11.根据权利要求10所述的方法，其中，所述端点1和交点1指示相同的一点；和/或，
所述端点2和交点2指示相同的一点。
12.根据权利要求8所述的方法，其中，若所述相对位置关系为：在全景拼接视频帧的初始拼接线的两侧的预设像素范围内，所述运动显著区域位于与所述初始拼接线的一侧，且所述运动显著区域的部分区域将沿着所述运动方向穿过所述初始拼接线，则所述基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线，包括：
确定所述运动显著区域的部分区域沿着所述运动方向若穿过所述初始拼接线后、被覆盖的待优化拼接线l覆盖；
在平行于所述运动方向上，确定所述运动显著区域与所述初始拼接线的最外交点，基于所述最外交点和与所述运动方向对应的运动直线，确定穿过所述初始拼接线后的，所述运动显著区域在所述运动方向上移动的、与所述初始拼接线距离最近的运动边缘直线l边缘；
将所述待优化拼接线l覆盖替换为所述运动边缘直线l边缘，得到所述待优化的全景拼接视频帧的最优拼接线；
重复上述步骤，直至得到每一帧所述待优化的全景拼接视频帧的最优拼接线。
13.一种基于计算的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
确定全景视频的每一帧全景拼接视频帧及其初始拼接线；
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；
基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
14.一种存储可执行指令的非暂态计算机可读存储介质，在所述可执行指令由电子设备执行时，使得所述电子设备：
确定全景视频的每一帧全景拼接视频帧及其初始拼接线；
对每一帧所述全景拼接视频帧依次进行显著性区域检测和运动性显著区域检测，得到包含有至少一个运动显著区域及其运动方向的待优化的全景拼接视频帧，其中，所述待优化的全景拼接视频帧的帧数为至少一帧；
基于所述至少一个运动显著区域及其运动方向，对对应的待优化的全景拼接视频帧的初始拼接线进行优化，得到每一帧待优化的全景拼接视频帧的最优拼接线。
技术总结