本发明涉及计算机图像处理领域，具体地说是一种相机阵列的图像矫正方法、系统及介质。
背景技术：
环形相机阵列是一种应用广泛的相机阵列，最为熟知的应用就是拍摄子弹时间(bullettime)特效；子弹时间是一种在电影、电视或电脑游戏中用计算机辅助的摄影技术模拟变速的特效。
然而，若直接将阵列拍摄得到的图像序列合成视频，观感上会发现明显的抖动，不能作为特效直接使用；即使试图通过手动调整相机参数来削弱抖动，也往往因为精度不足而难以奏效，同时也极度消耗人力；若采用电子云台等装置，则相当消耗物力。
技术实现要素：
本发明为解决现有的问题，旨在提供一种相机阵列的图像矫正方法、系统及介质。
为了达到上述目的，本发明采用的技术方案包括如下步骤：
s1，标定相机的内参与外参；
s2，估算相机阵列的线性中心以作为阵列中心，估算相机平面的法向；
s3，依据阵列中心进行相机旋转矫正、内参矫正；
s4，依据矫正前后的参数，进行单应性矩阵计算。
进一步地，还包括s5，将每个单应性矩阵应用于全为1的0-1二值图像，并将变换后不能找到原始对应像素的像素值置为0；对所有的二值图像取与，形成所有变换后图像公共有效区域的掩膜，从中确定裁剪区域；对裁剪区域进行优化，得到在公共区域内面积最大，且与坐标轴平行的矩形裁剪框。
进一步地，还包括s6，利用每个相机的单应性矩阵将拍摄的图片序列进行变换，并按照矩形裁剪框裁切；在相机参数没有发生变化的情况下，将同样的单应性矩阵与矩形裁剪框运用于不同的采集图片上。
进一步地，s1中，所述相机内参标定相机的焦距(fx，fy)与主点坐标(cx，cy)，并定义相机的内参矩阵k：
进一步地，相机的外参为从世界坐标系到相机坐标系的刚体变换，由一个旋转变换和一个平移变换复合而成。
进一步地，s2的估算线性中心中，通过相机位置、并以相机朝向为方向的相机直线估算到所有直线距离之和最小的点；最优解与相机位姿的关系，有公式：
x*为线性中心；
ti为每个相机在世界坐标系中位置；
进一步地，对于每个相机，有系统aix＝bi，其中：
记总共n个相机，将每个相机形成的线性系统上下堆叠，以形成新的关于x的线性系统：
求解上述线性系统，求得x即为所求x*。
进一步地，s2的相机平面的法向计算中，将所有相机的位置作为行向量堆叠为n行三列的矩阵a，并进行奇异值分解，得a＝u∑vt，将v的最右侧一列取出，即为平面法向。
，进一步地，s3中所述相机旋转矫正，获得矫正后相机的旋转矩阵，由列向量组成：rnew＝[rxryrz]；其中：
rz前方向：从相机位置指向阵列中心的单位向量；
rx右方向：将相机朝向与相机平面的法向叉乘得到：
ry下方向：将相机朝向与右方向叉乘得到：ry＝rz×rx。
进一步地，s3中，对于每个相机估计其新的内参：
估算初始焦距：取所有相机的焦距平均值；
估算平均中心距离：相机位置到阵列中心的距离的平均值；
单个相机的矫正后焦距如下确定：初始焦距乘以缩放比例，缩放比例为当前相机到阵列中心距离与平均距离的比值；
相机的矫正后内参如下确定：
焦距：矫正后焦距；
主点：图像中心。
进一步地，s4中，每个相机的单应性矩阵由以下公式确定：
其中：kold为矫正前内参矩阵；rold→new为从矫正前相机坐标系变换至矫正后相机的旋转矩阵，由矫正前后的相机旋转矩阵确定；knew为矫正后内参矩阵。进一步地，s5中，优化得到矩形裁剪框的过程由下述公式确定：
并由下列方程形成线性约束：
wc＞0，hc＞0.
其中：
优化变量c中的(xc，yc)部分为所求裁剪框矩形的左上角顶点；
优化变量c中的(wc，hc)部分分别为所求裁剪框矩形的长、宽；
aix biy ci≤0，i∈{0，...，m}表明点(x，y)在凸多边形的第i条边所在直线的内侧；
通过随机生成一个满足上述约束的裁剪框取得优化变量的初始值，利用数值优化方法求解上述约束即得到优化后的矩形裁剪框。
本发明还提供一种相机环形阵列的矫正系统，包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行上述任一所述的方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令被处理执行时，实现上述任一所述的方法。
和现有技术相比，本发明的方法通过对图片进行单应性变换，使得图片对应的相机参数：
外参中，前方向指向阵列中心，削弱了相机朝向的抖动；右方向与阵列圆环相切，削弱了图像水平方向的抖动；
内参中，焦距与到阵列中心距离成正比，使得处于阵列中心的物体成像大小一致，削弱了成像大小的抖动；
本发明对相机阵列中相机的安装精度要求不高；无需手动调整相机参数即可获得稳定而平滑的图片序列，显著节约了人力；无需使用电子云台等机械装置调整相机，即可显著削弱图像序列的抖动效应，极大地节约了物力。
本发明的方法不仅可以用于环形相机阵列，对于非环形的相机阵列，只要相机阵列在世界中近似处于一个平面上，且近似指向世界中的同一个点，均可通过该方法削弱抖动；那么相机在平面上可以被排布成任意用户所需的形状，而不对最终的矫正后的效果产生显著干扰，减少了对于用户安装相机阵列时的约束。在完成了图像矫正后的裁剪框，无需由用户提供输入或手动调整，可以自动优化获得，免除了用户交互，使得整个矫正参数计算流程自动化，无需人工干预，进一步提高效率。
附图说明
图1为线性中心计算的示意图；
图2为相机旋转矫正的示意图；
图3为裁剪框设置的示意图；
图4为裁剪框优化的示意图。
具体实施方式
现结合附图对本发明作进一步地说明。
参见图1，图1展示的是本发明的一个实施例，本实施例的方法只需通过标定相机参数，通过估计每个相机图片的单应性变换以矫正图像，即可明显削弱环形相机序列的抖动效应。
首先，标定相机的内参与外参。其中，相机内参至少需要标定相机的焦距(fx，fy)与主点坐标(cx，cy)，并由此定义相机的内参矩阵k：
相机的外参为从世界坐标系到相机坐标系的刚体变换，由一个旋转变换和一个平移变换复合而成；
相机参数可以通过在同一时刻拍摄一组图像由自标定(autocalibration)等算法求得。
其次，进行阵列中心与相机平面法向估计。参见图1，估算线性中心x*，建立相机直线，相机直线通过相机位置、并以相机朝向为方向。估算到所有直线距离之和最小的点；
最优解与相机位姿的关系可以由以下公式描述：
其中：ti为每个相机在世界坐标系中位置；
以上问题由如下线性系统求解：
对于每个相机，列出如下的系统aix＝bi：
记总共n个相机，将每个相机形成的线性系统上下堆叠形成新的关于x的线性系统：
求解上述线性系统，求得x即为所求x*；以线性中心作为相机的阵列中心。估算相机平面法向
其次，参见图2，进行相机旋转矫正：获得矫正后相机的旋转矩阵，该旋转矩阵由三个三行一列的列向量组成：
rmew＝[rxryrz]，
其中每个列向量可以如下确定：
rz前方向：从相机位置指向阵列中心的单位向量；
rx右方向：将相机朝向与相机平面法向叉乘得到：
ry下方向：将相机朝向与右方向叉乘得到：ry＝rz×rx。
相机内参矫正：对于每个相机，需要估计其新的内参，并按如下方式确定：
估算初始焦距：取所有相机的焦距平均值；
估算平均中心距离：相机位置到阵列中心的距离的平均值；
单个相机的矫正后焦距如下确定：
初始焦距乘以缩放比例；缩放比例为当前相机到阵列中心距离与平均距离的比值；
而相机的矫正后内参如下确定：
焦距：矫正后焦距；
主点：图像中心。
再次，进行单应性矩阵计算；对于每个相机的单应性矩阵由以下公式确定：
其中：kold为矫正前内参矩阵；rold→new为从矫正前相机坐标系变换至矫正后相机的旋转矩阵，可以由矫正前后的相机旋转矩阵确定；knew为矫正后内参矩阵；进一步地，参见图3，进行裁剪框设置。即将每个单应性矩阵应用于全为1的0-1二值图像，并将变换后不能找到原始对应像素的像素值置为0；对所有这样的二值图像取与，形成所有变换后图像公共有效区域的掩膜，从中确定裁剪区域；参见图4，对裁剪区域进行优化，由于每个单应性变换后的图像边界为凸多边形，最后的公共区域也必然是凸多边形，容易确定公共区域的凸多边形每条边的方程，并以此为约束条件，优化得到在公共区域内面积最大，且与坐标轴平行的矩形裁剪框。该优化过程可以由下面的公式确定：
并由下列方程形成线性约束：
wc＞0，hc＞0
其中：
优化变量c中的(xc，yc)部分为所求裁剪框矩形的左上角顶点；
优化变量c中的(wc，hc)部分分别为所求裁剪框矩形的长、宽；
aix biy ci≤0，i∈{0，...，m}表明点(x，y)在凸多边形的第i条边所在直线的内侧；
上述优化容易利用序列二次规划法(sequentialquadraticprogramming)等数值优化方法求解，优化变量的初始值可以通过随机生成一个满足上述约束的裁剪框取得。
进一步地，应用图像矫正。按上述步骤估算每个相机的单应性矩阵并设置裁剪框；将拍摄的图片序列，利用每个相机的单应性矩阵进行变换，并按照裁剪框裁切；在相机参数没有发生变化的情况下，可以将同样的单应性矩阵与裁剪框运用于不同的采集图片上。
基于相同的技术构思，本实施例还提供一种电子设备，包括至少一个处理器，以及至少一个用于存储处理器的可执行指令的存储器，本申请实施例中不限定处理器与存储器之间的具体连接介质，两者之间通过总线连接；而总线可以分为地址总线、数据总线、控制总线等。
处理器是电子设备的控制中心，可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，可以实现或者执行本申请实施例，即可以利用各种接口和线路连接电子设备的各个部分，通过运行或执行存储在存储器内的指令以及调用存储在存储器内的数据，从而执行上述任一所述的方法。
本实施例还提供了一种计算机可读介质，其存储有可由电子设备执行的计算机程序；当程序在终端设备上运行时，所述计算机程序指令被处理执行时，实现上述任一所述的方法。计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上面结合附图及实施例描述了本发明的实施方式，实施例给出的并不构成对本发明的限制，本领域内熟练的技术人员可依据需要做出调整，在所附权利要求的范围内做出各种变形或修改均在保护范围内。
1.一种相机阵列的图像矫正方法，其特征在于包括如下步骤：
s1，标定相机的内参与外参；
s2，估算相机阵列的线性中心以作为阵列中心，估算相机平面的法向；
s3，依据阵列中心进行相机旋转矫正、内参矫正；
s4，依据矫正前后的参数，进行单应性矩阵计算。
2.根据权利要求1所述的相机阵列的图像矫正方法，其特征在于：还包括s5，将每个单应性矩阵应用于全为1的0-1二值图像，并将变换后不能找到原始对应像素的像素值置为0；对所有的二值图像取与，形成所有变换后图像公共有效区域的掩膜，从中确定裁剪区域；对裁剪区域进行优化，得到在公共区域内面积最大，且与坐标轴平行的矩形裁剪框。
3.根据权利要求2所述的相机阵列的图像矫正方法，其特征在于：还包括s6，利用每个相机的单应性矩阵将拍摄的图片序列进行变换，并按照矩形裁剪框裁切；在相机参数没有发生变化的情况下，将同样的单应性矩阵与矩形裁剪框运用于不同的采集图片上。
4.根据权利要求1所述的相机阵列的图像矫正方法，其特征在于：s2的估算线性中心中，通过相机位置、并以相机朝向为方向的相机直线估算到所有直线距离之和最小的点；最优解与相机位姿的关系，有公式：
x*为线性中心；
ti为每个相机在世界坐标系中位置；
5.根据权利要求4所述的相机阵列的图像矫正方法，其特征在于：对于每个相机，有系统aix＝bi，其中：
记总共n个相机，将每个相机形成的线性系统上下堆叠，以形成新的关于x的线性系统：
求解上述线性系统，求得x即为所求x*。
6.根据权利要求1所述的相机阵列的图像矫正方法，其特征在于：s2的相机平面的法向计算中，将所有相机的位置作为行向量堆叠为n行三列的矩阵a，并进行奇异值分解，得a＝u∑vt，将v的最右侧一列取出，即为平面法向。
7.根据权利要求1所述的相机阵列的图像矫正方法，其特征在于：s3中，所述相机旋转矫正：获得矫正后相机的旋转矩阵，由列向量组成：
rnew＝[rxryrz]；
其中：
rz前方向：从相机位置指向阵列中心的单位向量；
rx右方向：将相机朝向与相机圆的法向叉乘得到：
ry下方向：将相机朝向与右方向叉乘得到：ry＝rz×rx。
8.根据权利要求1所述的相机阵列的图像矫正方法，其特征在于：s3中，对于每个相机估计其新的内参：
估算初始焦距：取所有相机的焦距平均值；
估算平均中心距离：相机位置到阵列中心的距离的平均值；
单个相机的矫正后焦距如下确定：初始焦距乘以缩放比例，缩放比例为当前相机到阵列中心距离与平均距离的比值；
相机的矫正后内参按如下确定，焦距：矫正后焦距；主点：图像中心。
9.根据权利要求1所述的相机阵列的图像矫正方法，其特征在于：s4中，每个相机的单应性矩阵由以下公式确定：
其中：kold为矫正前内参矩阵；rold→new为从矫正前相机坐标系变换至矫正后相机的旋转矩阵，由矫正前后的相机旋转矩阵确定；knew为矫正后内参矩阵。
10.根据权利要求2所述的相机阵列的图像矫正方法，其特征在于，s5中，优化得到矩形裁剪框的过程由下述公式确定：
并由下列方程形成线性约束：
wc＞0，hc＞0.
其中：
优化变量c中的(xc，yc)部分为所求裁剪框矩形的左上角顶点；
优化变量c中的(wc，hc)部分分别为所求裁剪框矩形的长、宽；
aix biy ci≤0，i∈{0，...，m}表明点(x，y)在凸多边形的第i条边所在直线的内侧；
求解上述约束即得到优化后的矩形裁剪框。
11.一种相机阵列的矫正系统，其特征在于：包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行权利要求1-10中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序指令，其特征在于：所述计算机程序指令被处理执行时，实现权利要求1-10中任一所述的方法。
技术总结