本发明涉及一种空间相机标定方法,特别涉及一种空间相机内参在轨实时标定方法。
背景技术:
精确测量空间非合作目标的相对位置和姿态(统称为位姿)是完成空间交会对接、攻防对抗、在轨捕获与维护等重大尖端航天任务的关键;基于机器视觉的位姿测量方法,由于其系统相对简单可靠、体积小、质量轻、成本低等优势,在空间非合作目标位姿测量领域广泛应用。而对机器视觉系统在轨实时标定,从而得到其准确的内、外参数信息,是基于机器视觉的位姿测量方法的前提。
摄像机标定是完成视觉任务的关键步骤之一,是指恢复单目摄像机或立体摄像机内部和外部参数的过程,本质上是寻找可以将场景中的三维点和它们在摄像机上的成像联系起来的模型参数(参见:李进军.基于多模式单演特征检测与匹配的三维视觉测量技术研究[d],西安交通大学,2011)。摄像机的标定精度直接影响着视觉系统的测量精度,根据标定所使用的对象不同,可以将摄像机标定方法大致分为四类:无靶标标定方法,基于一维靶标的标定方法,基于二维靶标的标定方法以及基于三维靶标的标定方法。表1列出了这四种方法的优缺点对比以及一些较为具备代表性的研究。
表1:常见摄像机标定方法
综上所述,并结合空间环境特点,目前基于机器视觉的空间相机标定研究存在以下问题:
现有标定方法和理论多需要某些先验条件限制,鲁棒性较差,如需要限制靶标的运动曲线,限制靶标的制作精度,限制所用到的最少图像数量等。而在实际空间环境中,常常无法保证靶标的特定运动曲线,也无法提供精密加工的靶标,同时也仅能提供有限的靶标图像。
同时,现有标定方法往往过于复杂,计算量较大,算法的实时性较差。而在实际空间环境中,计算资源往往有限,无法像地面环境一样,提供太多的可供利用的资源,而与之对应的是,空间相机在轨标定往往对实时性要求较高。
技术实现要素:
本发明的目的是提供一种空间相机内参在轨实时标定方法,以解决现有标定方法和理论多需要某些先验条件限制,鲁棒性较差以及现有标定方法过于复杂、计算量较大、算法的实时性较差,难以满足空间相机对在轨标定实时性要求较高的技术问题。
本发明所采用的技术方案是,一种空间相机内参在轨实时标定方法,其特殊之处在于,包括以下步骤:
步骤1:空间相机在自身位于两个不同位置时,分别拍摄一幅目标航天器上太阳能电池板的图像;获取空间相机在两个拍摄位置的相对位姿信息;
步骤2:对步骤1拍摄的两幅图像进行预处理;
步骤3:对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段;利用所述太阳能电池板包括多条相互平行的横向肋条以及多条相互平行的纵向肋条,且横向肋条和纵向肋条正交的结构特点,每幅图中得到的所述多条线段均包括多条相互平行的横向线段以及多条相互平行的纵向线段,且横向线段和纵向线段正交;
步骤4:对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;两幅图中的所述四个角点一一对应,且均对应于太阳能电池板同一位置上的两条横向肋条和两条纵向肋条正交构成的长方形或正方形的四个顶点;
步骤5:根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,以及步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用正交消隐点法计算空间相机内参,完成空间相机内参的标定。
进一步地,步骤1中,所述空间相机安装在空间转台上,通过空间转台获取空间相机在两个拍摄位置的相对位姿信息。
进一步地,步骤3中,所述对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段所采用的方法为hough变换方法。
进一步地,步骤4中,所述对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标所采用的方法为harris角点检测算法。
进一步地,步骤2中,所述预处理包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化以及图像去噪处理中的一种或多种。
进一步地,步骤5中,所述采用正交消隐点法计算空间相机内参,包括以下步骤:
步骤5.1:空间相机采用针孔成像模型
空间相机成像过程用针孔成像模型来描述,其中涉及到四个坐标系的转化,分别是世界坐标系(ow-xwywzw),空间相机坐标系(oc-xcyczc),图像物理坐标系(oi-xiyi),图像像素坐标系(ou-xuyu);世界坐标系中的点pw通过空间相机镜头的光心o投影到图像平面的pu点,图像像素坐标系和世界坐标系下的点坐标的转换关系如下式(1)所示:
spu=k[rt]pw(1);
其中:s为尺度因子,[rt]为空间相机外参矩阵,k为空间相机内参矩阵,且k用下式(2)表示:
其中:fu和fv分别为图像像素坐标系u轴和v轴上的尺度因子,单位为像素,[u0,v0]为图像平面的主点坐标;γ为像素倾斜率;
步骤5.2:确定消隐点坐标
定义:在步骤4中,在两幅图中各提取四个角点在图像像素坐标系中的坐标的点分别为a1、b1、d1、c1以及a2、b2、d2、c2,a1、b1、d1、c1以及a2、b2、d2、c2一一对应且均依次按顺时针或逆时针排列;
利用平行直线ab和cd的方程,计算直线ab和cd对应的消隐点p的坐标的方程如下式(3)所示:
其中:(ua,va)、(ub,vb)、(uc,vc)、(ud,vd)、(up,vp)分别为点a、b、c、d和消隐点p的图像像素坐标;
根据步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用上述公式(3)计算出平行直线a1b1和c1d1对应的消隐点v1的图像像素坐标(u1,v1),平行直线a2b2和c2d2对应的消隐点v2的图像像素坐标(u2,v2),平行直线a1c1和b1d1对应的消隐点v3的图像像素坐标(u3,v3),以及平行直线a2c2和b2d2对应的消隐点v4的图像像素坐标(u4,v4);
步骤5.3:相机内参的线性求解
假设空间点a为空间平面s上任意一点,其在空间相机自身位于两个不同位置时的像分别为ai和aj,两个像点的二维射影关系称为单应关系,用下式(4)的方程描述:
saj=hai(4);
其中:矩阵h称为平面s诱导的两幅图像间的单应矩阵;在欧式几何中,平面s诱导的单应矩阵h用下式(5)的方程描述:
h=k(rji-tnt/d)k-1(5);
其中:n代表平面s的单位法向量,d代表在拍摄第一幅太阳能电池板图像时,诱导平面s与空间相机光心的距离,t代表两个拍摄位置之间的平移向量,rji为两拍摄位置之间的相对旋转矩阵;
选择无穷远平面s∞作为诱导平面,则(5)式中的d为无穷大,而两个拍摄位置之间的平移向量t为有限值,因此,(4)式中的单应矩阵h即为无穷单应矩阵h∞,可由下式(6)描述:
h∞=krjik-1(6);
根据步骤5.2计算得到的消隐点v1、v2、v3、v4的图像像素坐标,则消隐点v1、v2、v3、v4的齐次坐标分别为v1=[u1,v1,1]t、v2=[u2,v2,1]t、v3=[u3,v3,1]t和v4=[u4,v4,1]t;在欧式几何中,v1和v2为一对消隐点,v3和v4为一对消隐点;将消隐点v1和v2以及v3和v4的齐次坐标分别代入式(4)的方程中,得到下式(7)和(8):
根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,获取空间相机在两个拍摄位置之间的相对旋转矩阵rji,假设拍摄位置2相对于拍摄位置1的相对滚动角、偏航角和俯仰角分别为φ,
求得相对旋转矩阵rji后,联立式(2)、(6)、(7)、(8),即可求出相机内参fu、fv以及[u0,v0],完成相机内参的标定。
本发明的有益效果是:
(1)本发明的空间相机内参在轨实时标定方法,该方法利用目标航天器上普遍具有太阳能电池板这一通用部件,且太阳能电池板包括多条相互平行的横向肋条以及多条相互平行的纵向肋条,且横向肋条和纵向肋条正交的结构特点,从太阳能电池板获得正交消隐点,进而采用正交消隐点法计算空间相机内参,完成空间相机内参的标定;该方法没有先验条件限制,鲁棒性好、算法简单、实时性强且具有良好的抗噪声干扰性能等优点;因此,本发明的空间相机内参在轨实时标定方法,解决了现有标定方法和理论多需要某些先验条件限制,鲁棒性较差以及现有标定方法过于复杂、计算量较大、算法的实时性较差,难以满足空间相机对在轨标定实时性要求较高的技术问题。本发明方法攻克了空间中的特征点是不规律,很难实现空间相机的在轨标定的难题。
(2)本发明的空间相机内参在轨实时标定方法,只需空间相机在自身位于两个不同位置时,分别拍摄一幅目标航天器上太阳能电池板的图像,即可完成空间相机内参标定,方法简单,实时性强。
(3)本发明的空间相机内参在轨实时标定方法,优选地空间相机安装在空间转台上,通过空间转台获取空间相机在两个拍摄位置的相对位姿信息,高精密的空间转台其旋转精度可控制在1′以内,因此获取的相对位姿信息精度高。
(4)本发明的空间相机内参在轨实时标定方法,优选地采用hough变换方法,对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段;hough变换抗噪性能较好,且能连接共线短直线。
(5)本发明的空间相机内参在轨实时标定方法,优选地采用harris角点检测算法,对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;harris角点检测算法简单、稳定性高、鲁棒性好、抗噪能力强,特别适合空间环境下对相关算法的要求。
附图说明
图1是空间相机在两个不同位置对目标航天器拍摄的示意图;
图2是空间转台示意图;
图3是空间相机针孔成像模型示意图;
图4是空间相机在两个不同位置下拍摄的太阳能电池板的图像轮廓示意及提取的角点示意图;其中:
(a)为位置1;
(b)为位置2。
图中各标号的说明如下:
1-空间相机,2-目标航天器,3-太阳能电池板,4-空间转台。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种空间相机内参在轨实时标定方法,包括以下步骤:
步骤1:参见图1,空间相机在自身位于两个不同位置时,分别拍摄一幅目标航天器2上太阳能电池板3的图像;获取空间相机在两个拍摄位置的相对位姿信息;
本实施例中,目标航天器2为空间卫星,太阳能电池板3几乎是每个空间卫星都有的部件,其表面往往布置有大量相互正交且规则的金属肋条,其中蕴含着大量的几何信息;另一方面,在实际空间任务中,为了测量目标航天器2的相对位姿,空间相机往往安装于空间转台4上,参见图2,从而使得空间相机实现三个自由度的转动,高精密的空间转台4其旋转精度可控制在1′以内,通过空间转台4,可获取空间相机在两个拍摄位置的相对位姿信息;
步骤2:对步骤1拍摄的两幅图像进行预处理;
上述预处理包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化以及图像去噪处理中的一种或多种;在本实施例中,对太阳能电池板3图像的预处理,需要消除的主要是脉冲噪声;而椒盐噪声是脉冲噪声的最主要的类型,其表现为某一像素的灰度值相对于其邻域内其它像素灰度值差异较大,在图像中出现黑白亮暗的斑点;椒盐噪声严重影响了图像的质量,同时给后续的图像处理过程增加了很大的难度;考虑到图像邻域像素高度相关,本发明采用中值滤波的算法去除噪声;
步骤3:对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段;利用所述太阳能电池板3包括多条相互平行的横向肋条以及多条相互平行的纵向肋条,且横向肋条和纵向肋条正交的结构特点,每幅图中得到的所述多条线段均包括多条相互平行的横向线段以及多条相互平行的纵向线段,且横向线段和纵向线段正交;
本实施例中,采用hough变换方法对预处理后的两幅图像均进行直线检测,分别得到多条线段;hough变换的基本原理在于利用点与线的对偶性,将原始图像空间中给定的曲线通过曲线表达式对应于参数空间的一个点,则原始图像中给定的曲线的检测问题转化为寻找参数空间中的峰值问题;hough变换的优点在于抗噪性能较好,且能连接共线短直线,由于目标航天器2成像已受到噪声干扰以及阴影的影响,同时结构间存在着遮挡,因此本实施例选择hough变换方法对目标航天器2图像进行直线提取;
步骤4:对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;两幅图中的所述四个角点一一对应,且均对应于太阳能电池板3同一位置上的两条横向肋条和两条纵向肋条正交构成的长方形或正方形的四个顶点;
本实施例中,采用harris角点检测算法对从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;harris角点检测算法是harris等人提出的一种利用图像的灰度信息来提取角点的角点检测算法;对任意一幅图像,角点与图像灰度的自相关函数曲率特性有关;对图像中的任意一点,如果它的水平曲率和垂直曲率值都高于局部邻域中其它点,则认为该点是角点;harris角点检测算法简单、稳定性高、鲁棒性好、抗噪能力强,特别适合空间环境下对相关算法的要求,因此,本实施例采用基于harris角点检测方法检测图像,提取每幅图像中的四个角点的图像坐标;
步骤5:根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,以及步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用正交消隐点法计算空间相机内参,完成空间相机内参的标定。上述采用正交消隐点法计算空间相机内参,具体包括以下步骤:
步骤5.1:空间相机采用针孔成像模型
参见图3,空间相机成像过程用针孔成像模型来描述,其中涉及到四个坐标系的转化,分别是世界坐标系(ow-xwywzw),空间相机坐标系(oc-xcyczc),图像物理坐标系(oi-xiyi),图像像素坐标系(ou-xuyu);世界坐标系中的点pw通过空间相机镜头的光心o投影到图像平面的pu点,图像像素坐标系和世界坐标系下的点坐标的转换关系如下式(1)所示:
spu=k[rt]pw(1);
其中:s为尺度因子,[rt]为空间相机外参矩阵,k为空间相机内参矩阵,且k用下式(2)表示:
其中:fu和fv分别为图像像素坐标系u轴和v轴上的尺度因子,单位为像素,[u0,v0]为图像平面的主点坐标;γ为像素倾斜率,一般情况下γ=0;
步骤5.2:确定消隐点坐标
参见图4中的(a)和(b),定义:在上述步骤4中,在两幅图中各提取四个角点在图像像素坐标系中的坐标的点分别为a1、b1、d1、c1以及a2、b2、d2、c2,a1、b1、d1、c1以及a2、b2、d2、c2一一对应且均依次按顺时针或逆时针排列;
利用平行直线ab和cd的方程,计算直线ab和cd对应的消隐点p的坐标的方程如下式(3)所示:
其中:(ua,va)、(ub,vb)、(uc,vc)、(ud,vd)、(up,vp)分别为点a、b、c、d和消隐点p的图像像素坐标;
根据步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用上述公式(3)计算出平行直线a1b1和c1d1对应的消隐点v1的图像像素坐标(u1,v1),平行直线a2b2和c2d2对应的消隐点v2的图像像素坐标(u2,v2),平行直线a1c1和b1d1对应的消隐点v3的图像像素坐标(u3,v3),以及平行直线a2c2和b2d2对应的消隐点v4的图像像素坐标(u4,v4);
步骤5.3:相机内参的线性求解
假设空间点a为空间平面s上任意一点,其在空间相机自身位于两个不同位置时的像分别为ai和aj,两个像点的二维射影关系称为单应关系,用下式(4)的方程描述:
saj=hai(4);
其中:矩阵h称为平面s诱导的两幅图像间的单应矩阵;在欧式几何中,平面s诱导的单应矩阵h用下式(5)的方程描述:
h=k(rji-tnt/d)k-1(5);
其中:n代表平面s的单位法向量,d代表在拍摄第一幅太阳能电池板3图像时,诱导平面s与空间相机光心的距离,t代表两个拍摄位置之间的平移向量,rji为两拍摄位置之间的相对旋转矩阵;
选择无穷远平面s∞作为诱导平面,则(5)式中的d为无穷大,而两个拍摄位置之间的平移向量t为有限值,因此,(4)式中的单应矩阵h即为无穷单应矩阵h∞,可由下式(6)描述:
h∞=krjik-1(6);
从式(6)可以看出:无穷单应矩阵只与相对旋转矩阵rji及相机内参矩阵有关,而与其它因素无关;
根据步骤5.2计算得到的消隐点v1、v2、v3、v4的图像像素坐标,则消隐点v1、v2、v3、v4的齐次坐标分别为v1=[u1,v1,1]t、v2=[u2,v2,1]t、v3=[u3,v3,1]t和v4=[u4,v4,1]t;在欧式几何中,v1和v2为一对消隐点,v3和v4为一对消隐点;将消隐点v1和v2以及v3和v4的齐次坐标分别代入式(4)的方程中,得到下式(7)和(8):
根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,获取空间相机在两个拍摄位置之间的相对旋转矩阵rji,假设拍摄位置2相对于拍摄位置1的相对滚动角、偏航角和俯仰角分别为φ,
求得相对旋转矩阵rji后,联立式(2)、(6)、(7)、(8),即可求出相机内参fu、fv以及[u0,v0],完成相机内参的标定。
本发明方法可应用于空间非合作目标位姿测量中的空间相机标定过程。
以上仅是本发明的一种实施方案而已,并非对本发明做任何形式的限制,故依据本发明的技术实质对以上实施方案所作的任何简单修改,等同变化或修改,均仍属于本发明技术方案的范围内。
1.一种空间相机内参在轨实时标定方法,其特征在于,包括以下步骤:
步骤1:空间相机在自身位于两个不同位置时,分别拍摄一幅目标航天器(2)上太阳能电池板(3)的图像;获取空间相机在两个拍摄位置的相对位姿信息;
步骤2:对步骤1拍摄的两幅图像进行预处理;
步骤3:对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段;利用所述太阳能电池板(3)包括多条相互平行的横向肋条以及多条相互平行的纵向肋条,且横向肋条和纵向肋条正交的结构特点,每幅图中得到的所述多条线段均包括多条相互平行的横向线段以及多条相互平行的纵向线段,且横向线段和纵向线段正交;
步骤4:对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;两幅图中的所述四个角点一一对应,且均对应于太阳能电池板(3)同一位置上的两条横向肋条和两条纵向肋条正交构成的长方形或正方形的四个顶点;
步骤5:根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,以及步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用正交消隐点法计算空间相机内参,完成空间相机内参的标定。
2.根据权利要求1所述的空间相机内参在轨实时标定方法,其特征在于:步骤1中,所述空间相机安装在空间转台(4)上,通过空间转台(4)获取空间相机在两个拍摄位置的相对位姿信息。
3.根据权利要求2所述的空间相机内参在轨实时标定方法,其特征在于:步骤3中,所述对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段所采用的方法为hough变换方法。
4.根据权利要求3所述的空间相机内参在轨实时标定方法,其特征在于:步骤4中,所述对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标所采用的方法为harris角点检测算法。
5.根据权利要求1至4任一所述的空间相机内参在轨实时标定方法,其特征在于:步骤2中,所述预处理包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化以及图像去噪处理中的一种或多种。
6.根据权利要求5所述的空间相机内参在轨实时标定方法,其特征在于:步骤5中,所述采用正交消隐点法计算空间相机内参,包括以下步骤:
步骤5.1:空间相机采用针孔成像模型
空间相机成像过程用针孔成像模型来描述,其中涉及到四个坐标系的转化,分别是世界坐标系(ow-xwywzw),空间相机坐标系(oc-xcyczc),图像物理坐标系(oi-xiyi),图像像素坐标系(ou-xuyu);世界坐标系中的点pw通过空间相机镜头的光心o投影到图像平面的pu点,图像像素坐标系和世界坐标系下的点坐标的转换关系如下式(1)所示:
spu=k[rt]pw(1);
其中:s为尺度因子,[rt]为空间相机外参矩阵,k为空间相机内参矩阵,且k用下式(2)表示:
其中:fu和fv分别为图像像素坐标系u轴和v轴上的尺度因子,单位为像素,[u0,v0]为图像平面的主点坐标;γ为像素倾斜率;
步骤5.2:确定消隐点坐标
定义:在步骤4中,在两幅图中各提取四个角点在图像像素坐标系中的坐标的点分别为a1、b1、d1、c1以及a2、b2、d2、c2,a1、b1、d1、c1以及a2、b2、d2、c2一一对应且均依次按顺时针或逆时针排列;
利用平行直线ab和cd的方程,计算直线ab和cd对应的消隐点p的坐标的方程如下式(3)所示:
其中:(ua,va)、(ub,vb)、(uc,vc)、(ud,vd)、(up,vp)分别为点a、b、c、d和消隐点p的图像像素坐标;
根据步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用上述公式(3)计算出平行直线a1b1和c1d1对应的消隐点v1的图像像素坐标(u1,v1),平行直线a2b2和c2d2对应的消隐点v2的图像像素坐标(u2,v2),平行直线a1c1和b1d1对应的消隐点v3的图像像素坐标(u3,v3),以及平行直线a2c2和b2d2对应的消隐点v4的图像像素坐标(u4,v4);
步骤5.3:相机内参的线性求解
假设空间点a为空间平面s上任意一点,其在空间相机自身位于两个不同位置时的像分别为ai和aj,两个像点的二维射影关系称为单应关系,用下式(4)的方程描述:
saj=hai(4);
其中:矩阵h称为平面s诱导的两幅图像间的单应矩阵;在欧式几何中,平面s诱导的单应矩阵h用下式(5)的方程描述:
h=k(rji-tnt/d)k-1(5);
其中:n代表平面s的单位法向量,d代表在拍摄第一幅太阳能电池板(3)图像时,诱导平面s与空间相机光心的距离,t代表两个拍摄位置之间的平移向量,rji为两拍摄位置之间的相对旋转矩阵;
选择无穷远平面s∞作为诱导平面,则(5)式中的d为无穷大,而两个拍摄位置之间的平移向量t为有限值,因此,(4)式中的单应矩阵h即为无穷单应矩阵h∞,可由下式(6)描述:
h∞=krjik-1(6);
根据步骤5.2计算得到的消隐点v1、v2、v3、v4的图像像素坐标,则消隐点v1、v2、v3、v4的齐次坐标分别为v1=[u1,v1,1]t、v2=[u2,v2,1]t、v3=[u3,v3,1]t和v4=[u4,v4,1]t;在欧式几何中,v1和v2为一对消隐点,v3和v4为一对消隐点;将消隐点v1和v2以及v3和v4的齐次坐标分别代入式(4)的方程中,得到下式(7)和(8):
根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,获取空间相机在两个拍摄位置之间的相对旋转矩阵rji,假设拍摄位置2相对于拍摄位置1的相对滚动角、偏航角和俯仰角分别为φ,
求得相对旋转矩阵rji后,联立式(2)、(6)、(7)、(8),即可求出相机内参fu、fv以及[u0,v0],完成相机内参的标定。
技术总结