本发明涉及水上交通技术领域，具体地说，涉及一种基于三维视景的港水域航标助航系统及方法。
背景技术：
本发明旨在通过增强现实，力求航海保障体系立体监控和构建统一调配的海事信息共享大平台。集成通信及计算机网络、电子海图系统、航标基础数据库、增强现实等多项技术，将遥测遥控实时数据和增强现实的光学影像数据充分有效地融合，将原本的信息孤岛转变成助导航大数据所需的“助导航云”，实现信息的无缝共享，为助导航大数据中各种不同类型数据的关联进行深度挖掘及再利用。
技术实现要素：
本发明的目的在于提供一种基于三维视景的港水域航标助航系统及方法，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供一种基于三维视景的港水域航标助航方法，其方法包括如下步骤：
s1、采用视频图像以增强场景模型的深度感和真实感；
在提供电子海图的基础上提供水上航标环境实景模型，改善视觉体验；使用户更直观地认识理解航标配布意图，熟悉该航道配布的灯塔、灯桩、灯浮标、无线电航标等各类助航设施的数量、位置及相应技术参数，并根据航标实景图及海图图示，根据航标助航指南在该航道实现定位、转向、避险等操作，保障船舶的安全、便捷航行；
s2、对三维视景进行增强处理；
实现增强现实的三大核心技术，即虚实空间的实时三维注册、虚实景物的高保真融合、高效的人机交互，通过最小二乘法标定多航标的投影变换与摄像机参数，进行相机标定，即通过运算来求相机的各个参数，包括光学参数和几何参数，光学参数为相机的内参数，几何参数为相机的外参数，包括相机在空间中由于运动产生的旋转矩阵和平移矢量。通过读取实时遥测经纬度，实现实时三维重建。在本发明中，三维重建的目的是为了减轻视频监控的网络流量压力，使得能够通过读取实时遥测经纬度数据，来重建航标的三维视景。这样可以延长视频监控帧与帧之间的周期间隔，减轻网络流量和减小硬盘存储容量。
s3、基于计算机视觉技术获得航标最优视景。
采用基于时空正则相关滤波器在线学习跟踪航标来处理海浪中的灯质闪烁，基于角点检测配准的全景图像拼接，基于多曝光融合的低照度图像增强，基于卷积神经网络的去雾技术，使得处理后的精度和质量效果达到或超过商业同行水准。
作为优选，所述三维视景进行增强处理的方法包括如下步骤：
s1.1、三维场景与摄像机所拍摄到的视频图像的二维成像平面之间变换，其变换关系如下：
式中(xw,yw,zw)为三维场景中的坐标，(x,y)为二维成像平面中的坐标，r为旋转矩阵，t为平移向量，αx，αy，u0，v0为变换与摄像机内部参数，γ为径向畸变修正量；
展开投影方程，可记为：
考虑海面的特殊性，zw＝0，可以简化为：
s1.2、实时遥测经纬度；
借助信息可视化和图形绘制技术实现视觉的虚实融合呈现，实现信息的实时可视化和虚拟景物的实时保真绘制，使得用户在视觉上无缝地融合现实环境，产生沉浸感。
s1.3、投影变换与摄像机参数标定；
计算机视觉技术通过相机获取空间中物体或者景物的二维信息，结合相机的内外参数，还原出空间物体的三维信息，包括物体的大小、位置、运动状态等，在整个过程中，需要先进行相机标定，即通过运算来求相机的各个参数，包括光学参数和几何参数。光学参数为相机的内参数，几何参数为相机的外参数，包括相机在空间中由于运动产生的旋转矩阵和平移矢量。
s1.4、实时三维重建。
在本发明中，三维重建的目的是为了减轻视频监控的网络流量压力，使得能够通过读取实时遥测经纬度数据，来重建航标的三维视景，这样可以延长视频监控帧与帧之间的周期间隔，减轻网络流量和减小硬盘存储容量。
作为优选，所述s1.3中，投影变换与摄像机参数标定的方法包括三航标的解方程组法和多航标的最小二乘法。
作为优选，所述s1.4中，实时三维重建的方法包括如下步骤：
s1.4.1、图像获取：在进行图像处理之前，先要用摄像机获取三维物体的二维图像；光照条件、相机的几何特性等对后续的图像处理造成很大的影响；
s1.4.2、摄像机标定：通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的；
s1.4.3、特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。特征点提取算法可以总结为：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法三种；
s1.4.4、立体匹配：立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及摄像机机特性等诸多变化因素；
s1.4.5、三维重建：有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度，摄像机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能设计出一个比较精确的立体视觉系统。
若浮标附近没有灯桩或灯塔等固定经纬度的物标，则可以将相机固定于岸上高处，相机的高度和角度不变。朝着浮标多次拍摄，取得同一灯浮在多个时刻的平面图像中坐标和从遥测数据库中读取的相同时刻对应的经纬度，再解方程组。
为了提高投影变换与摄像机参数标定的精度，可以采取的方法有以下：
(1)采用高斯投影正算，将大地坐标的经纬度转为平面直角坐标；
(2)在风平浪静时乘船拍摄，减小颠簸摇摆引起的图像运动模糊等。
作为优选，所述基于计算机视觉技术获得航标最优视景的方法包括如下步骤：
s2.1、以灯质闪烁为代表的虚实景物保真融合；
s2.2、其他配布意图。
作为优选，所述以灯质闪烁为代表的虚实景物保真融合包括航标灯质、基于时空正则相关滤波器在线学习跟踪的灯质闪烁和虚实景物保真融合。
在处理灯质闪烁时跟踪航标是一个复杂的跟踪问题，涉及尺度变化、光照变化、遮挡、风流浪摇摆颠簸、变形、运动模糊、快速运动、平面内旋转、平面外旋转、局部不可见、背景杂波等多种情况。
采用在多样本的历史追踪结果中学习时，引入时间正则化，适应较大的影像变化，以提高准确率、鲁棒性和速度，实时追踪航标。
作为优选，所述其他配布意图包括有浅滩、海底管道、交叉水域。
本发明的目的之二在于，提供一种基于三维视景的港水域航标助航系统，包括：
增强场景模型模块，采用视频图像以增强场景模型的深度感和真实感；
三维视景增强模块，用于减轻视频监控的网络流量压力，通过读取实时遥测经纬度数据，来重建航标的三维视景；
获得航标最优视景模块，采用基于时空正则相关滤波器在线学习跟踪航标来处理海浪中的灯质闪烁。
本发明的目的之三在于，提供一种基于三维视景的港水域航标助航装置，包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行上述的计算机程序时实现如上述中任一所述的基于三维视景的港水域航标助航方法的步骤。
本发明的目的之四在于，一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由上述的处理器执行以实现如上述中任一所述的基于三维视景的港水域航标助航方法的步骤。
与现有技术相比，本发明的有益效果：
1、该基于三维视景的港水域航标助航系统及方法中，采用视频图像以增强场景模型的深度感和真实感，在提供电子海图的基础上提供水上航标环境实景模型，改善视觉体验，使用户更直观地认识理解航标配布意图，熟悉该航道配布的灯塔、灯桩、灯浮标、无线电航标等各类助航设施的数量、位置及相应技术参数，并根据航标实景图及海图图示，根据航标助航指南在该航道实现定位、转向、避险等操作，保障船舶的安全、便捷航行。
2、该基于三维视景的港水域航标助航系统及方法中，基于增强现实的三维视景，减轻视频监控的网络流量压力，使得能够通过读取实时遥测经纬度数据，来重建航标的三维视景，延长视频监控帧与帧之间的周期间隔，减轻网络流量和减小硬盘存储容量。
3、该基于三维视景的港水域航标助航系统及方法中，基于计算机视觉技术获得航标最优视景，采用基于时空正则相关滤波器在线学习跟踪航标来处理海浪中的灯质闪烁，使得处理后的精度和质量效果达到或超过商业同行水准。
附图说明
图1为本发明的整体方法流程图；
图2为本发明的三维视景进行增强处理方法流程图；
图3为本发明的实时三维重建的方法流程图；
图4为本发明的基于计算机视觉技术获得航标最优视景的方法流程图；
图5为本发明的基于三维视景的港水域航标助航系统模块图；
图6为本发明的基于三维视景的港水域航标助航装置结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图6所示，本发明提供一种技术方案：
本发明提供一种基于三维视景的港水域航标助航方法，其方法包括如下步骤：
s1、采用视频图像以增强场景模型的深度感和真实感；
在提供电子海图的基础上提供水上航标环境实景模型，改善视觉体验；使用户更直观地认识理解航标配布意图，熟悉该航道配布的灯塔、灯桩、灯浮标、无线电航标等各类助航设施的数量、位置及相应技术参数，并根据航标实景图及海图图示，根据航标助航指南在该航道实现定位、转向、避险等操作，保障船舶的安全、便捷航行；
s2、对三维视景进行增强处理；
实现增强现实的三大核心技术，即虚实空间的实时三维注册、虚实景物的高保真融合、高效的人机交互，通过最小二乘法标定多航标的投影变换与摄像机参数，进行相机标定，即通过运算来求相机的各个参数，包括光学参数和几何参数，光学参数为相机的内参数，几何参数为相机的外参数，包括相机在空间中由于运动产生的旋转矩阵和平移矢量。通过读取实时遥测经纬度，实现实时三维重建。在本发明中，三维重建的目的是为了减轻视频监控的网络流量压力，使得能够通过读取实时遥测经纬度数据，来重建航标的三维视景。这样可以延长视频监控帧与帧之间的周期间隔，减轻网络流量和减小硬盘存储容量。
s3、基于计算机视觉技术获得航标最优视景。
采用基于时空正则相关滤波器在线学习跟踪航标来处理海浪中的灯质闪烁，基于角点检测配准的全景图像拼接，基于多曝光融合的低照度图像增强，基于卷积神经网络的去雾技术，使得处理后的精度和质量效果达到或超过商业同行水准。
本实施例中，三维视景进行增强处理的方法包括如下步骤：
s1.1、三维场景与摄像机所拍摄到的视频图像的二维成像平面之间变换，其变换关系如下：
式中(xw,yw,zw)为三维场景中的坐标，(x,y)为二维成像平面中的坐标，r为旋转矩阵，t为平移向量，αx，αy，u0，v0为变换与摄像机内部参数，γ为径向畸变修正量；
展开投影方程，可记为：
考虑海面的特殊性，zw＝0，可以简化为：
s1.2、实时遥测经纬度；
其中，借助信息可视化和图形绘制技术实现视觉的虚实融合呈现，实现信息的实时可视化和虚拟景物的实时保真绘制，使得用户在视觉上无缝地融合现实环境，产生沉浸感。
s1.3、投影变换与摄像机参数标定；
进一步的，计算机视觉技术通过相机获取空间中物体或者景物的二维信息，结合相机的内外参数，还原出空间物体的三维信息，包括物体的大小、位置、运动状态等，在整个过程中，需要先进行相机标定，即通过运算来求相机的各个参数，包括光学参数和几何参数。光学参数为相机的内参数，几何参数为相机的外参数，包括相机在空间中由于运动产生的旋转矩阵和平移矢量。
s1.4、实时三维重建。
在本发明中，三维重建的目的是为了减轻视频监控的网络流量压力，使得能够通过读取实时遥测经纬度数据，来重建航标的三维视景，这样可以延长视频监控帧与帧之间的周期间隔，减轻网络流量和减小硬盘存储容量。
具体的，s1.3中，投影变换与摄像机参数标定的方法包括三航标的解方程组法和多航标的最小二乘法。
值得说明的是，s1.4中，实时三维重建的方法包括如下步骤：
s1.4.1、图像获取：在进行图像处理之前，先要用摄像机获取三维物体的二维图像；光照条件、相机的几何特性等对后续的图像处理造成很大的影响；
s1.4.2、摄像机标定：通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的；
s1.4.3、特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。特征点提取算法可以总结为：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法三种；
s1.4.4、立体匹配：立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及摄像机机特性等诸多变化因素；
s1.4.5、三维重建：有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度，摄像机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能设计出一个比较精确的立体视觉系统。
此外，若浮标附近没有灯桩或灯塔等固定经纬度的物标，则可以将相机固定于岸上高处，相机的高度和角度不变。朝着浮标多次拍摄，取得同一灯浮在多个时刻的平面图像中坐标和从遥测数据库中读取的相同时刻对应的经纬度，再解方程组。
具体的，为了提高投影变换与摄像机参数标定的精度，可以采取的方法有以下：
(1)采用高斯投影正算，将大地坐标的经纬度转为平面直角坐标；
(2)在风平浪静时乘船拍摄，减小颠簸摇摆引起的图像运动模糊等。
值得说明的是，基于计算机视觉技术获得航标最优视景的方法包括如下步骤：
s2.1、以灯质闪烁为代表的虚实景物保真融合；
s2.2、其他配布意图。
其中，以灯质闪烁为代表的虚实景物保真融合包括航标灯质、基于时空正则相关滤波器在线学习跟踪的灯质闪烁和虚实景物保真融合。
具体的，在处理灯质闪烁时跟踪航标是一个复杂的跟踪问题，涉及尺度变化、光照变化、遮挡、风流浪摇摆颠簸、变形、运动模糊、快速运动、平面内旋转、平面外旋转、局部不可见、背景杂波等多种情况。
再进一步的，采用在多样本的历史追踪结果中学习时，引入时间正则化，适应较大的影像变化，以提高准确率、鲁棒性和速度，实时追踪航标。
值得说明的是，其他配布意图包括有浅滩、海底管道、交叉水域。
本发明的目的之二在于，提供一种基于三维视景的港水域航标助航系统，包括：
增强场景模型模块，采用视频图像以增强场景模型的深度感和真实感；
三维视景增强模块，用于减轻视频监控的网络流量压力，通过读取实时遥测经纬度数据，来重建航标的三维视景；
获得航标最优视景模块，采用基于时空正则相关滤波器在线学习跟踪航标来处理海浪中的灯质闪烁。
需要说明的是，增强场景模型模块、三维视景增强模块、获得航标最优视景模块的功能具体参见各模块对应的方法部分的描述，这里就不再赘述。
参阅图6，示出了本发明实施例所涉及的提供一种基于三维视景的港水域航标助航装置结构示意图，该装置包括处理器、存储器和总线。
处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于三维视景的港水域航标助航方法。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，存储介质中存储有至少一段程序，至少一段程序由上述的处理器执行以实现如上述中任一的基于三维视景的港水域航标助航方法的步骤。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于三维视景的港水域航标助航方法的步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
1.一种基于三维视景的港水域航标助航方法，其方法包括如下步骤：
s1、采用视频图像以增强场景模型的深度感和真实感；
s2、对三维视景进行增强处理；
s3、基于计算机视觉技术获得航标最优视景。
2.根据权利要求1所述的基于三维视景的港水域航标助航方法，其特征在于：所述三维视景进行增强处理的方法包括如下步骤：
s1.1、三维场景与摄像机所拍摄到的视频图像的二维成像平面之间变换，其变换关系如下：
式中(xw,yw,zw)为三维场景中的坐标，(x,y)为二维成像平面中的坐标，r为旋转矩阵，t为平移向量，αx，αy，u0，v0为变换与摄像机内部参数，γ为径向畸变修正量；
展开投影方程，可记为：
考虑海面的特殊性，zw＝0，可以简化为：
s1.2、实时遥测经纬度；
s1.3、投影变换与摄像机参数标定；
s1.4、实时三维重建。
3.根据权利要求2所述的基于三维视景的港水域航标助航方法，其特征在于：所述s1.3中，投影变换与摄像机参数标定的方法包括三航标的解方程组法和多航标的最小二乘法。
4.根据权利要求2所述的基于三维视景的港水域航标助航方法，其特征在于：所述s1.4中，实时三维重建的方法包括如下步骤：
s1.4.1、图像获取：用摄像机获取三维物体的二维图像；
s1.4.2、摄像机标定：通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数；
s1.4.3、特征提取：特征主要包括特征点、特征线和区域；
s1.4.4、立体匹配：将同一物理空间点在两幅不同图像中的成像点进行一一对应起来；
s1.4.5、三维重建：结合摄像机标定的内外参数，恢复三维场景信息。
5.根据权利要求1所述的基于三维视景的港水域航标助航方法，其特征在于：所述基于计算机视觉技术获得航标最优视景的方法包括如下步骤：
s2.1、以灯质闪烁为代表的虚实景物保真融合；
s2.2、其他配布意图。
6.根据权利要求5所述的基于三维视景的港水域航标助航方法，其特征在于：所述以灯质闪烁为代表的虚实景物保真融合包括航标灯质、基于时空正则相关滤波器在线学习跟踪的灯质闪烁和虚实景物保真融合。
7.根据权利要求5所述的基于三维视景的港水域航标助航方法，其特征在于：所述其他配布意图包括有浅滩、海底管道、交叉水域。
8.一种基于三维视景的港水域航标助航系统，包括：
增强场景模型模块，采用视频图像以增强场景模型的深度感和真实感；
三维视景增强模块，用于减轻视频监控的网络流量压力，通过读取实时遥测经纬度数据，来重建航标的三维视景；
获得航标最优视景模块，采用基于时空正则相关滤波器在线学习跟踪航标来处理海浪中的灯质闪烁。
9.一种基于三维视景的港水域航标助航装置，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行上述的计算机程序时实现如权利要求1-7中任一所述的基于三维视景的港水域航标助航方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由上述的处理器执行以实现如权利要求1-7中任一所述的基于三维视景的港水域航标助航方法的步骤。
技术总结