本发明属于车辆显示技术领域，涉及一种在观测者眼位在一定范围内作连续动态调整条件下车载ar-hud系统所需的虚像标定与畸变校正的神经网络连续插值方法。
背景技术：
近年来，为了实现人车新的交互体验，提高辅助驾驶的安全性、实用性，增强现实抬头显示(augmentedrealityheadupdisplay，ar-hud)系统作为一款新技术产品应运而生。ar-hud的作用就是把车辆信息(时速、车辆报警等)、导航信息、环境感知信息(车外的车辆、行人、车道线等)和驾驶人员状态信息(疲劳、不规范行为等)重要信息，投影到驾驶员前风挡玻璃上，驾驶员不必低头，便可看到信息，避免分散对前方道路的注意力，提高了驾驶员的安全性。驾驶员不必在观察远方的道路和近处的仪表之间调节眼睛，可减轻眼睛疲劳。然而，车载hud经过光学系统投射到汽车的前挡风玻璃上，该过程经过复杂的光学转换以及汽车前挡风玻璃的非标准面型等原因，显示的图像会有空间的位置变化和严重畸变，使得投出去的虚像形态与原图像完全不同。因此，需要对投出去的图像进行标定和预畸变处理，尽量使得驾驶员看到的虚像图像与原图像相同。现有的技术大部分采用专用反射镜压制畸变，但这种可变形反射镜价格相对昂贵，且实现的灵活性和校正效果较差。利用有效的算法和软件实现畸变矫正，仍然是优先考虑的技术路线。
目前，ar-hud技术常采用是固定眼位的虚像测量与畸变校正方法。固定眼位是指在人眼可观测的空间区域(eye-box)内选择在最佳位置观察位置作为固定的测量点，由此进行到虚像曲面观测，并进行畸变校正，虚实注册及求取输入图像等。但是，人眼观测位置是在不断移动的。由于驾驶员位置及人眼动态变化会导致观测者的眼位有空间坐标是不断变化的，如果算法上只考虑最佳的典型位置上取得的算法，当人眼上、下、左、右、前、后移动时，hud光学系统和汽车前挡风玻璃不同位置的曲率会影响虚像的位置、形态的畸变等，这些因素均会较大地影响虚像位置的空间标定、预畸变处理和ar系统虚实注册的实际效果。
图1展示了hud的成像过程。hud投影出来的图像经过光学系统反射进入人眼，以此形成景深感。但hud投影的图像经光学反射以及挡风玻璃的折射，使投影出来形成的虚拟图像发生了畸变，为此还需要对hud投影的原图像先进行预畸变处理，改善ar-hud显示的效果。
目前常用的固定眼位的虚像测量与畸变校正方法，如：1)公开号为cn109688392a的专利，公开了一种ar-hud光学投影系统及映射关系标定方法和畸变校正方法，提出利用标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标a，再将三维坐标a转化为承载设备坐标系下三维坐标b，将三维坐标b横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。该专利申请的人眼模拟设备模拟的是人眼固定的眼位，如果将人眼模拟设备移动后，再对hud虚像进行观测，其畸变矫正效果会变得很差，如若改变观测效果，必须对新的眼位进行重新标定，这样的去畸变方法显得很麻烦。2)公开号为cn110203140a的专利，公开了一种汽车增强现实显示方法、电子设备、系统，该专利虽然提及到了固定眼位和动态眼位，根据人眼坐标的横纵坐标修正待显示目标挡风玻璃坐标系的原点位置，实现对待显示目标挡风玻璃坐标的修正，但是，该专利使用的是简单的坐标修正方法，修正效果不好，使得在挡风玻璃上显示的图像并不能达到恢复原图的效果。3)公开号为cn110341834a的专利，公开了一种优化用于抬头显示系统成像的汽车挡风玻璃的方法，该专利先采用计算机软件设计3d挡风玻璃模型，并通过样点采集以作曲拟合，先考虑并确定场曲、畸变及mtf表现的性能；然后将抬头显示系统的所有参数为常量，将挡风玻璃的所有参数设置为变量，在所有视场的入射角度不变的情况下，针对200mm尺寸的光阑，更改挡风玻璃至少部分参数。该专利的方法可以适当的解决畸变的影响，但是整个过程显得很繁琐，而且成本代价比较高。
基于现有技术的缺陷，亟需一种能够基于动态眼位条件下对hud投影的原图像进行预畸变处理，从而良好改善ar-hud显示效果的新方法。
技术实现要素：
有鉴于此，本发明的目的在于提供一种观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法，使得驾驶员在动态眼位条件下，使得hud实际投影出来的虚像与期望hud显示的虚像相比保持更小的畸变误差，从而获得动态条件下良好的观测效果。
为达到上述目的，本发明提供如下技术方案：
一种观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法，该方法具体包括以下步骤：
s1：建立基于多层前向神经网络(multilayerfeedforwardneuralnetworks,mfnn)的虚像畸变形成的多元输入-输出映射关系；
s2：利用棋盘格图像的映射关系建立神经网络学习训练样本集；
s3：利用获得的训练样本集进行网格离线学习训练；
s4：基于神经网络非线性拟合与连续插值的ar-hud虚像预畸变处理，即得到ar-hud网络模型，实现ar-hud虚像畸变实时校正过程。
进一步，所述步骤s1具体包括：设某眼位点坐标为
其中，网络输入为：
网络理想输出为：{ui,j,vi,j}，i＝1,2,3,…,n，j＝1,2,3,…,m；
网络实际输出为：
网络误差函数为：
进一步，所述步骤s2具体包括：将hud的输入图像设定为标准的棋盘格图像，其中的若干个分布规则的格点在原图像和虚像中依次对应标出；设选出n个格点作为原图像和虚像中的对应畸变点集，采样是选取m个有代表性的眼位，每个眼位均能建立n个对应关系，从而形成m×n个神经网络输入-输出学习训练样本集：
进一步，所述步骤s3具体包括：通过神经网络误差反向传播算法(ebp)对mfnn网络进行离线迭代学习训练，使得误差e小于等于阈值β，得到网络权系数w*，由此任给虚像平面点p(xi,y0,zi),i＝1,2,…,n和眼位坐标
进一步，所述步骤s4具体包括：应用步骤s3学习训练完成的神经网络进行动态眼位条件下由虚像平面是任一点向原输入相平面上一点的连续映射；对于样本点之外的眼位和虚像平面的点集映射，应用神经网络的非线性拟合特性，进行高维空间中的连续插值(也可称为预测)，实现虚像平面上图像的预畸变处理；实时地将瞳孔眼位三维坐标数据输入到ar-hud网络模型，网络即可外推(估计)出与之对应得hud输入图像中应设计确定的图像数据，即为ar-hud的虚像畸变实时校正过程。
本发明的有益效果在于：1)本发明针对现有固定的单个眼位(观测效果最好的典型位置)畸变校正方法的明显缺陷，将观测条件放宽到动态眼位(眼位连续动态变化)，提出一种新的ar-hud虚像在多维空间连续映射模型和实时畸变校正处理算法，使得驾驶人员在眼位变化条件约束相对宽松的情况下，hud实际投影出来的虚像与期望hud显示的虚像相比保持更小的畸变误差，从而获得动态条件下良好的观测效果。2)本发明构建了基于ar-hud图像映射的含有5维输入、2维输出的连续非线性映射统一模型，使十分复杂的ar-hud虚像标定与动态畸变校正问题，具有了较严谨的算法基础，解决了在实际工程应用过程中的问题。3)本发明很好地解决固定眼位带来的虚像畸变问题，具有很强的可操作性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为hud成像过程图；
图2为hud虚像畸变校正处理示意图；
图3为本发明所述方法中的预畸变处理神经网结构；
图4为本发明ar-hud虚像畸变校正的神经网络插值方法流程示意图；
图5为虚像平面待显示的图像；
图6为未去畸变在虚像平面的输出图像效果图；
图7为固定眼位方法预畸变处理后得到的输入图像；
图8为固定眼位方法在虚像平面的输出图像效果图；
图9为本发明采用的动态眼位方法预畸变处理后得到的输入图像；
图10为本发明采用的动态眼位方法在虚像平面的输出图像效果图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图10，为一种观测者眼位连续变化场景下ar-hud虚像畸变校正的神经网络插值方法，具体包括以下步骤：
步骤1：将处理好的训练样本输入到设计好的神经网络结构中进行离线训练，直到训练误差满足我们的设定值时，将神经网络模型进行保存。
步骤2：将瞳孔检测获取的驾驶员实时眼位以及此时眼位对应的虚像平面特征点坐标输入到步骤1训练好的神经网络模型(观测者眼位连续变化场景下arhud虚像畸变校正的神经网络插值映射模型)中，得到与之对应的相平面预畸变映射表坐标，即畸变映射表。
步骤3：将视觉设计图像视为实际屏幕，根据实际屏幕与虚拟投影屏幕像素间的映射关系(畸变映射表)，调整视觉设计图像，从而实现对hud投影虚像的矫正。
其中，建立arhud虚像畸变校正的神经网络插值映射模型，如图4所示，具体包括：将虚像曲面近似为y＝y0的平面。虚像平面中的点记为p(x,y0,z)，观测范围内任意眼位坐标记为e(xe,ye,ze)，对应的hud输入图像平面的点坐标记为u(u,v)，其多维空间中图像映射模型可表示为如下连续非线性函数关系：
1)建立基于mfnn的虚像畸变形成的多元输入-输出映射关系。设某眼位点坐标为
其中，网络输入为：
网络理想输出为：{ui,j,vi,j}，i＝1,2,3,…,n，j＝1,2,3,…,m；
网络实际输出为：
网络误差函数为：
2)利用棋盘格图像的映射关系建立神经网络学习训练样本集。将hud的输入图像设定为标准的棋盘格图像，其中的若干个分布规则的格点在原图像和虚像中依次对应标出；设选出n个格点作为原图像和虚像中的对应畸变点集，采样是选取m个有代表性的眼位，每个眼位均能建立n个对应关系，从而形成m×n个神经网络输入-输出学习训练样本集：
3)利用获得的训练样本集进行网格离线学习训练。通过神经网络误差反向传播算法(ebp)对mfnn网络进行离线迭代学习训练，使得误差e小于等于阈值β，得到网络权系数w*，由此任给虚像平面点p(xi,y0,zi),i＝1,2,…,n和眼位坐标
4)基于神经网络非线性拟合与连续插值的ar-hud虚像预畸变处理。应用学习训练完成的神经网络进行动态眼位条件下由虚像平面是任一点向原输入相平面上一点的连续映射；对于样本点之外的眼位和虚像平面的点集映射，应用神经网络的非线性拟合特性，进行高维空间中的连续插值(也称为预测)，实现虚像平面上图像的预畸变处理；实时地将瞳孔眼位三维坐标数据输入到ar-hud网络模型，网络即可外推(估计)出与之对应得hud输入图像中应设计确定的图像数据，即为ar-hud的虚像畸变实时校正过程。
本实施例中，网络结构采用若干个隐含层，学习训练中选取了21个典型眼位，虚像采样点选取21*11个，总共形成21*21*11个学习样本集。学习训练完成后，对于待输出到虚像平面的图像进行在线预畸变处理。如图5～10所示，采用本发明的方法与固定的单个眼位下的对比试验，图9和图10为本发明方法的去畸变实验效果，图7和图8为固定的单个眼位方法的去畸变实验效果，图5和图6为未采用去畸变方法的实验效果。通过实验结果可以得出，固定眼位方式只有在对应标定眼位下的去畸变效果较好，在其他眼位下的去畸变效果较差，从图8可以看出，虚像的部分线条还是存在弯曲的情况，而本发明的去畸变方法在对应标定眼位和其他任意眼位下的去畸变效果都比较好。
通过上述实验，验证了本发明的方法较通常的基于固定眼位假定的虚像畸变校正方法，效果明显改善，对驾驶人员眼位连续变化的适应能力明显增强，若配合相应的数据处理算法(如离线构建插值表)，该方法能更好的满足车辆运动场景下的实时性要求。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
1.一种观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法，其特征在于，该方法具体包括以下步骤：
s1：建立基于多层前向神经网络(multilayerfeedforwardneuralnetworks,mfnn)的虚像畸变形成的多元输入-输出映射关系；
s2：利用棋盘格图像的映射关系建立神经网络学习训练样本集；
s3：利用获得的训练样本集进行网络离线学习训练；
s4：基于神经网络非线性拟合与连续插值的ar-hud虚像预畸变处理，即得到ar-hud网络模型，实现ar-hud虚像畸变实时校正过程。
2.根据权利要求1所述的观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法，其特征在于，所述步骤s1具体包括：设某眼位点坐标为
其中，网络输入为：
网络理想输出为：{ui,j,vi,j}，i＝1,2,3,…,n，j＝1,2,3,…,m；
网络实际输出为：
网络误差函数为：
3.根据权利要求2所述的观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法，其特征在于，所述步骤s2具体包括：将hud的输入图像设定为标准的棋盘格图像，其中的若干个分布规则的格点在原图像和虚像中依次对应标出；设选出n个格点作为原图像和虚像中的对应畸变点集，采样是选取m个有代表性的眼位，每个眼位均能建立n个对应关系，从而形成m×n个神经网络输入-输出学习训练样本集：
4.根据权利要求3所述的观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法，其特征在于，所述步骤s3具体包括：通过神经网络误差反向传播算法对mfnn网络进行离线迭代学习训练，使得误差e小于等于阈值β，得到网络权系数w*，由此任给虚像平面点p(xi,y0,zi),i＝1,2,…,n和眼位坐标
5.根据权利要求4所述的观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法，其特征在于，所述步骤s4具体包括：应用步骤s3学习训练完成的神经网络进行动态眼位条件下由虚像平面是任一点向原输入相平面上一点的连续映射；对于样本点之外的眼位和虚像平面的点集映射，应用神经网络的非线性拟合特性，进行高维空间中的连续插值，实现虚像平面上图像的预畸变处理；实时地将瞳孔眼位三维坐标数据输入到ar-hud网络模型，网络估计出与之对应得hud输入图像中应设计确定的图像数据，即为ar-hud的虚像畸变实时校正过程。
技术总结