一种基于扩散膜改造增大FOV的方法和系统与流程

专利2022-06-29  80


本发明涉及智能座舱显示的技术领域,尤其涉及一种基于扩散膜改造增大fov的方法和基于扩散膜改造增大fov的系统。



背景技术:

hud(headupdisplay)是用在飞机上的设备,为了帮助飞行员更容易感知周边环境而设计的。随着技术领域的推广,现在在汽车也有了一定的应用。hud在汽车行业的发展经历了c-hud,w-hud,目前在向ar-hud发展。c-hud(combinerhud,组合型hud),起初多用于后装市场,价格相对便宜,navdy和车萝卜等公司的产品都属于这类。

现在也进入到前装市场,非高级轿车中多安装c-hud的,例如江铃易至e300。w-hud(windshieldhud,挡风玻璃hud),高档轿车多配置前装w-hud,例如宝马3系。ar-hud(augmentedrealityhud)称为增强现实hud,主要是通过ar技术将显示内容投影到车前,使让驾驶员可以更直观的观察实际路面情况。



技术实现要素:

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题,提出了本发明。

因此,本发明解决的技术问题是:提出一种基于扩散膜改造增大fov的方法。

为解决上述技术问题,本发明提供如下技术方案:一种基于扩散膜改造增大fov的方法,包括摄像模块获取车前的图像信息;根据所述图像信息调节对应的反射镜位置达到图像贴合;使用单dlp光机投影出相应的显示部分。

作为本发明所述的基于扩散膜改造增大fov的方法的一种优选方案,其中:包括,利用眼球追踪模块获取人眼位置信息;通过坐标系转换模块将摄像头坐标系转换到人眼位置的坐标系;由光机的fov和图像标定技术,得到实际有效的图像区域。

作为本发明所述的基于扩散膜改造增大fov的方法的一种优选方案,其中:包括,在输入的有效图像中,通过图像识别模块识别车道线、行人、车辆的信息;根据显示的策略进行标注;根据人眼的坐标位置做相应的匹配,调节不同视场角的反射镜满足图像拼接无缝的效果。

作为本发明所述的基于扩散膜改造增大fov的方法的一种优选方案,其中:所述单dlp光机投影中dlp成像需要使用扩散膜,对所述扩散膜使用镀膜处理,成为两个反射的实像,将反射成像并切分为两个像源。

作为本发明所述的基于扩散膜改造增大fov的方法的一种优选方案,其中:所述眼球追踪模块包括,利用3d摄像模块获取目标图像的rgb图信息;通过tof传感器并结合近红外光器阵列获得相应的深度信息;将获取的rgb图信息和深度信息传输发送至所述坐标系转换模块。

作为本发明所述的基于扩散膜改造增大fov的方法的一种优选方案,其中:所述眼球追踪模块包括,通过haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置;建立人眼图像的差分高斯金字塔模型计算区域极值点;在瞳孔区域图像中建立自适应瞳孔拟合模板,以区域极值点为模板中心拟合瞳孔边缘和中心。

作为本发明所述的基于扩散膜改造增大fov的方法的一种优选方案,其中:所述haar特征为用于图像中简单边缘特征信息提取的矩形特征模板,所述模板的特征值定义如下:

为白色矩形区域内像素灰度值之和,为黑色矩形区域内像素灰度值之和。

一种基于扩散膜改造增大fov的系统,其特征在于:包括摄像模块、眼球追踪模块、图像识别模块、坐标系转换模块和单dlp光机;所述摄像模块与所述眼球追踪模块模块,用于获取图像输入所述眼球追踪模块进行实时跟踪;所述图像识别模块用于识别实时图像的特征并输出结果至所述坐标系转换模块;所述坐标系转换模块将结果信息转化为坐标作用于所述单dlp光机;所述单dlp光机将信息在相应位置进行显示。

本发明的有益效果:充分利用横向方向上的空间布局来增大fov。另外相对双光机方案可以降低成本。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:

图1为本发明第一种实施例所述基于扩散膜改造增大fov的方法整体流程示意图;

图2为本发明第一种实施例所述基于扩散膜改造增大fov的方法实现原理示意图;

图3为本发明第一种实施例所述投影显示原理示意图;

图4为本发明第一种实施例所述图像投影到arhud显示屏上的棋盘格图像示意图;

图5为本发明第一种实施例所述计算出校准矩阵的棋盘格图像示意图;

图6为本发明第二种实施例所基于扩散膜改造增大fov的系统原理结构示意图;

图7为本发明现有技术呈现的效果图;

图8为本发明呈现的效果图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。

其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1~2的示意,为本实施例提出一种基于扩散膜改造增大fov的方法,具体包括,

摄像模块100获取车前的图像信息;

根据图像信息调节对应的反射镜位置达到图像贴合;

使用单dlp光机投影出相应的显示部分。

利用眼球追踪模块200获取人眼位置信息;

通过坐标系转换模块400将摄像头坐标系转换到人眼位置的坐标系;

由光机的fov和图像标定技术,得到实际有效的图像区域。

本方法可以分为无限段处理,透射和反射,本专利主要是阐述了一种分为反射成的像和透射产生的像。通过在扩散膜上做分段处理,可以生成反射生成的像及透过成的像,而通过组合可以产生反射的像和透射成的像,此反射加透射,可以实现无数段。

包括,在输入的有效图像中,通过图像识别模块300识别车道线、行人、车辆的信息;根据显示的策略进行标注;根据人眼的坐标位置做相应的匹配,调节不同视场角的反射镜满足图像拼接无缝的效果。单dlp光机投影中dlp成像需要使用扩散膜,对扩散膜使用镀膜处理,成为两个反射的实像,将反射成像并切分为两个像源。

进一步的,眼球追踪模块200包括,

利用3d摄像模块获取目标图像的rgb图信息;

通过tof传感器并结合近红外光器阵列获得相应的深度信息;

将获取的rgb图信息和深度信息传输发送至坐标系转换模块400。

眼球追踪模块200包括,

通过haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置;

建立人眼图像的差分高斯金字塔模型计算区域极值点;

在瞳孔区域图像中建立自适应瞳孔拟合模板,以区域极值点为模板中心拟合瞳孔边缘和中心。

haar特征为用于图像中简单边缘特征信息提取的矩形特征模板,模板的特征值定义如下:

为白色矩形区域内像素灰度值之和,为黑色矩形区域内像素灰度值之和。

目前的产品分辨率不够,在单独增大fov后,分辨率会随之降低。目前的产品整体空间有限,本产品巧妙的利用了在仪表台横向空间较大,纵向空间较小来实现相应方案。原来的方案fov只有10*4°,现在就变成20*4°。是在增加光学元器件的情况下,但不增加dlp光机的部分情况下,快速提高fov。

将显示面一分为二进行投影,只利用了一个显示源。另外通过增加同一套光学器件实现增加扩大fov的效果,原来的方案fov只有10*4°,现在就变成20*4°,并且不需要使用两套dlp,只需要使用一套

需要说明的是,参照图3~5的示意,图4中绿色射线(图中已标出)是adascamera的fov,绿色矩形(图中已标出)是adas图像投影到arhud显示屏上的棋盘格图像。蓝色射线(图中已标出)代表人眼在arhud投影屏幕上看到的棋盘格的视线,蓝色矩形代表人眼在arhud显示屏上看到的实景棋盘格图像。

图5中红色框(由于灰度原因,图中为较为深色的框线)的区域代表人眼在arhud显示屏上看到的棋盘格区域,绿色框(由于灰度原因,图中为较为浅色的框线)区域代表通过adas抓取的图像,通过arhud系统转换后显示在屏幕上的棋盘格区域。

假设我们对棋盘格的每个角点做了标记(索引表示(1,1)~(6,6)),由于2个系统(人眼和adas)投影的偏差,导致了相同角点在2个投影框里的位置坐标不一样,所以我们在最终计算出校准矩阵的时候,需要先找到2个框里棋盘格角点坐标的一一对应关系,然后才能计算校准矩阵。

参照图7~8的示意,图8中的实际效果可以得知两个hud的显示画面左右侧可以贴合在一起,并且中间没有缝隙。

实施例2

参照图6的示意,本实施例提出一种基于扩散膜改造增大fov的系统,其特征在于:包括摄像模块100、眼球追踪模块200、图像识别模块300、坐标系转换模块400和单dlp光机;摄像模块100与眼球追踪模块200模块,用于获取图像输入眼球追踪模块200进行实时跟踪;图像识别模块300用于识别实时图像的特征并输出结果至坐标系转换模块400;坐标系转换模块400将结果信息转化为坐标作用于单dlp光机;单dlp光机将信息在相应位置进行显示。

应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。

此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、ram、rom等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的,术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,组件可以是,但不限于是:在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例,在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中,并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外,这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号,以本地和/或远程过程的方式进行通信。

应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。


技术特征:

1.一种基于扩散膜改造增大fov的方法,其特征在于:包括,

摄像模块(100)获取车前的图像信息;

根据所述图像信息调节对应的反射镜位置达到图像贴合,包括对扩散膜使用分段镀膜处理,成为两个反射的实像和一个透过的实像;

使用单dlp光机投影出相应的显示部分。

2.如权利要求1所述的基于扩散膜改造增大fov的方法,其特征在于:包括,

利用眼球追踪模块(200)获取人眼位置信息;

通过坐标系转换模块(400)将摄像头坐标系转换到人眼位置的坐标系;

由光机的fov和图像标定技术,得到实际有效的图像区域。

3.如权利要求1或2所述的基于扩散膜改造增大fov的方法,其特征在于:包括,

在输入的有效图像中,通过图像识别模块(300)识别车道线、行人、车辆的信息;

根据显示的策略进行标注;

根据人眼的坐标位置做相应的匹配,调节不同视场角的反射镜满足图像拼接无缝的效果。

4.如权利要求3所述的基于扩散膜改造增大fov的方法,其特征在于:所述单dlp光机投影中dlp成像需要使用扩散膜,对所述扩散膜使用镀膜处理,成为两个反射的实像,将反射成像并切分为两个像源。

5.如权利要求4所述的基于扩散膜改造增大fov的方法,其特征在于:所述眼球追踪模块(200)包括,

利用3d摄像模块获取目标图像的rgb图信息;

通过tof传感器并结合近红外光器阵列获得相应的深度信息;

将获取的rgb图信息和深度信息传输发送至所述坐标系转换模块(400)。

6.如权利要求5所述的基于扩散膜改造增大fov的方法,其特征在于:所述眼球追踪模块(200)包括,

通过haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置;

建立人眼图像的差分高斯金字塔模型计算区域极值点;

在瞳孔区域图像中建立自适应瞳孔拟合模板,以区域极值点为模板中心拟合瞳孔边缘和中心。

7.如权利要求6所述的基于扩散膜改造增大fov的方法,其特征在于:所述haar特征为用于图像中简单边缘特征信息提取的矩形特征模板,所述模板的特征值定义如下:

为白色矩形区域内像素灰度值之和,为黑色矩形区域内像素灰度值之和。

8.一种基于扩散膜改造增大fov的系统,其特征在于:包括摄像模块(100)、眼球追踪模块(200)、图像识别模块(300)、坐标系转换模块(400)和单dlp光机;

所述摄像模块(100)与所述眼球追踪模块(200)模块,用于获取图像输入所述眼球追踪模块(200)进行实时跟踪;

所述图像识别模块(300)用于识别实时图像的特征并输出结果至所述坐标系转换模块(400);

所述坐标系转换模块(400)将结果信息转化为坐标作用于所述单dlp光机;

所述单dlp光机将信息在相应位置进行显示。

技术总结
本发明公开了一种基于扩散膜改造增大FOV的方法和系统,包括摄像模块获取车前的图像信息;根据所述图像信息调节对应的反射镜位置达到图像贴合;使用单DLP光机投影出相应的显示部分本发明的有益效果:充分利用横向方向上的空间布局来增大FOV。另外相对双光机方案可以降低成本。

技术研发人员:林喜泓
受保护的技术使用者:的卢技术有限公司
技术研发日:2019.12.31
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-48399.html

最新回复(0)