本申请涉及数据处理系统及方法技术领域，尤其涉及一种移动设备的图像数据处理方法、控制系统及存储介质。
背景技术：
移动设备是可以在移动过程中执行特定工作的设备。例如手机、移动机器人、具有摄像装置的机械手臂等。以所述移动设备为移动机器人为例，移动机器人可用在室内或室外，可用于工业、商业或家庭，可用于取代保安巡视、取代迎宾员或点餐员、或取代人们清洁地面，还可用于家庭陪伴、辅助办公等。
由于移动设备的摄像装置在拍摄每幅图像时只能采用一种曝光量，所以，在移动机器人等移动设备的移动过程中，如果想获得长距离处场景的图像，需要以高曝光量来获取，但是，近距离处场景的图像可能会出现过曝现象。如果想获得清晰的近距离处场景的图像，为了不出现过曝现象，需要以低曝光量来获取，但是，长距离视野范围的图像可能会存在欠曝的现象。
所以，在移动设备的移动过程中如何获得既无过曝和欠曝又有长距离的视野范围的高质量图像，已成为业界亟待解决的技术问题。
技术实现要素：
鉴于以上所述相关技术的缺点，本申请的目的在于提供一种移动设备的图像数据处理方法、控制系统及存储介质，用于解决在移动设备的移动过程中如何获得既无过曝和欠曝又有长距离的视野范围的高质量图像，已成为业界亟待解决的技术问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种移动设备的图像数据处理方法，所述移动设备具有深度检测装置，所述图像数据处理方法包括：获取所述深度检测装置拍摄的第一深度图及其第一光强度数据和第二深度图及其第二光强度数据；其中，所述第一深度图是所述深度检测装置在第一位置以第一曝光水平拍摄而得的，所述第二深度图是所述深度检测装置在第二位置以第二曝光水平拍摄而得的；根据所述第一位置和所述第二位置的位置关系，确定第一深度图的像素位置和第二深度图的像素位置之间的对应关系；根据所述第一光强度数据和/或所述第二光强度数据、光强度条件，分别提取所述第一深度图中的第一深度数据和所述第二深度图中的第二深度数据；根据所述对应关系，合成所述第一深度数据和所述第二深度数据，以得到新的深度图。
在本申请的第一方面的某些实施方式中，所述第一曝光水平及第二曝光水平中的一者对应于高曝光，另一者对应于低曝光。
在本申请的第一方面的某些实施方式中，在所述第二曝光水平强于第一曝光水平时，所述提取的第一深度数据包括：从所述第一深度图中选取的去除欠曝深度数据后剩余的深度数据；所述提取的第二深度数据包括：从所述第二深度图中选取的去除过曝深度数据后剩余的深度数据。
在本申请的第一方面的某些实施方式中，所述深度检测装置在分别拍摄所述第一深度图和第二深度图时对应得到第一光强度图和第二光强度图；其中，所述第一深度图中各像素位置的深度数据与第一光强度图中各像素位置的光强度数据一一对应，所述第二深度图中各像素位置的深度数据与第二光强度图中各像素位置的光强度数据一一对应。
在本申请的第一方面的某些实施方式中，所述图像数据处理方法还包括：提取与所述第一深度数据的像素位置相对应的第三光强度数据和与所述第二深度数据的像素位置相对应的第四光强度数据；根据所述对应关系，合成所述第三光强度数据和所述第四光强度数据，以得到新的光强度图。
在本申请的第一方面的某些实施方式中，所述根据所述对应关系，合成所述第一深度数据和所述第二深度数据，以得到新的深度图，包括以下至少一种：根据所述对应关系，将所述第二深度数据转换成与第一位置相对应的深度数据，并合成转换后的所述深度数据和所述第一深度数据，以得到新的深度图；或者，根据所述对应关系，将所述第一深度数据转换成与第二位置相对应的深度数据，并合成转换后的所述深度数据和所述第二深度数据，以得到新的深度图。
在本申请的第一方面的某些实施方式中，所述新的深度图中的深度数据包括：基于第一深度数据和所述第二深度数据的重叠区域，而选择所述第一深度数据和/或所述第二深度数据。
在本申请的第一方面的某些实施方式中，所述第一深度图和第二深度图为所述移动设备在运动过程中按照预设切换频率分别以第一曝光水平和第二曝光水平所拍摄得到的。
在本申请的第一方面的某些实施方式中，所述第一深度图和第二深度图为多个连续拍摄的图像中的任意两幅相邻图像。
在本申请的第一方面的某些实施方式中，所述第一曝光水平和所述第二曝光水平是通过控制所述深度检测装置具有不同的快门速度得到的。
在本申请的第一方面的某些实施方式中，所述第一曝光水平和所述第二曝光水平是通过控制所述深度检测装置处于不同的照明环境得到的。
在本申请的第一方面的某些实施方式中，所述位置关系是根据获取自该移动设备在第一位置和第二位置间的运动数据所得到的。
为实现上述目的及其他相关目的，本申请的第二方面提供一种移动设备，包括：深度检测装置，用于摄取深度图和光强度数据；存储装置，用于存储至少一种程序；处理装置，与所述深度检测装置和存储装置相连，用于调用并执行所述至少一个程序，以协调所述深度检测装置和存储装置执行并实现如本申请第一方面中任一项所述的图像数据处理方法。
在本申请的第二方面的某些实施方式中，所述移动设备还包括运动测量装置，用于提供所述移动设备的运动数据。
在本申请的第二方面的某些实施方式中，所述深度检测装置中的快门按预设切换频率切换不同的快门速度以提供第一曝光水平和第二曝光水平。
在本申请的第二方面的某些实施方式中，所述深度检测装置中的光发射器按预设切换频率切换不同的照明水平以提供第一曝光水平和第二曝光水平。
为实现上述目的及其他相关目的，本申请的第三方面提供一种移动设备的控制系统，所述移动设备装配有深度检测装置，所述控制系统包括：接口装置，用于接收自所述深度检测装置所摄取的深度图和光强度数据；存储装置，用于存储至少一种程序；处理装置，与所述接口装置和存储装置相连，用于调用并执行所述至少一种程序，以协调所述接口装置、存储装置和深度检测装置执行并实现如本申请第一方面中任一项所述的图像数据处理方法。
为实现上述目的及其他相关目的，本申请的第四方面提供一种计算机可读存储介质，存储至少一种程序，所述至少一种程序在被调用时执行并实现如本申请第一方面中任一项所述的图像数据处理方法。
综上所述，本申请的公开的移动设备的图像数据处理方法、控制系统及存储介质，获取所述深度检测装置拍摄的第一深度图及其第一光强度数据和第二深度图及其第二光强度数据，根据所述第一光强度数据和/或所述第二光强度数据、光强度条件可得到合成后的新的深度图。本申请可实现在移动设备的移动过程中，通过不同曝光水平下得到的深度图获得既无过曝和欠曝又有长距离的视野范围的高质量深度图像。还可以得到既无过曝和欠曝又有长距离的视野范围的高质量光强度图。
附图说明
本申请所涉及的发明的具体特征如所附权利要求书所显示。通过参考下文中详细描述的示例性实施方式和附图能够更好地理解本申请所涉及发明的特点和优势。对附图简要说明书如下：
图1显示为本申请的移动设备的控制系统的硬件结构框图。
图2显示为本申请的移动设备的图像数据处理方法在一实施例中的流程示意图。
图3显示为本申请的第一位置和第二位置在一实施例中的位置关系示意图。
图4显示为移动设备为自主清洁机器人的一种实施例下的硬件结构示意图。
图5显示为移动设备为自主清洁机器人的另一种实施例下的硬件结构示意图。
图6显示为一物体测量点m与第一位置和第二位置之间的相对位置关系。
图7显示为一物体测量点n与第一位置和第二位置之间的相对位置关系。
图8显示为本申请的移动设备在一实施例中的硬件结构框图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件或参数，但是这些元件或参数不应当被这些术语限制。这些术语仅用来将一个元件或参数与另一个元件或参数进行区分。例如，第一深度数据可以被称作第二深度数据，并且类似地，第二深度数据可以被称作第一深度数据，而不脱离各种所描述的实施例的范围。第一深度数据和第二深度数据均是在描述一个深度数据，但是除非上下文以其他方式明确指出，否则它们不是同一个深度数据。相似的情况还包括第一光强度数据与第二光强度数据，或者第一深度图与第二深度图。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
移动设备是可以在移动过程中执行特定工作的设备，其移动过程可以是基于用户操作而产生的移动，也可以是自主移动。所述移动设备举例为：移动终端设备、移动机器人、可活动的机械手臂等。其中，移动终端设备可在用户的手持操作下在物理空间内移动。移动机器人可基于预设的导航路线及其定位的位置信息进行自主移动。机械手臂可基于所检测到的与目标物体/非目标物体之间的位置关系进行自主移动等。例如，所述移动设备为移动机器人，移动机器人可分为以下任一中类型：用在室内或室外的移动机器人，用于工业、商业或家庭的移动机器人，用于取代保安巡视、取代迎宾员或点餐员、或取代人们清洁地面的移动机器人，以及可用于家庭陪伴、辅助办公的移动机器人等。
由于工作场景环境的复杂性，移动设备在移动时进行准确定位，以供测量与周围障碍物或初始位置之间的位置关系。为此，所述移动设备包含深度检测装置以获取移动设备所在位置与障碍物或初始位置之间的深度数据，利用所得到的深度数据可推测所述位置关系，进而利用位置关系调整对移动设备的控制策略。以移动设备为移动机器人为例，移动机器人通过深度检测装置所提供的深度图和/或光强度图来获得与障碍物之间的深度数据，进而及时有效地对障碍物进行躲避、或工作模式调整等处理。以移动设备为手机为例，手机中内置有如利用增强现实技术开发的游戏app，用户通过游戏app在游戏中与虚拟对象进行互动，当为了互动而移动手机时，手机通过深度检测装置所提供的深度数据，确定手机当前位置与初始位置之间的位置关系，进而提示用户调整手机位姿。以所述移动设备为机械手臂为例，机械手臂通过深度检测装置所提供的深度数据确定机械手臂与作业位置之间的位置关系，进而调整机械手臂的移动位置或确定执行下一指令(如抓取指令、放下指令等)。
在此，深度检测装置通过发出特定的光波并检测波从发出到反馈所需要的时长，以计算深度数据获得深度图。所述深度检测装置会受到光波本身、快门速度、周围环境、障碍物材质等干扰，使得所获得的深度图中出现不易于识别的区域。在单位时间内反射回深度检测装置的光波的强度可用曝光量来度量。例如，深度检测装置在拍摄每幅深度图时只采用一种曝光量，在移动设备的移动过程中，如果想获得长距离处场景的深度图，需要以较高的曝光量来获取，这时，近距离处场景的深度图可能会出现噪点过多的现象，如过曝现象。如果想获得清晰的近距离处场景的图像，需要以较低曝光量来获取，这时，远距离处场景的深度图可能会因入光亮较少而产生无法测定准确的深度或光强度的现象，如欠曝现象。然而，通过相同曝光量的深度图，难以获得既无过曝和欠曝、又具有长距离的视野范围的高质量深度图。
基于上述示例而推及至其他具有深度检测装置的移动设备，本申请提供一种移动设备的图像数据处理方法、控制系统及存储介质。本申请可以获取所述移动设备在移动过程中于不同位置以不同曝光量拍摄的深度图和深度图所对应的光强度数据，进而基于所述光强度数据和相应的光强度条件提取深度图中无欠曝和过曝的图像所对应的深度数据，并可以根据上述不同位置之间的相对位置关系将所述提取的深度数据进行合成，以得到同时具有远距离和近距离处场景的高质量深度图。例如，所得到的高质量深度图中由既无过曝又无欠曝的深度数据排布而成。
在此，所述移动设备配置有深度检测装置。其中，所述深度检测装置是用于按照预设像素分辨率提供深度图和光强度数据的检测装置。
其中，所述深度图中各像素位置所获取的深度数据表示所拍摄视场范围内深度检测装置至相应物体检测点之间的距离信息。利用所述深度检测装置的测量视场范围，深度图中各像素位置还提供了所测量的距离信息与深度图中预设坐标点的偏角。故此，所述深度图利用像素级的点云数据描述了深度检测装置在视场范围内对物体的可见表面的几何形状。
其中，利用预设像素位置所获取的所述光强度数据可以在光强度图中表示所拍摄视场范围内的物体图像。其中，每一像素位置的光强度数据包含：各物体测量点反射的光能量值，即所述光强度数据表示各物体测量点所对应的亮度值。需要说明的是，同样的亮度值既可以是红色也可以是绿色。亮度值在0至255之间，靠近255的亮度较高，靠近0的亮度较低。例如，所述光强度图为灰度图，则所述光强度数据可用灰度图的灰度数据表示。又如，所述光强度图为彩色图，则所述光强度数据可以是r通道的灰度数据、g通道的灰度数据、或是b通道的灰度数据，也就是彩色图中包含三类灰度数据。其中，深度图或光强度图中的每一像素位置均对应一实际物理空间中的物体测量点。
在此，所述深度检测装置包括但不限于：包含有光接收器的摄像装置、集成有光接收器和光发射器的摄像装置(如tof传感器)等。其中，所述光接收器由深度测量单元和光传感器构成。其中，基于测量深度数据的不同原理，所述深度测量单元包括但不限于：激光雷达传感器、基于飞行时间的深度测量单元、基于结构光技术的深度测量单元等。其中，基于所述光发射器的不同，所述深度测量单元包括但不限于：面阵列深度测量单元、点阵列深度测量单元。其中，所述面阵列深度测量单元举例为：光电二极管阵列。所述光传感器举例为：ccd或cmos。所述光发射器举例为：红外发射器(例如红外led阵列)。
所述移动设备藉由配置在其中的控制系统来执行所述移动设备的图像数据处理方法。其中，请参阅图1，其显示为本申请的移动设备的控制系统的硬件结构框图。所述控制系统11包括接口装置111、存储装置113、和处理装置112。所述接口装置111包括但不限于：如hdmi接口或usb接口的串行接口，或并行接口等。
所述存储装置113用于存储至少一种程序，所述至少一种程序可供所述处理装置112执行所述移动设备的图像数据处理方法。例如，所述存储装置113还存储有曝光水平的控制策略。其中，所述控制策略用于在所述移动设备运动过程中控制移动设备按照预设切换频率切换不同的曝光水平以获得不同曝光水平下的深度图和光强度数据。具体地，所述控制策略用于控制移动设备完成曝光水平的周期性变化。例如，一控制周期内的曝光水平由一次高曝光和一次低曝光构成。又如，一控制周期内的曝光水平由一次高曝光和多次连续的低曝光构成。再如，一控制周期内的曝光水平由多次连续的高曝光和一次低曝光构成。所述周期与高曝光和低曝光的曝光水平、所述深度检测装置12拍摄两幅相邻图像的时间间隔等因素有关。
在此，存储装置113包括但不限于：只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、非易失性存储器(nonvolatileram，简称nvram)。例如，存储装置113包括闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置还可以包括远离一个或多个处理装置的存储器，例如，经由rf电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(lan)、广域网(wan)、存储局域网(san)等，或其适当组合。存储装置113还包括存储器控制器，其可控制移动设备的诸如中央处理器(cpu)和接口装置之类或其他组件对存储器的访问控制。
处理装置112与所述接口装置111、存储装置113和深度检测装置12相连，用于调用并执行所述至少一种程序，以协调所述接口装置111、存储装置113和深度检测装置12执行并实现本申请所述的图像数据处理方法。
所述处理装置112包括一个或多个通用微处理器、一个或多个专用处理器(asic)、一个或多个数字信号处理器(digitalsignalprocessor，简称dsp)、一个或多个现场可编程逻辑阵列(fieldprogrammablegatearray，简称fpga)、或它们的任何组合。处理装置还与i/o端口可操作地耦接，该i/o端口可使得所述移动设备能够与各种其他电子设备进行交互。以所述移动设备为移动机器人为例，所述其他电子设备包括但不限于：所述移动机器人中移动装置中的移动电机，或移动机器人中专用于控制移动装置和清洁装置的从处理器，如微控制单元(microcontrollerunit，简称mcu)。所述处理装置可操作地与存储装置执行数据读写操作。处理装置可执行诸如提取图像、提取所述移动设备的运动数据、基于所述图像和运动数据确定所述移动设备在不同位置之间的相对位置关系等。
请参阅图2，其显示为本申请移动设备的图像数据处理方法在一实施例中的流程示意图。其中，所述图像数据处理方法可以由移动设备的控制系统11执行，或者其他可执行本申请的图像数据处理方法的计算机设备执行。
在步骤s110中，获取所述深度检测装置拍摄的第一深度图及其第一光强度数据和第二深度图及其第二光强度数据；其中，所述第一深度图是所述深度检测装置在第一位置以第一曝光水平拍摄而得的，所述第二深度图是所述深度检测装置在第二位置以第二曝光水平拍摄而得的。
其中，具有深度检测装置的移动设备在移动过程中按照所述曝光水平的控制策略控制所述深度检测装置，以使所述深度检测装置依据所述控制策略中所对应的曝光水平拍摄深度图。进而，所述处理装置可以获取所述深度检测装置在第一位置以第一曝光水平拍摄的第一深度图、以及在第二位置以第二曝光水平拍摄的第二深度图。其中，所述第一位置和第二位置是所述移动设备在移动过程中的不同位置。所述第一曝光水平和第二曝光水平是所述曝光水平的控制策略中所对应的不同的曝光水平。具体地，所述第一曝光水平及第二曝光水平中的一者对应于高曝光，另一者对应于低曝光。所述高曝光和低曝光的实际曝光量可根据所述移动设备的工作环境以及所述深度检测装置的焦距等因素来设置。
以所述移动设备为移动机器人为例，移动机器人为了获得其与障碍物之间的深度数据，进而及时有效地对障碍物进行躲避、或工作模式调整等处理。所述移动机器人在移动过程中根据所述曝光水平的控制策略拍摄第一深度图以及第二深度图。以移动设备为手机为例，手机在用户的携带下移动时，当用户选择拍摄深度图时，手机的深度检测装置可以在移动过程中按照预设的所述曝光水平的控制策略，执行用户拍摄深度图的指令来拍摄第一深度图以及第二深度图。
以所述移动设备为机械手臂为例，机械手臂在作业过程中为了确定机械手臂与作业位置之间的位置关系，所述机械手臂的深度检测装置可以在移动过程中按照所述曝光水平的控制策略拍摄第一深度图以及第二深度图。
其中，所述第一深度图所对应的实际物理空间和所述第二深度图所对应的实际物理空间有重叠的视场区域。以所述移动设备为自主清洁机器人为例，所述自主清洁机器人在移动过程中的第一位置和第二位置所拍摄的深度图中均包含有沙发附近区域的图像。则所述第一位置所拍摄的第一深度图中的沙发图像表示的是第一曝光水平的沙发图像，所述第二位置所拍摄的第二深度图中的沙发图像表示的是第二曝光水平的沙发图像。
在一实施例中，所述第一深度图和第二深度图为所述移动设备在运动过程中按照预设切换频率分别以第一曝光水平和第二曝光水平拍摄而得到的。具体地，所述移动设备执行所述曝光水平的控制策略，在控制周期内基于所述控制策略所对应的切换频率以不同曝光水平来拍摄图像，以获得不同曝光水平的深度图。需要说明的是，所述第一深度图和第二深度图可以是同一控制周期内所述深度检测装置所拍摄的深度图，也可以是不同控制周期内所述深度检测装置所拍摄的深度图，只要两幅深度图中包含有相同视场区域的图像即可。
所述切换频率用于描述在控制周期内执行第一曝光水平的次数和执行第二曝光水平的次数。例如，一控制周期内的曝光水平由一次第一曝光水平和一次第二曝光水平构成，则在完成一次以第一曝光水平拍摄的深度图后在拍摄下一幅深度图时切换至第二曝光水平。又如，一控制周期内的曝光水平由一次第一曝光水平和多次连续的第二曝光水平构成，则在完成一次以第一曝光水平拍摄的深度图后切换至第二曝光水平，并以所述第二曝光水平拍摄多幅深度图，其中，所述获取的第一深度图可以是该控制周期内以第一曝光水平所拍摄的深度图，也可以是其他控制周期内以所述第一曝光水平所拍摄的深度图。所获取的第二深度图可以是该控制周期内多幅深度图中的任意一个，也可以是其他控制周期内以所述第二曝光水平所拍摄的深度图。再如，一控制周期内的曝光水平由多次连续的第一曝光水平和一次第二曝光水平构成，则在完成以第一曝光水平拍摄的多幅深度图后切换至第二曝光水平，并以所述第二曝光水平拍摄一幅深度图，其中，所述获取的第二深度图可以是该控制周期内以第二曝光水平所拍摄的深度图，也可以是其他控制周期内以所述第二曝光水平所拍摄的深度图。所获取的第一深度图可以是该控制周期内多幅深度图中的任意一个，也可以是其他控制周期内以所述第一曝光水平所拍摄的深度图。
所述控制周期与所述第一曝光水平和第二曝光水平的曝光时间、曝光次数、所述深度检测装置拍摄两幅相邻深度图的时间间隔等因素有关。需要说明的是，所述切换频率并不限于上述举例，也可以是多次第一曝光水平与多次第二曝光水平之间进行切换。
在一具体实施例中，所述第一深度图和第二深度图为多个连续拍摄的图像中的任意两幅相邻图像。以控制周期内的曝光水平由一次第一曝光水平和多次连续的第二曝光水平构成为例，所述第一深度图取一控制周期内的以第一曝光水平所拍摄的深度图，所述第二深度图取该控制周期内与所述第一曝光水平相邻的第二曝光水平所对应的深度图；或者取第二深度图为该控制周期内最后一次第二曝光水平所对应的深度图，取第一深度图为下一控制周期内的第一曝光水平所对应的深度图。
其中，所述第一曝光水平和所述第二曝光水平可通过控制所述深度检测装置具有不同的快门速度得到。快门是可以控制深度检测装置的曝光量的装置。所述深度检测装置在处于相同的照明环境下，快门速度越快，即快门时间越短，进光量越少，曝光水平越低；相反，快门速度越慢，曝光水平越高。所述第一曝光水平和所述第二曝光水平还可以通过控制所述深度检测装置处于不同的照明环境得到。所述深度检测装置在具有相同的快门速度的条件下，所述深度检测装置处于的照明环境越暗，曝光水平越低；相反，所述深度检测装置处于的照明环境越亮，曝光水平越高。所述不同的照明环境可以通过控制所述光发射器具有不同的输出功率来提供。具体地，在其他条件不变的情况下，所述光发射器的输出功率越高，所述深度检测装置处于的照明环境越亮，曝光水平越高；相反，则曝光水平越低。
其中，所述深度检测装置在分别拍摄所述第一深度图和第二深度图时还对应得到第一光强度数据和第二光强度数据。所述第一光强度数据可以是第一光强度图中的数据，所述第二光强度数据可以是第二光强度图中的数据。其中，所述第一深度图中各像素位置的深度数据与第一光强度图中各像素位置的光强度数据一一对应，所述第二深度图中各像素位置的深度数据与第二光强度图中各像素位置的光强度数据一一对应。具体地，所述实际物体空间中的物体测量点在深度图中的像素位置与光强度图中的像素位置相同。例如，实际物理空间对应于室内环境，室内的桌腿与地面接触的一个端点所对应的深度数据在所述深度图中的中心像素位置，则该端点所对应的光强度数据也在光强度图的中心像素位置。其中，所述光强度数据和深度数据与前文所述的相同或相似，在此不再详述。
在步骤s120中，根据所述第一位置和所述第二位置的位置关系，确定第一深度图的像素位置和第二深度图的像素位置之间的对应关系。
请参阅图3，图3显示为本申请的第一位置和第二位置在一实施例中的位置关系示意图。如图所示，所述第一位置a与第二位置b之间的距离为d，虚线为所述移动设备的移动路线，箭头表示所述移动设备在第一位置a的正前方。所述第二位置b与所述第一位置a的连线相对于所述第一位置a的正前方的偏角为θ。其中，所述距离d和偏角θ用来表示所述第一位置和第二位置之间的位置关系。需要说明的是，所述移动设备也可以是在三维空间内的移动，并不限于图3所示的在同一平面内的移动。
在一实施例中，所述移动设备的第一位置a和第二位置b即为所述深度检测装置的第一位置和第二位置。
在另一实施方式中，所述深度检测装置的第一位置和第二位置可以根据所述移动设备的第一位置a和第二位置b以及所述深度检测装置在所述移动设备中的位置来确定。具体地，根据所述移动设备的第一位置a和第二位置b可以确定所述深度检测装置的第一位置与所述深度检测装置的第二位置之间的间距，以及所述深度检测装置的第一位置与所述深度检测装置的第二位置的连线相对于所述第一位置的正前方的偏角。
在一实施例中，所述位置关系是根据获取自该移动设备在第一位置和第二位置间的运动数据所得到的。所述运动数据包括但不限于：速度、加速度、偏角、位移数据等。其中，所述运动数据可由所述移动设备的运动测量装置提供。所述运动测量装置包括但不限于：里程计、加速度计、惯导装置等。例如，所述运动数据可由加速度计等测量加速度的仪器获取。对所述加速度对时间进行积分，能够得到所述移动设备实际的速度、偏角、物理位置等运动数据。当所述移动设备具有移动装置时，所述运动数据还可以包括：所述移动装置的偏转角度和转动次数。所述偏转角度和转动次数可由驱动所述移动装置的驱动电机的驱动数据得到。
在另一实施例中，所述位置关系是根据所述第一位置和第二位置在地图中的地图坐标得到的。其中，所述地图是预先构建的其所处的物理空间的抽象描述。所述移动设备在第一位置和第二位置分别利用摄像装置拍摄第一图像和第二图像。根据与第一位置所对应的第一图像、和与第二位置所对应的第二图像以及所述地图的定位特征可确定所述第一位置与第二位置在地图中的地图坐标，进而可以确定所述第一位置与第二位置在实际物理空间中的位置关系。具体地，根据第一图像中包括的图像特征与所述地图的定位特征相匹配，可确定所述第一位置在地图中的地图坐标。同理，通过定位特征匹配也可以得到所述第二位置在地图中的地图坐标。基于两个位置的地图坐标可以得到在实际物理空间中两个位置的位置关系。
根据所述位置关系即可确定第一深度图的像素位置和第二深度图的像素位置之间的对应关系。
在一实施例中，根据所述第一深度图可计算得到物体测量点的第一点云数据，根据所述第二深度图可计算得到物体测量点的第二点云数据。根据所述位置关系与所述第一点云数据可确定所述物体测量点的第三点云数据，进而根据所述第三点云数据与所述第二点云数据进行匹配，确定所述第一点云数据所对应的物体测量点在第二深度图中的像素位置，进而确定第一深度图的像素位置和第二深度图的像素位置之间的对应关系。其中，每一物体测量点在深度图中均对应有深度数据，即根据深度图可得到与像素位置一一对应的多个物体测量点的点云数据。
请参阅图6，图6显示为一物体测量点m与第一位置和第二位置之间的相对位置关系，如图所示，所述移动设备在同一平面中运动。根据前述确定位置关系的各示例，移动设备已知第一位置c和第二位置d的位置关系包括：所述第一位置c与第二位置d之间的距离为l，所述第二位置d与所述第一位置c的连线相对第一位置c的正前方的偏角为α。在所述第一位置c和第二位置d处，深度检测装置还提供了以不同曝光量所拍摄的两幅深度图，即第一深度图和第二深度图。其中，在第一深度图中一物体测量点m的第一点云数据为x1，根据所述位置关系对该第一深度数据进行坐标转换可计算出在第二位置d处检测所述物体测量点m的第三点云数据
在另一实施例中，仍参见图6，所述移动设备通过匹配两幅光强度图中的图像特征对；并利用在第一位置c所拍摄的第一深度图和第一光强度图中各像素之间的对应关系，以及在第二位置d所拍摄的第二深度图和第二光强度图中各像素之间的对应关系，得到所述图像特征对所对应的同一物体测量点分别在第一深度图和第二深度图中像素位置及其对应关系。
需要说明的是，在本实施例中，选取的是所述移动设备在同一平面中运动的情况，对如何根据所述位置关系确定第一深度图的像素位置和第二深度图的像素位置之间的对应关系进行说明。在其他实施例中，所述移动设备也可以是在不同平面之间运动。
在步骤s130中，根据所述第一光强度数据和/或所述第二光强度数据、光强度条件，分别提取所述第一深度图中的第一深度数据和所述第二深度图中的第二深度数据。
所述光强度条件包括：曝光阈值和基于所述曝光阈值而设置的选取/不选取第一深度图或第二深度图中深度数据的规则。其中，所述曝光阈值包括但不限于以下至少一种：过曝强度阈值、欠曝强度阈值、和用于分割前景和背景的分割阈值。其中，高于所述过曝强度阈值的光强度数据所对应的光强度图部分会出现过曝现象，与所述光强度图部分相应的深度图部分无法测得准确深度值。低于所述欠曝强度阈值的光强度数据所对应的光强度图部分会出现欠曝现象，与所述光强度图部分相应的深度图部分也无法测得准确深度值。深度图或光强度图可根据不同的分割阈值来确定所述深度图和光强度图的前景和背景部分。在此，所述曝光阈值可以是固定值，或通过分析第一光强度图或第二光强度图而确定的。所述曝光阈值还可以根据第一曝光水平和第二曝光水平而设置为至少两个。所述规则包括以下至少一种：为保留深度图中一些区域的深度数据而设置的选取深度数据的规则，和为去除深度图中一些区域的深度数据而设置的不选取深度数据的规则。
以所述光强度条件包含：预设过曝强度阈值、和基于第二光强度图中低于过曝强度阈值光强度数据选取第二深度图中相应第二深度数据的规则，以及包含：预设欠曝强度阈值、和基于第一光强度图中高于欠曝强度阈值光强度数据选取第一深度图中相应第一深度数据的规则为例，其中，第二光强度图的曝光水平高于第一光强度图的曝光水平，移动设备从第一深度图中所提取的第一深度数据包括：基于从第一光强度图中所选取的光强度数据的像素位置而确定的第一深度图中相应像素位置的深度数据；移动设备从第二深度图中所提取的第二深度数据包括：基于从第二光强度图中所选取的光强度数据的像素位置而确定的第二深度图中相应像素位置的深度数据。
以所述光强度条件包含预设的过曝强度阈值、和基于任一光强度图中低于过曝强度阈值光强度数据选取与相应光强度图对应的深度图中的深度数据的规则为例，在所述第二曝光水平强于第一曝光水平时，所述提取的第一深度数据包括：基于从第一光强度图中所选取的光强度数据的像素位置而确定的第一深度图中相应像素位置的深度数据；所述提取的第二深度数据包括：基于从第二光强度图中所选取的光强度数据的像素位置而确定的第二深度图中相应像素位置的深度数据。
需要说明的是，上述各示例中的过曝强度阈值、欠曝强度阈值可以为固定值，或根据第一光强度图和第二光强度图来设置。例如，以第一光强度图和第二光强度图中更接近/位于预设理想曝光范围的一幅光强度图来设置所述过曝强度阈值或欠曝强度阈值。
在又一实施例中，移动设备可选择分析第一光强度图或第二光强度图中物体的轮廓或无法分辨的图像区域边缘，由此获得分割阈值，并利用所获得的分割阈值而设置光强度条件。例如，将第一光强度图分成多个图像块，利用大律法算法确定第一光强度图中各图像块的分割阈值，并按照各图像块的分割阈值设置相应图像块的光强度条件，依据所确定的光强度条件得到第一光强度图中各图像块中选取光强度数据及其像素位置，以获得第一光强度图中的前景部分或背景部分。利用所确定的第一光强度图中保留光强度数据的像素位置，确定对应第一深度图中保留的深度数据。利用所确定的第一深度图中缺失深度数据的像素位置及该像素位置与第二深度图中像素位置的对应关系，确定第二深度图中被保留的第二深度数据。由此可从两幅深度图中分别得到重叠视场区域的前景深度区域和背景深度区域。
需要说明的是，在上述分割阈值示例中，确定分割阈值的方式并非仅限于大律法算法，也可以通过识别物体轮廓、或过曝/欠曝区域轮廓而确定分割阈值。另外，提取第一深度数据和第二深度数据的方式也不限于示例所示，例如利用针对两幅光强度图各自设置的分割阈值而分别提取的第一深度数据和第二深度数据等，其中，所提取的第一深度数据和第二深度数据各自所形成的区域至少轮廓匹配或重叠。在此不一一详述。
根据步骤s130中提取的第一深度数据和第二深度数据以及步骤s120中确定的所述对应关系执行步骤s140。
在步骤s140中，根据所述对应关系，合成所述第一深度数据和所述第二深度数据，以得到新的深度图。
在一实施例中，根据所述第一深度图的像素位置和第二深度图的像素位置之间的对应关系，将所述第二深度数据转换成与第一位置相对应的深度数据，并合成转换后的所述深度数据和所述第一深度数据，以得到新的深度图。具体地，以所述第一深度数据为基准，将物体测量点的第二深度数据转换成与第一位置所对应的深度数据。可基于所述转换后的深度数据和/或第一深度数据得到新的深度图。其中，所述新的深度图中的深度数据包括：基于第一深度数据和所述第二深度数据的重叠区域而选择所述第一深度数据和/或所述第二深度数据、基于第一深度数据和所述第二深度数据无重叠区域时直接选择第一深度数据或第二深度数据。例如，通过比较同一物体测量点的第一光强度数据和第二光强度数据，确定第一光强度数据比较合适，则选择第一深度数据为重叠区域的深度数据。其中，确定一物体测量点的合适的光强度数据可基于所述移动设备的工作环境、物体测量点所对应的物体种类、物体测量点所对应的物体颜色等确定。又如，选择转换后的所述深度数据与第一深度数据的加权和为重叠区域的深度数据。
在一具体实施例中，请再参阅图7，图7中所述物体测量点n既在第一深度图中又在第二深度图中，其在第二深度图中的深度数据为x2，根据所述对应关系可确定所述深度数据x2在第一深度图中的像素位置，进而将所述深度数据x2转换成在该像素位置的深度数据
在另一具体实施例中，物体测量点o只在第一深度数据中，所述第二深度数据中无物体测量点o的深度数据。则可直接将所述物体测量点o的第一深度数据作为物体测量点o在新的深度图中的深度数据。
在又一具体实施例中，物体测量点p只在第二深度数据中，所述第一深度数据中无物体测量点p的深度数据，将所述物体测量点p的第二深度数据转换成第一位置处的深度数据，可直接将所述转换后的深度数据作为物体测量点p在新的深度图中的深度数据。
需要说明的是，在本实施例中，选取的是所述移动设备在同一平面中运动，来对如何将所述第二深度数据转换成与第一位置相对应的深度数据进行说明。在其他实施例中，所述移动设备也可以是在不同平面之间运动。但只要根据所述移动设备的运动数据等信息确定两个位置之间的相对位置关系，就能够将所述第二深度数据转换成与所述第一位置相对应的深度数据。
在又一实施例中，可以根据所述对应关系，将所述第一深度数据转换成与第二位置相对应的深度数据，并合成转换后的所述深度数据和所述第二深度数据，以得到新的深度图。所述合成过程和方式与前一实施例中所述的相同或相似，在此不再详述。
由于，所述第一深度图的各像素位置与第一光强度图的各像素位置一一对应，所述第二深度图的各像素位置与第二光强度图的各像素位置一一对应。所以，本申请的移动设备的图像数据处理方法还包括步骤s210和步骤s220。根据上述两个步骤可给予第一光强度图和第二光强度得到新的无过曝和欠曝现象的高质量的光强度图。
在步骤s210中，提取与所述第一深度数据的像素位置相对应的第三光强度数据和与所述第二深度数据的像素位置相对应的第四光强度数据。
具体地，提取第一光强度数据中与所述第一深度数据的像素位置一一对应的第三光强度数。提取第二光强度数据中与所述第二深度数据的像素位置一一对应的第四光强度数据。
在步骤s220中，根据所述对应关系，合成所述第三光强度数据和所述第四光强度数据，以得到新的光强度图。
具体地，根据所述第一深度图的像素位置和第二深度图的像素位置之间的对应关系，确定所述第三光强度数据与所述第四光强度数据之间的对应关系，进而合成与所述第一深度数据的像素位置相对应的第三光强度数据和与所述第二深度数据的像素位置相对应的第四光强度数据。
在一实施例中，利用图像特征跟踪/匹配方式，确定第一光强度图和第二光强度图中的相匹配的图像特征对，利用图像特征对确定两幅光强度图中重叠视场区域的所有像素位置的对应关系。利用确定的对应关系将两幅光强度图进行匹配。
在又一实施例中，已知物体测量点q在第二深度图中的像素位置、物体测量点q在第二光强度图中的像素位置、以及第一深度图和第二深度图之间像素位置的对应关系，可以确定物体测量点q在第一深度图中的像素位置，进而基于光强度图和深度图的像素位置的一一对应关系，可确定物体测量点q在第一光强度图中的像素位置。
根据所述第一光强度图的像素位置和第二光强度图的像素位置之间的对应关系，合成所述第三光强度数据和所述第四光强度数据，以得到新的光强度图。其中，所述新的光强度图中的深度数据包括：基于第三光强度数据和所述第四光强度数据的重叠区域而选择所述第三光强度数据和/或所述第四光强度数据、基于第三光强度数据和所述第四光强度数据无重叠区域时直接选择第三光强度数据或第四光强度数据。例如，通过比较同一物体测量点的第三光强度数据和第四光强度数据，确定比较合适的光强度数据。其中，可基于所述移动设备的工作环境、物体测量点所对应的物体种类、物体测量点所对应的物体颜色等确定一物体测量点的合适的光强度数据。
在一具体实施例中，请再参阅图7，图7中所述物体测量点n既在第一深度图中又在第二深度图中。所以，所述物体测量点n既在第一光强度图中又在第二光强度图中。在合成新的光强度时，选择第四光强度数据作为物体测量点n在新的光强度图中的光强度数据，或者选择物体测量点n的第三光强度数据作为其在新的光强度图中的光强度数据。也可以直接将第四光强度数据和所述第三光强度数据作加权和后作为物体测量点n在新的光强度图中的光强度数据。
在另一具体实施例中，物体测量点o只在第三光强度数据中，所述第四光强度数据中无物体测量点o的光强度数据。则可直接将所述物体测量点o的第三光强度数据作为物体测量点o在新的光强度图中的光强度数据。
在又一具体实施例中，物体测量点p只在第四光强度数据中，所述第三光强度数据中无物体测量点p的光强度数据，将所述物体测量点p的第四光强度数据作为物体测量点p在新的光强度图中的光强度数据。
请参阅图8，图8显示为本申请的移动设备在一实施例中的硬件结构框图，如图所示，所述移动设备20包括深度检测装置201、存储装置203、处理装置202。本申请的移动设备20可以将移动设备20移动过程中以不同曝光量所拍摄的深度图、光强度图进行合成，从而获得既无过曝和欠曝又有长距离的视野范围的深度图、光强度图。
所述移动设备20是可以在移动过程中执行特定工作的设备。所述移动设备20举例为：手机、移动机器人、具有深度检测装置的机械手臂等。例如，所述移动设备为移动机器人，移动机器人可用在室内或室外，可用于工业、商业或家庭，可用于取代保安巡视、取代迎宾员或点餐员、或取代人们清洁地面，还可用于家庭陪伴、辅助办公等。
所述移动设备20配置有深度检测装置201。所述深度检测装置201用于摄取深度图和光强度数据。以提供本申请的图像数据处理方法中所需的第一深度图及其第一光强度数据和第二深度图及其第二光强度数据。其中，所述第一深度图是所述深度检测装置在第一位置以第一曝光水平拍摄而得的，所述第二深度图是所述深度检测装置在第二位置以第二曝光水平拍摄而得的。所述第一位置、第一曝光水平、第二位置、第二曝光水平与前文所述的相同或相似，在此不再详述。其中，所述深度图中的每一像素的深度数据均对应有光强度数据，所述光强度数据在其光强度图中的像素位置与所述深度数据在深度图中的像素位置一一对应。
在此，所述深度检测装置201包括但不限于：包含有光接收器的摄像装置、集成有光接收器和光发射器的摄像装置(如tof传感器)等。其中，所述光接收器举例为深度测量单元和光传感器。其中，所述深度测量单元包括：面阵列深度测量单元、点阵列深度测量单元，所述深度测量单元包括但不限于：激光雷达传感器、基于飞行时间的深度测量单元、基于结构光技术的深度测量单元等。其中，所述面阵列深度测量单元举例为：光电二极管阵列。所述光传感器举例为：ccd或cmos。所述光发射器举例为：红外发射器(例如红外led阵列)。
其中，所述深度图利用预设像素位置所获取的深度数据表示所拍摄视场范围内的物体图像。每一深度图中各像素位置的深度数据包含：移动设备与物体测量点之间的距离信息，基于各像素点在深度图中的位置可确定所述移动设备与物体测量点之间的角度信息。所述深度图直接反映深度检测装置所拍摄的视场范围内的物体的可见表面的几何形状。根据所述深度图可以得到视场范围内物体的三维空间点云数据。
其中，利用预设像素位置所获取的所述光强度数据可以在光强度图中表示所拍摄视场范围内的物体图像。其中，每一像素位置的光强度数据包含：各物体测量点反射的光能量值，即所述光强度数据表示各物体测量点所对应的亮度值。需要说明的是，同样的亮度值既可以是红色也可以是绿色。亮度值在0至255之间，靠近255的亮度较高，靠近0的亮度较低。例如，所述光强度图为灰度图，则所述光强度数据可用灰度图的灰度数据表示。又如，所述光强度图为彩色图，则所述光强度数据可以是r通道的灰度数据、g通道的灰度数据、或是b通道的灰度数据，也就是彩色图中包含三类灰度数据。其中，深度图或光强度图中的每一像素位置均对应一实际物理空间中的物体测量点。
其中，所述第一曝光水平及第二曝光水平中的一者对应于高曝光，另一者对应于低曝光。具体地，如果所述第一曝光水平为高曝光则所述第二曝光水平为低曝光；如果所述第一曝光水平为低曝光则所述第二曝光水平为高曝光。所述高曝光和低曝光的实际曝光量可根据所述移动设备的工作环境以及所述深度检测装置的焦距等因素来设置。
在一实施例中，所述深度检测装置201中的快门按预设切换频率切换不同的快门速度以提供第一曝光水平和第二曝光水平。所述深度检测装置201在处于相同的照明环境下，快门速度越快，即快门时间越短，进光量越少，曝光水平越低；相反，快门速度越慢，曝光水平越高。
在另一实施例中，所述深度检测装置201中的光发射器按预设切换频率切换不同的照明水平以提供第一曝光水平和第二曝光水平。所述深度检测装置201在具有相同快门速度的条件下，所述不同的曝光水平可以通过控制所述光发射器具有不同的输出功率来实现。具体地，在其他条件不变的情况下，所述光发射器的输出功率越高，所述深度检测装置201处于的照明环境越亮，曝光水平越高；相反，则所述深度检测装置201处于的照明环境越亮暗，曝光水平越低。
所述存储装置203用于存储至少一种程序，所述至少一种程序可供所述处理装置202执行所述移动设备的图像数据处理方法。例如，所述存储装置203还存储有曝光水平的控制策略。其中，所述控制策略用于在所述移动设备运动过程中控制移动设备按照预设频率切换不同的曝光水平以获得不同曝光水平下的深度图。具体地，所述控制策略用于控制移动设备完成曝光水平的周期性变化。例如，一周期内的曝光水平由一次高曝光和一次低曝光构成。又如，一周期内的曝光水平由一次高曝光和多次连续的低曝光构成。再如，一周期内的曝光水平由多次连续的高曝光和一次低曝光构成。所述周期与高曝光和低曝光的曝光水平、所述深度检测装置201拍摄两幅相邻图像的时间间隔等因素有关。
在此，存储装置203包括但不限于：只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、非易失性存储器(nonvolatileram，简称nvram)。例如存储装置203包括闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置203还可以包括远离一个或多个处理装置的存储器，例如，经由rf电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(lan)、广域网(wan)、存储局域网(san)等，或其适当组合。存储装置203还包括存储器控制器，其可控制移动设备的诸如中央处理器(cpu)和接口装置之类或其他组件对存储器的访问控制。
处理装置202与所述深度检测装置201和存储装置203相连，用于调用并执行所述至少一个程序，以协调所述深度检测装置201和存储装置203执行并实现前文所述的移动设备的图像数据处理方法。所述处理装置包括一个或多个通用微处理器、一个或多个专用处理器(asic)、一个或多个数字信号处理器(digitalsignalprocessor，简称dsp)、一个或多个现场可编程逻辑阵列(fieldprogrammablegatearray，简称fpga)、或它们的任何组合。处理装置还与i/o端口和输入结构可操作地耦接，该i/o端口可使得所述移动设备能够与各种其他电子设备进行交互，以所述移动设备为移动机器人为例，所述其他电子设备包括但不限于：所述移动机器人中移动装置中的移动电机，或移动机器人中专用于控制移动装置和清洁装置的从处理器，如微控制单元(microcontrollerunit，简称mcu)。所述处理装置202可操作地与存储装置203执行数据读写操作。处理装置202执行诸如提取图像、提取所述移动设备的运动数据、基于所述运动数据确定所述移动设备在不同位置之间的相对位置关系等。
所述处理装置202可以从集成有光接收器和光发射器的摄像装置获取所述第一深度图和第二深度图。请再参阅图4，其显示为移动设备为自主清洁机器人的一种实施例下的硬件结构示意图。其中移动设备的体侧装配有集成有光接收器和光发射器的摄像装置22。其中，所述摄像装置22还可以设置在移动机器人能够获得行进方向的深度图的其他位置，例如，设置在移动机器人的顶面边缘。处理装置通过接口装置(未予图示)与该集成有光接收器和光发射器的摄像装置22连接，以获得所述深度图。所述移动设备的处理装置还可以从包含有光接收器的摄像装置获取所述第一深度图和第二深度图。请参阅图5，其显示为移动设备为自主清洁机器人的另一种实施例下的硬件结构示意图。其中，所述移动设备的体侧装配有集成有光接收器的摄像装置422，所述移动设备的体侧还设置与所述摄像装置422相连的光发射器421。所述光发射器421的安装位置及其波长等参数均需要与所述摄像装置422中的光接收器相匹配，以使所述光接收器能接收到所述光发射器发射的信号并生成相应的深度图。
在一实施例中，所述移动设备20还包括运动测量装置(未图示)，所述运动测量装置用于提供所述移动设备20的运动数据。所述运动测量装置包括但不限于：里程计、加速度计、惯导装置等。所述运动数据包括但不限于：速度、加速度、偏角、位移数据等。根据所述运动数据可以确定前文中所述的第一位置和第二位置的位置关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
另外，本申请上述的附图中的流程图和系统框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
另外，本申请还公开一种计算机可读存储介质，存储有程序，前述实施例中涉及的计算机程序，如实现本申请所述的移动设备的图像数据处理方法的计算机程序，可以存储在计算机可读存储介质。所述计算机可读写存储介质可以包括只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、u盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
本申请所述的移动设备的图像数据处理方法，可以用硬件、软件、固件或者其任意组合的方式来实现。当用软件实现时，可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本申请所公开的方法的步骤可以用处理器可执行软件模块来体现，其中处理器可执行软件模块可以位于有形、非临时性计算机可读写存储介质上。有形、非临时性计算机可读写存储介质可以是计算机能够存取的任何可用介质。
综上所述，本申请的移动设备的图像数据处理方法，实现用于合成既无过曝又无欠曝的高质量深度图和高质量光强度图。在本申请的方案中，获取所述深度检测装置拍摄的第一深度图及其第一光强度数据和第二深度图及其第二光强度数据；根据所述第一位置和所述第二位置的位置关系，确定所述第一深度图的像素位置和第二深度图的像素位置之间的对应关系；根据第一光强度数据和/或第二光强度数据、光强度条件，分别提取第一深度图中的第一深度数据和所述第二深度图中的第二深度数据；根据所述对应关系，合成所述第一深度数据和所述第二深度数据，以得到新的深度图。本申请的方案可以将移动设备移动过程中以不同曝光量所拍摄的图像进行合成，从而获得既无过曝和欠曝又有长距离的视野范围的图像。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
1.一种移动设备的图像数据处理方法，其特征在于，所述移动设备具有深度检测装置，所述图像数据处理方法包括：
获取所述深度检测装置拍摄的第一深度图及其第一光强度数据和第二深度图及其第二光强度数据；其中，所述第一深度图是所述深度检测装置在第一位置以第一曝光水平拍摄而得的，所述第二深度图是所述深度检测装置在第二位置以第二曝光水平拍摄而得的；
根据所述第一位置和所述第二位置的位置关系，确定第一深度图的像素位置和第二深度图的像素位置之间的对应关系；
根据所述第一光强度数据和/或所述第二光强度数据、光强度条件，分别提取所述第一深度图中的第一深度数据和所述第二深度图中的第二深度数据；
根据所述对应关系，合成所述第一深度数据和所述第二深度数据，以得到新的深度图。
2.根据权利要求1所述的移动设备的图像数据处理方法，其特征在于，所述第一曝光水平及第二曝光水平中的一者对应于高曝光，另一者对应于低曝光。
3.根据权利要求1所述的移动设备的图像数据处理方法，其特征在于，在所述第二曝光水平强于第一曝光水平时，所述提取的第一深度数据包括：从所述第一深度图中选取的去除欠曝深度数据后剩余的深度数据；所述提取的第二深度数据包括：从所述第二深度图中选取的去除过曝深度数据后剩余的深度数据。
4.根据权利要求1或3所述的移动设备的图像数据处理方法，其特征在于，所述深度检测装置在分别拍摄所述第一深度图和第二深度图时对应得到第一光强度图和第二光强度图；其中，所述第一深度图中各像素位置的深度数据与第一光强度图中各像素位置的光强度数据一一对应，所述第二深度图中各像素位置的深度数据与第二光强度图中各像素位置的光强度数据一一对应。
5.根据权利要求4所述的移动设备的图像数据处理方法，其特征在于，所述图像数据处理方法还包括：
提取与所述第一深度数据的像素位置相对应的第三光强度数据和与所述第二深度数据的像素位置相对应的第四光强度数据；
根据所述对应关系，合成所述第三光强度数据和所述第四光强度数据，以得到新的光强度图。
6.根据权利要求3所述的移动设备的图像数据处理方法，其特征在于，所述根据所述对应关系，合成所述第一深度数据和所述第二深度数据，以得到新的深度图，包括以下至少一种：
根据所述对应关系，将所述第二深度数据转换成与第一位置相对应的深度数据，并合成转换后的所述深度数据和所述第一深度数据，以得到新的深度图；或者，
根据所述对应关系，将所述第一深度数据转换成与第二位置相对应的深度数据，并合成转换后的所述深度数据和所述第二深度数据，以得到新的深度图。
7.根据权利要求1所述的移动设备的图像数据处理方法，其特征在于，所述新的深度图中的深度数据包括：基于第一深度数据和所述第二深度数据的重叠区域，而选择所述第一深度数据和/或所述第二深度数据。
8.根据权利要求1所述的移动设备的图像数据处理方法，其特征在于，所述第一深度图和第二深度图为所述移动设备在运动过程中按照预设切换频率分别以第一曝光水平和第二曝光水平所拍摄得到的。
9.根据权利要求1或8所述的移动设备的图像数据处理方法，其特征在于，所述第一深度图和第二深度图为多个连续拍摄的图像中的任意两幅相邻图像。
10.根据权利要求1或8所述的移动设备的图像数据处理方法，其特征在于，所述第一曝光水平和所述第二曝光水平是通过控制所述深度检测装置具有不同的快门速度得到的。
11.根据权利要求1或8所述的移动设备的图像数据处理方法，其特征在于，所述第一曝光水平和所述第二曝光水平是通过控制所述深度检测装置处于不同的照明环境得到的。
12.根据权利要求1所述的移动设备的图像数据处理方法，其特征在于，所述位置关系是根据获取自该移动设备在第一位置和第二位置间的运动数据所得到的。
13.一种移动设备，其特征在于，包括：
深度检测装置，用于摄取深度图和光强度数据；
存储装置，用于存储至少一种程序；
处理装置，与所述深度检测装置和存储装置相连，用于调用并执行所述至少一个程序，以协调所述深度检测装置和存储装置执行并实现如权利要求1-12中任一所述的图像数据处理方法。
14.根据权利要求13所述的移动设备，其特征在于，所述移动设备还包括运动测量装置，用于提供所述移动设备的运动数据。
15.根据权利要求13所述的移动设备，其特征在于，包括：所述深度检测装置中的快门按预设切换频率切换不同的快门速度以提供第一曝光水平和第二曝光水平。
16.根据权利要求13所述的移动设备，其特征在于，包括：所述深度检测装置中的光发射器按预设切换频率切换不同的照明水平以提供第一曝光水平和第二曝光水平。
17.一种移动设备的控制系统，其特征在于，所述移动设备装配有深度检测装置，所述控制系统包括：
接口装置，用于接收自所述深度检测装置所摄取的深度图和光强度数据；
存储装置，用于存储至少一种程序；
处理装置，与所述接口装置和存储装置相连，用于调用并执行所述至少一种程序，以协调所述接口装置、存储装置和深度检测装置执行并实现如权利要求1-12中任一所述的图像数据处理方法。
18.一种计算机可读存储介质，其特征在于，存储至少一种程序，所述至少一种程序在被调用时执行并实现如权利要求1-12中任一所述的图像数据处理方法。
技术总结