图像处理方法、装置、存储介质及电子设备与流程

专利2022-06-29  108


本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。



背景技术:

图像处理技术中经常使用到图像虚化。例如,在进行图像处理时,电子设备可以对图像的背景进行虚化处理,从而可以得到突出拍摄主体的效果。主体突出、背景虚化的图像具有很强的表现力。



技术实现要素:

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以提高视频图像的虚化效果。

第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备至少包括第一摄像头和第二摄像头,所述方法包括:

利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;

对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;

利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;

将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;

将所述目标图像保存为视频帧,以得到目标视频。

第二方面,本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备至少包括第一摄像头和第二摄像头,所述装置包括:

第一获取模块,用于利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;

图像分割模块,用于对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;

第二获取模块,用于利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;

图像融合模块,用于将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;

保存模块,用于将所述目标图像保存为视频帧,以得到目标视频。

第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法中的流程。

第四方面,本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法中的流程。

在本申请实施例中,由于用于进行融合的第二图像是拍摄主体失焦的图像,因此第二图像中的模糊虚化是真实的、自然的模糊虚化,而不是模拟生成的虚化。因此,相比于相关技术中直接在一张原图像上模拟生成虚化效果的方案,本申请实施例提供的图像处理方法可以得到具有真实虚化效果的图像,而利用该具有真实虚化效果的图像生成的视频图像也具有真实的虚化效果,即提高了视频图像的虚化效果和成像质量。

附图说明

下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理方法的第一种流程示意图。

图2是本申请实施例提供的图像处理方法的第二种流程示意图。

图3是本申请实施例提供的图像处理方法的第三种流程示意图。

图4至图7是本申请实施例提供的图像处理方法的场景示意图。

图8是本申请实施例提供的图像处理装置的结构示意图。

图9是本申请实施例提供的电子设备的结构示意图。

图10是本申请实施例提供的图像处理电路的结构示意图。

具体实施方式

请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等具有摄像头的电子设备。

请参阅图1,图1是本申请实施例提供的图像处理方法的第一种流程示意图。该图像处理方法可以应用于电子设备中,该电子设备可以至少包括第一摄像头和第二摄像头。该图像处理方法的流程可以包括:

101、利用第一摄像头,获取拍摄主体成像清晰的第一图像。

图像处理技术中经常使用到图像虚化。例如,在进行图像处理时,电子设备可以对图像的背景进行虚化处理,从而可以得到突出拍摄主体的效果。主体突出、背景虚化的图像具有很强的表现力。相关技术中,在人物拍摄、微距拍摄等拍摄场景下,经常需要使用到图像虚化处理。然而,相关技术中,图像虚化的效果较差。以背景虚化为例,在相关技术中,一般是拍摄一张图像,然后从该图像中分割出拍摄主体,并对拍摄主体以外的背景区域进行模糊虚化处理。因此,相关技术中的虚化处理是在原图像上模拟生成的,不够真实、自然,导致其虚化效果较差。

在本申请实施例中,以电子设备具有两个摄像头为例进行说明。当然,在其它实施方式中,电子设备也可以具有多于两个的摄像头,如三个摄像头或者四个摄像头等,本实施例对此不做具体限定。

比如,电子设备可以先利用第一摄像头获取拍摄主体(如人物等)成像清晰的第一图像。即,在第一图像上拍摄主体是成像清晰的。

102、对第一图像进行图像分割,分割得到主体图像,该主体图像为该第一图像中对应于拍摄主体的图像区域。

比如,在获取到第一图像后,电子设备可以从第一图像中分割出主体图像,其中该主体图像即为该第一图像中对应于拍摄主体的图像区域的图像。

例如,拍摄主体为人物,那么电子设备可以从第一图像中分割出人体的图像。

103、利用第二摄像头,获取第二图像,该第二图像中拍摄主体失焦。

比如,电子设备还可以利用第二摄像头拍摄得到第二图像,其中在该第二图像中拍摄主体失焦。也即,在第二图像中拍摄主体是模糊的。

104、将主体图像和第二图像进行图像融合处理,得到目标图像。

比如,在从第一图像中分割出主体图像,并利用第二摄像头拍摄得到主体失焦的第二图像后,电子设备可以将该主体图像和该第二图像融合,从而得到目标图像。

可以理解的是,由于用于融合的主体图像是拍摄主体的清晰成像,因此目标图像中的拍摄主体也是成像清晰的。并且,由于第二图像中拍摄主体失焦导致拍摄主体外的其它区域也成像模糊,因此目标图像中除拍摄主体外的其它区域是呈模糊虚化状态的。

105、将目标图像保存为视频帧,以得到目标视频。

比如,在得到目标图像后,电子设备可以将该目标图像作为一帧视频帧图像保存起来。可以理解的是,通过保存起来的多帧不同的视频帧即可以生成一段视频,从而得到目标视频。该目标视频中的每一帧图像都可以是通过本申请实施例提供的图像处理方法处理得到的具有真实的虚化效果的图像,从而使得该目标视频的图像具有真实的虚化效果。

可以理解的是,在本申请实施例中,由于用于进行融合的第二图像是拍摄主体失焦的图像,因此第二图像中的模糊虚化是真实的、自然的模糊虚化,而不是模拟生成的虚化。因此,相比于相关技术中直接在一张原图像上模拟生成虚化效果的方案,本申请实施例提供的图像处理方法可以得到具有真实虚化效果的图像,而利用该具有真实虚化效果的图像生成的视频图像也具有真实的虚化效果,即提高了视频图像的虚化效果和成像质量。

请参阅图2,图2为本申请实施例提供的图像处理方法的第二种流程示意图。该图像处理方法可以应用于电子设备中,该电子设备可以至少包括第一摄像头和第二摄像头。

当拍摄场景中存在灯光时,若对灯光所在的区域进行虚化处理,则灯光会变为光斑。光斑可以让图像具有朦胧感,从而使得图像具有更好的表现力。然而,相关技术中,一般都是拍摄一张图像,然后在这张图像上利用算法对灯光所在的非主体区域进行模糊虚化处理,从而生成光斑。因此,相关技术中,光斑都是在原始图像上模拟生成的,这种模拟生成的光斑其成像效果不真实、不自然。

本申请实施例提供的图像处理方法,可以得到具有真实、自然的光斑的视频。本申请实施例提供的图像处理方法的流程可以包括:

201、电子设备利用第一摄像头获取拍摄主体成像清晰的第一图像,该第一图像对应的拍摄场景中存在灯光。

比如,电子设备可以利用第一摄像头获取拍摄主体具有清晰成像的第一图像。其中,第一图像对应的拍摄场景中存在灯光。

在一种实施方式中,第一摄像头可以为电子设备的主摄像头。

202、电子设备对第一图像进行图像分割,分割得到主体图像,该主体图像为该第一图像中对应于拍摄主体的图像区域。

比如,在拍摄得到拍摄主体具有清晰成像的第一图像后,电子设备可以利用预设的图像分割算法对第一图像进行图像分割,以从该第一图像中分割出主体图像。其中,该主体图像为第一图像中对应于拍摄主体的图像区域的图像。

需要说明的是,图像分割就是把图像分成若干个特定的、具有独特性质的区域。在一些实施方式中,本实施例可以采用如下方式来对图像进行分割:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看,图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程,即把属于同一区域的像素赋予相同的编号。

203、电子设备将第一摄像头拍摄第一图像时该第一摄像头的镜头所在的位置确定为第一位置。

204、电子设备检测拍摄主体与第一摄像头的距离。

比如,203和204可以包括:

本实施例中,电子设备可以将第一摄像头拍摄第一图像时该第一摄像头的镜头所在的位置确定为第一位置。

之后,电子设备可以检测拍摄主体与第一摄像头的距离。

若拍摄主体与第一摄像头的距离小于预设阈值,那么可以认为拍摄主体在近处。此时,进入205的流程。

若拍摄主体与第一摄像头的距离大于或等于预设阈值,那么可以认为拍摄主体在远处。此时,进入207的流程。

在一种实施方式中,电子设备可以根据第一摄像头拍摄第一图像时该第一摄像头的镜头所在的第一位置来检测拍摄主体与第一摄像头的距离。

需要说明的是,电子设备中控制镜头对焦的器件为音圈马达(vcm)。音圈马达可以将电流转化为机械力,它的定位和力的控制都是由外部的控制器决定的。电子设备中的音圈马达有一对应的音圈马达驱动电路(vcmdriveric)。音圈马达驱动电路可以精准的控制音圈马达内的线圈的移动距离和方向,从而带动镜头的移动以达到对焦效果。

音圈马达基于安培定理工作,即当音圈马达内的线圈导电时,其中的电流产生的作用力推动固定在载体上的镜头移动,从而改变对焦距离。可以看到,音圈马达对于对焦距离的控制实际上是通过对线圈中电流的控制来实现的。简单来说就是音圈马达驱动电路提供“电流”这个源动力,电流供给音圈马达的线圈后,利用音圈马达内的磁场,产生推动线圈(镜头)的力量。

音圈马达驱动电路实际上是一个带控制算法的dac电路。它可以将i2c总线上传来的包含数字位置信息的daccode值转换成对应的输出电流(daccode值对应的输出电流);再通过音圈马达器件将输出电流转化为对焦距离。不同的输出电流经过音圈电机形成回路,产生不同的安培力,该力推动音圈马达上面的镜头运动。因此,在对焦完成后摄像头会停留在对焦清晰的位置,该对焦清晰的位置有一个对应的数模转换代码值(daccode)。

如前所述,镜头被驱动到不同的位置时会对应不同的daccode值。而当拍摄主体与第一摄像头的距离不同时,为了清晰成像,镜头会被驱动到不同的位置。因此,可以根据拍摄主体清晰成像时镜头所在的位置来检测拍摄主体与第一摄像头的距离。

例如,第一摄像头的daccode值的取值范围为[s1,s3],s2大于s1且小于s3。电子设备可以预先设定当daccode值的当前数值位于[s1,s2]的范围内时,表示拍摄主体与第一摄像头的距离大于或等于预设阈值,即此时拍摄主体在远处。当daccode值的当前数值位于(s2,s3]的范围内时,表示拍摄主体与第一摄像头的距离小于预设阈值,即此时拍摄主体在近处。

当然,电子设备还可以采用其它方式来检测拍摄主体与第一摄像头的距离,从而判断出拍摄主体在近处还是远处。例如,电子设备可以根据向外发出激光探测信号与接收到返回的激光信号的时间差来计算拍摄主体与第一摄像头的距离,从而判断拍摄主体在近处或远处,等等。

205、在拍摄主体与第一摄像头的距离小于预设阈值时,电子设备根据预设第一策略从多个镜头位置中选择对应的镜头位置作为第一摄像头的镜头的第二位置,其中,在第一摄像头的镜头在第二位置处时与图像传感器的距离大于第一摄像头的镜头在第一位置处时与图像传感器的距离。

206、根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备将第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,第一摄像头的镜头所在的第二位置与第二摄像头的镜头所在的第三位置相对应。

比如,205和206可以包括:

电子设备检测到拍摄主体与第一摄像头的距离小于预设阈值,即拍摄主体在近处。在这种情况下,电子设备可以根据预设第一策略从多个镜头位置中选择对应的镜头位置作为第一摄像头的镜头的第二位置,其中,在该第一摄像头的镜头在该第二位置处时镜头与图像传感器的距离大于该第一摄像头的镜头在第一位置处时镜头与图像传感器的距离。之后,根据预设的第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备可以将第二摄像头的镜头驱动至第三位置,并当第二摄像头的镜头移动至该第三位置时,电子设备可以拍摄第二图像。其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第二位置与该第二摄像头的镜头所在的该第三位置相对应。例如,当第一摄像头和第二摄像头为相同规格的摄像头时,第一摄像头的镜头在第二位置处时该第一摄像头对应的daccode值与第二摄像头的镜头在第三位置处时该第二摄像头对应的daccode值相同。

在一些实施方式中,预设第一策略可以为随机地选择一个镜头位置作为第一摄像头的镜头的第二位置,只要在该第一摄像头的镜头在该第二位置处时镜头与图像传感器的距离大于该第一摄像头的镜头在第一位置处时镜头与图像传感器的距离即可。

需要说明的是,由于第一摄像头的镜头在第二位置时与(第一摄像头的)图像传感器的距离大于第一摄像头的镜头在第一位置时与(第一摄像头的)图像传感器的距离,因此相比拍摄主体所在的位置,第二摄像头的镜头在第三位置时拍摄的第二图像可以清晰成像更近处的景象,这样就可以使得第二摄像头拍摄得到的第二图像中拍摄主体失焦,即拍摄主体是模糊的。同时,在第二图像中背景区域的景象也是模糊的。也即,此时第二图像属于远焦虚焦。此时,第二图像中可以形成拍摄场景中的灯光的光斑。该光斑由于是经过上述远焦虚焦而自然形成的,因此该光斑是真实生成的光斑。

在一种实施方式中,在第一摄像头的镜头在第二位置处时镜头与图像传感器的距离大于该第一摄像头的镜头在其它任一位置处时镜头与图像传感器的距离。即,在第一摄像头中上述第二位置与(第一摄像头的)图像传感器的距离可以大于其它任一镜头位置与(第一摄像头的)图像传感器的距离。即,第三位置为第二摄像头的镜头被驱动到最外侧的位置。在这种情况下拍摄得到的第二图像中背景区域的物体的虚化效果最好。此时,拍摄场景中的灯光在第二图像中可以形成虚化效果最好的光斑。

207、在拍摄主体与第一摄像头的距离大于或等于预设阈值时,电子设备根据预设第二策略从多个镜头位置中选择对应的镜头位置作为该第一摄像头的镜头的第四位置,其中,在该第一摄像头的镜头在该第四位置处时与图像传感器的距离小于该第一摄像头的镜头在该第一位置处时与图像传感器的距离。

208、根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备将该第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在该第一摄像头的镜头位置与该第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第四位置与该第二摄像头的镜头所在的第五位置相对应。

比如,207和208可以包括:

电子设备检测到拍摄主体与第一摄像头的距离大于或等于预设阈值,即拍摄主体在远处。在这种情况下,电子设备可以根据预设第二策略从多个镜头位置中选择对应的镜头位置作为该第一摄像头的镜头的第四位置,其中,在该第一摄像头的镜头在该第四位置处时镜头与图像传感器的距离小于该第一摄像头的镜头在第一位置处时镜头与图像传感器的距离。之后,根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备可以将第二摄像头的镜头驱动至第五位置,并当第二摄像头的镜头移动至该第五位置时,电子设备可以拍摄第二图像。其中,在该第一摄像头的镜头位置与该第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第四位置与该第二摄像头所在的该第五位置相对应。例如,当第一摄像头和第二摄像头为相同规格的摄像头时,第一摄像头的镜头在第四位置处时该第一摄像头对应的daccode值与第二摄像头的镜头在第五位置时该第二摄像头对应的daccode值相同。

在一些实施方式中,预设第二策略可以为随机地选择一个镜头位置作为该第一摄像头的镜头的第四位置,只要在该第一摄像头的镜头在该第四位置处时镜头与图像传感器的距离小于该第一摄像头的镜头在第一位置处时镜头与图像传感器的距离即可。

需要说明的是,由于第一摄像头的镜头位于第四位置时与(第一摄像头的)图像传感器的距离小于第一摄像头的镜头位于第一位置时与(第一摄像头)图像传感器的距离,因此相比拍摄主体所在的位置,第二摄像头的镜头在第五位置时拍摄的第二图像对焦到了更远处的景象,这样就可以使得第二摄像头拍摄得到的第二图像中拍摄主体失焦,即拍摄主体是模糊的。同时,第二图像中的前景区域也是模糊的。也即,此时第二图像属于近焦虚焦。此时,第二图像中可以形成拍摄场景中的灯光的光斑,该光斑由于是经过上述近焦虚焦而自然形成的,因此该光斑是真实生成的光斑。

在一种实施方式中,在第一摄像头的镜头在第四位置处时镜头与图像传感器的距离小于该第一摄像头的镜头在其它任一位置处时镜头与图像传感器的距离。即,在第一摄像头中上述第四位置与(第一摄像头的)图像传感器的距离可以小于其它任一镜头位置与(第一摄像头的)图像传感器的距离。即,在第五位置时第二摄像头的镜头被驱动到最内侧的位置。在这种情况下拍摄得到的第二图像中前景区域的物体的虚化效果最好。此时,拍摄场景中的灯光在第二图像中可以形成虚化效果最好的光斑。

209、根据第一图像和第二图像,电子设备计算失焦系数。

210、根据失焦系数,电子设备调整第二图像的比例,得到调整比例后的第二图像。

比如,209和210可以包括:

在拍摄得到主体失焦的第二图像后,电子设备可以根据第一图像和第二图像计算失焦系数。

需要说明的是,本实施例中,失焦系数可以指第二图像中的物体相对于第一图像中的物体的放大(形变)倍数。由于第二图像中拍摄主体失焦,因此第二图像中的物体变模糊了,而模糊会使物体发生形变,即变大。因此,第二图像中的物体相对于第一图像中的物体被放大了。例如,第一图像中的某个灯光构成的区域的直径为15个像素,而第二图像中该灯光失焦后形成的光斑的直径为30个像素,那么表明第二图像中的物体相对于第一图像中的物体放大了2倍。

为了让第一图像和第二图像能够保持比例一致,从而利于图像融合。本实施例可以根据计算得到的失焦系数调整第二图像的比例,得到调整比例后的第二图像。例如,第二图像中的物体相对于第一图像中的物体放大了2倍,那么需要在图像融合前,需要把第二图像缩小至原来图像尺寸的二分之一。

211、电子设备将主体图像和调整比例后的第二图像进行图像融合处理,得到目标图像,该目标图像中的拍摄主体成像清晰且除该拍摄主体外的其它区域虚化。

比如,在得到调整比例后的第二图像后,电子设备可以将主体图像和调整比例后的第二图像进行图像融合处理,从而得到目标图像。其中,该目标图像中的拍摄主体成像清晰,并且该目标图像中除了该拍摄主体外的其它区域为虚化效果。

可以理解的是,本实施例可以生成真实自然的光斑,并将真实的光斑融合到目标图像中,因此,目标图像中的光斑也是真实自然的,从而提高了图像的成像质量。

可以理解的是,由于用于融合的主体图像是拍摄主体的清晰成像,因此目标图像中的拍摄主体也是成像清晰的。并且,由于第二图像中拍摄主体失焦导致拍摄主体外的其它区域成像模糊,因此目标图像中除拍摄主体外的其它区域是呈模糊虚化状态的。

212、电子设备将目标图像保存为视频帧,以得到目标视频。

比如,在得到目标图像后,电子设备可以将该目标图像作为一帧视频帧图像保存起来。可以理解的是,通过保存起来的多帧不同的视频帧即可以生成一段视频,从而得到目标视频。该目标视频中的每一帧图像都可以是通过本申请实施例提供的图像处理方法处理得到的具有真实的虚化效果的图像,从而使得该目标视频的图像具有真实的虚化效果。

可以理解的是,在本申请实施例中,由于用于进行融合的第二图像是拍摄主体失焦的图像,因此第二图像中的模糊虚化是真实的模糊虚化,而不是模拟生成的虚化。因此,相比于相关技术中直接在一张原图像上模拟生成虚化效果的方案,本申请实施例提供的图像处理方法可以得到具有真实虚化效果的图像,而利用该具有真实虚化效果的图像生成的视频图像也具有真实的虚化效果,即提高了视频图像的虚化效果和成像质量。

在另一种实施方式中,电子设备也可以先检测拍摄场景中是否存在灯光,若拍摄场景中存在灯光,那么可以使用本申请提供的图像处理方法来得到具有真实光斑的图像。比如,电子设备可以通过场景识别的方式来检测拍摄场景中是否存在灯光。例如,这种场景识别的方式可以是基于人工智能技术实现的场景识别。

除了通过场景识别的方式来检测拍摄场景中是否存在灯光外,本实施例还可以通过如下方式来检测拍摄场景中是否存在灯光,并在检测到拍摄场景中存在灯光时,利用本实施例提供的图像处理方法来得到具有真实光斑的图像:例如电子设备可以先利用第一摄像头获取拍摄主体具有清晰成像的第一图像。之后,电子设备可以获取第一图像的亮度分布信息,并根据该第一图像的亮度分布信息来检测第一图像中亮度值大于预设亮度阈值的像素点数量是否大于预设数值。若检测到第一图像中亮度值大于预设亮度阈值的像素点数量大于预设数值,则可以认为第一图像中存在过曝区域,而该过曝区域很可能是灯或光形成的。在这种情况下,可以认为拍摄场景中存在灯光,并需要利用本实施例提供的图像处理方法来得到具有真实光斑的目标图像。

在一种实施方式中,第一图像的亮度分布信息可以是第一图像的亮度直方图。

在其它实施方式中,由于电子设备具有至少两个摄像头,因此电子设备还可以通过如下方式来利用第一摄像头和第二摄像头来获取第一图像的深度信息,再根据该深度信息对第一图像进行图像分割,从而分割出拍摄主体的图像:

电子设备将第一摄像头拍摄第一图像时该第一摄像头的镜头所在的位置确定为第一位置;

根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备将该第二摄像头的镜头驱动至第六位置,并拍摄第三图像,其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第一位置与该第二摄像头的镜头所在的第六位置相对应;

电子设备获取第一图像和第三图像的视差信息,并根据该视差信息计算该第一图像的深度信息。

比如,在拍摄得到第一图像后,电子设备可以利用第二摄像头获取第三图像,并获取该第一图像和该第三图像的视差信息,以及根据该视差信息计算该第一图像的深度信息。

例如,电子设备可以获取第一摄像头拍摄第一图像时该第一摄像头的所在的位置,并将该位置确定为第一位置。之后,电子设备可以根据预设的第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,将该第二摄像头的镜头驱动至第六位置,并在第二摄像头的镜头位于该第六位置时拍摄第三图像。其中,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,该第一摄像头的镜头所在的第一位置与该第二摄像头的镜头所在的第六位置相对应。

例如,第一摄像头和第二摄像头为相同规格的摄像头。当第一摄像头的镜头位于上述第一位置时,电子设备可以获取此时第一摄像头对应的第一数模转换代码值(daccode)。然后,电子设备可以根据该第一数模转换代码值来驱动第二摄像头的镜头移动至第六位置。可以理解的是,由于第六位置对应的daccode值与第一位置对应的daccode值是同一个数值,因此第二摄像的镜头所在的第六位置和第一摄像头的镜头所在的第一位置是相对应的。

在获取到第三图像后,电子设备可以获取第一图像和第三图像的视差信息,并根据该视差信息计算该第一图像的深度信息。

在计算得到第一图像的深度信息后,电子设备即可根据该深度信息从第一图像中分割出主体图像。

在本申请中,除了利用第一摄像头和第二摄像头拍摄的图像的视差信息来计算第一图像的深度信息外,在另一些实施方式中,电子设备的第二摄像头也可以是深感摄像头,例如第二摄像头可以为tof摄像头或者3d结构光摄像头。那么,电子设备可以根据该第二摄像头获取到第一图像的深度信息,进而根据第一图像的深度信息对该第一图像进行分割,得到关于拍摄主体的主体图像。

需要说明的是,tof(timeofflight,飞行时间)摄像头主要由红外光投射器和接收模组构成。tof摄像头的投射器可以向外投射红外光,该红外光遇到被测物体后反射,并被tof摄像头的接收模组接收,通过记录红外光从发射到被接收的时间可以计算出被照物体的深度信息,并完成3d建模。即,利用tof摄像头可以获取到被拍物体的深度信息。

而3d结构光技术的基本原理是通过近红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因被拍摄物体的不同深度区域,而采集不同的图像相位信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结构。简单来说就是,通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。即,3d结构光摄像头通过利用点阵投影仪向外投射多个光斑到被拍物体,以红外摄像头拍摄被拍摄物体的三维光图像,再经由处理系统计算出被拍摄物体的深度信息。

需要说明的是,在本申请中,基于第一摄像头和第二摄像头拍摄得到的图像的视差信息来计算第一图像的深度信息的方式,其硬件成本较低,计算简单,可以快速计算出第一图像的深度信息,从而提高从第一图像中分割出主体图像的速度。而若电子设备中的第二摄像头为tof摄像头,那么由于tof摄像头的识别距离较远,因此当拍摄主体距离摄像头较远时,利用tof摄像头可以较为准确地计算得到第一图像的深度信息,从而提高从第一图像中分割出主体图像的精度。若电子设备中的第二摄像头为3d结构光摄像头,那么由于3d结构光摄像头的识别精度较高,因此利用3d结构光摄像头可以提高计算第一图像的深度信息的精度,从而提高从第一图像中分割出主体图像的精度。

请参阅图3,图3是本申请实施例提供的图像处理方法的第三种流程示意图。该图像处理方法可以应用于电子设备中,该电子设备可以至少包括第一摄像头和第二摄像头。该图像处理方法的流程可以包括:

301、视频通话时,在电子设备所在的视频通话侧,当该电子设备检测到多个人脸图像时,该电子设备提示是否进入隐私视频通话模式,其中,该隐私视频通话模式表示在该电子设备所在的视频通话侧仅为使用该电子设备的当前用户提供成像清晰的视频通话。

比如,本实施例提供的图像处理方法可以应用于视频通话的场景。在进行视频通话时,在电子设备所在的视频通话一侧,在该电子设备检测到多个人脸图像时,即电子设备的视频通话画面中存在多个人脸图像,可以认为当前场景中有多个人存在。此时,该电子设备可以提示用户是否进入隐私视频通话模式。其中,该隐私视频通话模式表示在该电子设备所在的视频通话侧仅为使用该电子设备的当前用户提供成像清晰的视频通话。

如果用户选择不进入隐私视频通话模式,那么电子设备可以执行其它操作。

如果用户选择进入隐私视频通话模式,那么可以进入302中。

302、在接收到用于指示进入隐私视频通话模式的指令时,电子设备获取使用该电子设备的当前用户的身份验证信息。

比如,用户选择进入隐私视频通话模式,那么电子设备在接收到用户发出的用于指示进入隐私视频通话模式的指令时,该电子设备可以获取使用该电子设备的当前用户的身份验证信息。

在一种实施方式中,上述在接收到用于指示进入隐私视频通话模式的指令时获取当前用户的身份验证信息的流程,可以包括:

在接收到用于指示进入隐私视频通话模式的语音指令时,电子设备获取当前用户的身份验证信息,该身份验证信息为该当前用户的声纹信息。

比如,由于是在进行视频通话的场景,因此用户可以通过语音控制的方式来发送用于指示进入隐私视频通话模式的语音指令。当接收到该语音指令时,电子设备可以从语音中提取当前用户的声纹信息,并将该声纹信息确定为当前用户的身份验证信息。

需要说明的是,声纹信息指声纹特征,每个人的声纹特征都是不一样的,因此可以将声纹信息用作身份验证信息。

可以理解的是,本实施例中,电子设备可以在视频通话的场景下提取当前用户的声纹信息作为身份验证信息,这种方式可以使得用户不需要额外输入其它身份验证信息,操作方式简单有效,可以提高用户体验。

在另一些实施方式中,该身份验证信息还可以是用户的指纹信息或者密码信息等可以用于识别用户身份的信息。

303、根据预设的身份验证信息与人脸图像的映射关系,电子设备获取与当前用户的身份验证信息对应的目标人脸图像。

304、电子设备将拍摄场景中目标人脸图像对应的用户确定为进行视频通话的拍摄主体。

比如,303和304可以包括:

在获取到当前用户的身份验证信息后,电子设备可以根据预设的身份验证信息与人脸图像的映射关系,获取与当前用户的身份验证信息对应的目标人脸图像,并将拍摄场景中目标人脸图像对应的用户确定为进行视频通话的拍摄主体。

因此,在本申请实施例中,电子设备可以视频通话的场景下自动识别出拍摄主体。

305、利用第一摄像头,电子设备获取拍摄主体成像清晰的第一图像,该第一图像为由该第一摄像头获取的用于视频通话的视频图像数据流中的一帧图像。

比如,在确定出拍摄主体后,电子设备可以利用第一摄像头获取拍摄主体具有清晰成像的第一图像。其中,该第一图像为由该第一摄像头获取的用于视频通话的视频图像数据流中的一帧图像。

306、电子设备对第一图像进行图像分割,分割得到主体图像,该主体图像为第一图像中对应于拍摄主体的图像区域。

比如,在拍摄得到拍摄主体具有清晰成像的第一图像后,电子设备可以对第一图像进行图像分割,以从该第一图像中分割出主体图像。其中,该主体图像为第一图像中对应于拍摄主体的图像区域的图像。

307、利用第二摄像头,电子设备获取第二图像,该第二图像中拍摄主体失焦,该第二图像为由该第二摄像头获取的用于视频通话的视频图像数据流中的一帧图像。

比如,电子设备还可以利用第二摄像头拍摄得到第二图像,其中在该第二图像中拍摄主体失焦。也即,在第二图像中拍摄主体是模糊的。其中,该第二图像为由该第二摄像头获取的用于视频通话的视频图像数据流中的一帧图像。

308、电子设备将主体图像和第二图像进行图像融合处理得到目标图像。

比如,在从第一图像中分割出主体图像,并利用第二摄像头拍摄得到主体失焦的第二图像后,电子设备可以将该主体图像和该第二图像融合,从而得到目标图像。

可以理解的是,由于用于融合的主体图像是拍摄主体的清晰成像,因此目标图像中的拍摄主体也是成像清晰的。并且,由于第二图像中拍摄主体失焦导致拍摄主体外的其它区域也成像模糊,因此目标图像中除拍摄主体外的其它区域是呈模糊虚化状态的,尤其是场景中的其它人(即非拍摄主体)成像模糊虚化。

在一些实施方式中,电子设备将主体图像和第二图像进行融合处理得到目标图像的流程,可以包括:

电子设备将第二图像中对应于拍摄主体的区域确定为目标区域,该目标区域的图像与主体图像相匹配;

电子设备将第二图像中的目标区域的图像替换为主体图像,并将完成图像替换后的第二图像确定为目标图像。

比如,电子设备可以先从第二图像中确定出对应于拍摄主体的区域,并将该区域确定为目标区域,该目标区域的图像和从第一图像中分割出来的主体图像是相匹配的。例如,电子设备可以将主体图像和第二图像进行图像对齐(匹配),在图像对齐后电子设备可以将第二图像中对应于该主体图像的区域确定为目标区域。

在确定出目标区域后,电子设备可以将第二图像中的目标区域的图像直接用主体图像替换掉,并将完成图像替换后的第二图像确定为目标图像,从而完成第二图像和主体图像的融合处理。

可以理解的是,上述利用图像直接替换的方式完成的第二图像和主体图像的融合处理,最终得到的目标图像中关于拍摄主体的图像的清晰度较好,因为目标图像中拍摄主体部分的图像是第一图像中成像很清晰的拍摄主体的图像。

或者,在另一种实施方式中,电子设备将主体图像和第二图像进行融合处理得到目标图像的流程,也可以包括:

电子设备将第二图像中对应于拍摄主体的区域确定为目标区域,该目标区域的图像与主体图像相匹配;

电子设备将第二图像中的目标区域的图像与主体图像进行图像融合处理,并将融合完成后的图像确定为目标图像。

比如,电子设备可以先从第二图像中确定出对应于拍摄主体的区域,并将该区域确定为目标区域,该目标区域的图像和从第一图像中分割出来的主体图像是相匹配的。例如,电子设备可以将主体图像和第二图像进行图像对齐(匹配),在图像对齐后电子设备可以将第二图像中对应于该主体图像的区域确定为目标区域。

在确定出目标区域后,电子设备可以将第二图像中的该目标区域的图像与主体图像进行图像像素融合处理,并将融合完成后的图像确定为目标图像。

可以理解的是,上述采用将第二图像中的目标区域的图像与主体图像进行图像像素融合处理的方式得到的目标图像中关于拍摄主体区域的图像和第二图像整体的融合度较好。

309、电子设备将目标图像保存为视频帧,以得到目标视频。

比如,在得到目标图像后,电子设备可以将该目标图像作为一帧视频帧图像保存起来。可以理解的是,通过保存起来的多帧不同的视频帧即可以生成一段视频,从而得到目标视频。该目标视频中的每一帧图像都可以是通过本申请实施例提供的图像处理方法处理得到的具有真实的虚化效果的图像,从而使得该目标视频的图像具有真实的虚化效果。

可以理解的是,本实施例中,在视频通话的场景下,电子设备可以在用户选择隐私视频通话模式的情况下,自动识别出进行视频通话的拍摄主体。然后,电子设备可以生成拍摄主体成像清晰而非拍摄主体被虚化的视频,并基于这种视频进行视频通话。通过这种方式,当前场景中的非拍摄主体(即当前场景中的其它人)在视频中成像模糊虚化,从而可以保护这些非拍摄主体的人的隐私。

请参阅图4至图7,图4至图7为本申请实施例提供的图像处理方法的场景示意图。

比如,电子设备包括两个摄像头,分别为第一摄像头和第二摄像头。当用户将摄像头对准拍摄场景,并按下视频录制按钮后,电子设备可以利用第一摄像头拍摄一张拍摄主体成像清晰的图像x1。例如,图像x1可以如图4所示,图4中拍摄主体为自行车的座椅。电子设备可以将第一摄像头拍摄图像x1时,该第一摄像头的镜头所在的位置确定为第一位置。

之后,电子设备可以利用预设的图像分割算法对图像x1进行图像分割,从而从图像x1中分割得到主体图像(即自行车的座椅)。

之后,电子设备可以检测拍摄主体与第一摄像头的距离,即电子设备可以检测拍摄主体是在近处还是远处。例如,本实施例中,电子设备检测到拍摄主体(即自行车的座椅)在近处。

在这种情况下,电子设备可以从多个镜头位置中选择对应的镜头位置作为第一摄像头的镜头的第二位置,其中,在第一摄像头的镜头在该第二位置处时与图像传感器的距离大于第一摄像头的镜头在第一位置处时与图像传感器的距离,即相对于第一位置,当镜头位于第二位置时其更远离图像传感器,即镜头向前伸了。并且,在第一摄像头的镜头在该第二位置时与图像传感器的距离大于第一摄像头的镜头在其它任一位置时与图像传感器的距离,此时,镜头所在的第二位置为最远离图像传感器的位置。

然后,根据第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系,电子设备可以将第二摄像头的镜头驱动至第三位置,在第一摄像头的镜头位置与第二摄像头的镜头位置的映射关系中,第一摄像头的镜头所在的第二位置与第二摄像头的镜头所在的第三位置相对应。例如,当第一摄像头和第二摄像头的规格相同时,第三位置对应的daccode值与第二位置对应的daccode值相同。

当第二摄像头的镜头移动至第三位置时,电子设备可以利用第二摄像头拍摄图像y1。可以理解的是,图像y1为拍摄主体失焦的图像。例如,图像y1如图5所示,从图5中可以看出自行车座椅的图像模糊了,同时自行车周边的图像也模糊了。

在拍摄得到主体失焦的图像y1后,电子设备可以根据图像x1和图像y1计算失焦系数。之后,电子设备可以根据计算得到的失焦系数调整图像y1的比例,得到调整比例后的图像y1。

之后,电子设备可以将主体图像和调整比例后的图像y1进行图像融合处理,从而得到目标图像z1。其中,该目标图像z1中的拍摄主体成像清晰,并且该目标图像中除了该拍摄主体外的其它区域为虚化效果。例如,目标图像z1可以如图6所示,从图6可以看出,拍摄的主体自行车座椅成像清晰,并且除自行车座椅外其它区域呈虚化效果。

假设用户在一定的时间段内并未移动电子设备,即摄像头未发生移动,那么,电子设备可以在第一摄像头的镜头位于第一位置时按照预先设置好的帧率拍摄图像数据流,例如,如图7所示,图像数据流中的图像分别为x2、x3、x4等。同时,电子设备可以在第二摄像头的镜头位于第三位置时按照预先设置好的帧率拍摄图像数据流,例如,图像数据流中的图像分别为y2、y3、y4等。其中,x2和y2可以认为是同步拍摄得到的图像,x3和y3可以认为是同步拍摄得到的图像,x4和y4可以认为是同步拍摄得到的图像.

在第一摄像头拍摄得到图像x2后,电子设备可以从图像x2中分割出主体图像,并将该主体图像和第二摄像头拍摄得到的图像y2融合,例如融合得到图像z2。电子设备可以将该图像z2也作为一帧视频帧图像保存起来。

同理,在第一摄像头拍摄得到图像x3后,电子设备可以从图像x3中分割出主体图像,并将该主体图像和第二摄像头拍摄得到的图像y3融合,例如融合得到图像z3。电子设备可以将该图像z3也作为一帧视频帧图像保存起来。

在第一摄像头拍摄得到图像x4后,电子设备可以从图像x4中分割出主体图像,并将该主体图像和第二摄像头拍摄得到的图像y4融合,例如融合得到图像z4。电子设备可以将该图像z4也作为一帧视频帧图像保存起来。

电子设备可以根据保存起来的视频帧图像z1、z2、z3、z4生成一段视频,这段视频即是用户在这段时间内拍摄得到的视频。由于这段视频中的每一帧图像都具有真实虚化的效果,因此这段视频也就具有了真实虚化的效果。

可以理解的是,本申请实施例中,电子设备可以提供一种具有真实虚化,尤其是具有真实虚化生成的光斑的图像。相比于相关技术中利用算法来模拟生成光斑的技术,由于本实施例光斑是在拍摄主体失焦时由第二摄像头直接采集得到的,因此本实施例中的光斑是自然真实的。即,本实施例生成的视频中的光斑时真实自然的。

另外,由于利用算法模拟生成光斑时需要耗费大量的时间和算力来进行光斑渲染。因此,本实施例通过由第二摄像头直接采集光斑的方式,还可以节省为生成光斑所需的渲染时间。

请参阅图8,图8为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置可以应用于电子设备,该电子设备至少包括第一摄像头和第二摄像头。图像处理装置300可以包括:第一获取模块301,图像分割模块302,第二获取模块303,图像融合模块304。

第一获取模块301,用于利用所述第一摄像头,获取拍摄主体成像清晰的第一图像。

图像分割模块302,用于对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域。

第二获取模块303,用于利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦。

图像融合模块304,用于将所述主体图像和所述第二图像进行图像融合处理,得到目标图像。

保存模块305,用于将所述目标图像保存为视频帧,以得到目标视频。

在一种实施方式中,所述图像处理方法的应用场景为视频通话的场景;所述第一图像为由所述第一摄像头获取的用于所述视频通话的视频图像数据流中的一帧图像,所述第二图像为由所述第二摄像头获取的用于所述视频通话的视频图像数据流中的一帧图像。

所述第一获取模块301还可以用于:在所述电子设备所在的视频通话侧,当所述电子设备检测到多个人脸图像时,获取使用所述电子设备的当前用户的身份验证信息;根据预设的身份验证信息与人脸图像的映射关系,获取与所述当前用户的身份验证信息对应的目标人脸图像;将拍摄场景中所述目标人脸图像对应的用户确定为进行视频通话的拍摄主体。

在一种实施方式中,所述第一获取模块301可以用于:当所述电子设备检测到多个人脸图像时,提示是否进入隐私视频通话模式,其中,所述隐私视频通话模式表示在所述电子设备所在的视频通话侧仅为使用所述电子设备的当前用户提供成像清晰的视频通话;在接收到用于指示进入隐私视频通话模式的指令时,获取所述当前用户的身份验证信息。

在一种实施方式中,所述第一获取模块301可以用于:在接收到用于指示进入隐私视频通话模式的语音指令时,获取所述当前用户的身份验证信息,所述身份验证信息为所述当前用户的声纹信息。

在一种实施方式中,所述第一图像和所述第二图像对应的拍摄场景中存在灯光。

在一种实施方式中,所述第二获取模块303可以用于:

将所述第一摄像头拍摄所述第一图像时,所述第一摄像头的镜头所在的位置确定为第一位置;

检测所述拍摄主体与所述第一摄像头的距离;

在所述拍摄主体与所述第一摄像头的距离小于预设阈值时,根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第二位置,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;

根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第二位置与所述第二摄像头的镜头所在的第三位置相对应。

在一种实施方式中,所述第二获取模块303还可以用于:

在所述拍摄主体与所述第一摄像头的距离大于或等于预设阈值时,根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第四位置,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;

根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第四位置与所述第二摄像头的镜头所在的第五位置相对应。

在一种实施方式中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。

在一种实施方式中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。

在一种实施方式中,所述图像融合模块304还可以用于:

根据所述第一图像和所述第二图像,计算失焦系数;

根据所述失焦系数,调整所述第二图像的比例,得到调整比例后的第二图像;

将所述主体图像和所述调整比例后的第二图像进行图像融合处理,得到目标图像。

本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。

例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图9,图9为本申请实施例提供的电子设备的结构示意图。

该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

摄像模组401可以至少包括第一摄像头和第二摄像头。

存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。

处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。

在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:

利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;

对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;

利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;

将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;

将所述目标图像保存为视频帧,以得到目标视频。

在其它实施例中,除了摄像模组、存储器和处理器,电子设备还可以具有触摸显示屏、扬声器、麦克风、电池等部件。

其中,触摸显示屏可以用于显示诸如图像、文字等信息。并且,触摸显示屏还可以具有输入输出单元的作用。比如,触摸显示屏可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的光学或者轨迹球信号输入。触摸显示屏还可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

扬声器可以用于播放声音信号。麦克风则可以从周围环境中拾取声音信号。电池可以为整个电子设备的各个部件提供电力。

本发明实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(imagesignalprocessing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(imagesignalprocessor,isp处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。

图像传感器可包括色彩滤镜阵列(如bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及isp控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵等。

请参阅图10,图10为本实施例中图像处理电路的结构示意图。如图10所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。

图像处理电路可以包括:第一摄像头510、第二摄像头520、第一图像信号处理器530、第二图像信号处理器540、控制逻辑器550、图像存储器560、显示器570。其中,第一摄像头510可以包括一个或多个第一透镜511和第一图像传感器512。第二摄像头520可以包括一个或多个第二透镜521和第二图像传感器522。

第一摄像头510采集的第一图像传输给第一图像信号处理器530进行处理。第一图像信号处理器530处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第一摄像头510的控制参数,从而第一摄像头510可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一图像信号处理器530进行处理后可存储至图像存储器560中。第一图像信号处理器530也可以读取图像存储器560中存储的图像以进行处理。另外,第一图像经过图像信号处理器530进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。

第二摄像头520采集的第二图像传输给第二图像信号处理器540进行处理。第二图像信号处理器540处理第二图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第二摄像头520的控制参数,从而第二摄像头520可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二图像信号处理器540进行处理后可存储至图像存储器560中。第二图像信号处理器540也可以读取图像存储器560中存储的图像以进行处理。另外,第二图像经过图像信号处理器540进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。

在另一些实施方式中,第一图像信号处理器和第二图像信号处理器也可合成为统一的图像信号处理器,分别处理第一图像传感器和第二图像传感器的数据。

此外,图中没有展示的,电子设备还可以包括cpu和供电模块。cpu和逻辑控制器、第一图像信号处理器、第二图像信号处理器、图像存储器和显示器均连接,cpu用于实现全局控制。供电模块用于为各个模块供电。

一般的,具有双摄像模组的手机,在某些拍照模式下,双摄像模组均工作。此时,cpu控制供电模块为第一摄像头和第二摄像头供电。第一摄像头中的图像传感器上电,第二摄像头中的图像传感器上电,从而可以实现图像的采集转换。在某些拍照模式下,可以是双摄像模组中的一个摄像头工作。例如,仅长焦摄像头工作。这种情况下,cpu控制供电模块给相应摄像头的图像传感器供电即可。

以下为运用图10中图像处理技术实现本实施例提供的图像处理方法的流程:

利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;

对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;

利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;

将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;

将所述目标图像保存为视频帧,以得到目标视频。

在一种实施方式中,所述图像处理方法的应用场景为视频通话的场景;所述第一图像为由所述第一摄像头获取的用于所述视频通话的视频图像数据流中的一帧图像,所述第二图像为由所述第二摄像头获取的用于所述视频通话的视频图像数据流中的一帧图像;

所述电子设备还可以执行:在所述电子设备所在的视频通话侧,当所述电子设备检测到多个人脸图像时,获取使用所述电子设备的当前用户的身份验证信息;根据预设的身份验证信息与人脸图像的映射关系,获取与所述当前用户的身份验证信息对应的目标人脸图像;将拍摄场景中所述目标人脸图像对应的用户确定为进行视频通话的拍摄主体。

在一种实施方式中,电子设备执行所述当所述电子设备检测到多个人脸图像时,获取使用所述电子设备的当前用户的身份验证信息时,可以执行:当所述电子设备检测到多个人脸图像时,提示是否进入隐私视频通话模式,其中,所述隐私视频通话模式表示在所述电子设备所在的视频通话侧仅为使用所述电子设备的当前用户提供成像清晰的视频通话;在接收到用于指示进入隐私视频通话模式的指令时,获取所述当前用户的身份验证信息。

在一种实施方式中,电子设备执行所述在接收到用于指示进入隐私视频通话模式的指令时获取所述当前用户的身份验证信息时,可以执行:在接收到用于指示进入隐私视频通话模式的语音指令时,获取所述当前用户的身份验证信息,所述身份验证信息为所述当前用户的声纹信息。

在一种实施方式中,所述第一图像和所述第二图像对应的拍摄场景中存在灯光。

在一种实施方式中,电子设备还可以执行:将所述第一摄像头拍摄所述第一图像时,所述第一摄像头的镜头所在的位置确定为第一位置;

那么,电子设备执行所述利用所述第二摄像头获取第二图像时,还可以执行:检测所述拍摄主体与所述第一摄像头的距离;在所述拍摄主体与所述第一摄像头的距离小于预设阈值时,根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第二位置,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第二位置与所述第二摄像头的镜头所在的第三位置相对应。

在一种实施方式中,电子设备执行所述利用所述第二摄像头获取第二图像时,还可以执行:在所述拍摄主体与所述第一摄像头的距离大于或等于预设阈值时,根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第四位置,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第四位置与所述第二摄像头的镜头所在的第五位置相对应。

在一种实施方式中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。

在一种实施方式中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。

在一种实施方式中,电子设备还可以执行:根据所述第一图像和所述第二图像,计算失焦系数;根据所述失焦系数,调整所述第二图像的比例,得到调整比例后的第二图像;所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像,包括:将所述主体图像和所述调整比例后的第二图像进行图像融合处理,得到目标图像。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。

需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)等。

对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。


技术特征:

1.一种图像处理方法,应用于电子设备,其特征在于,所述电子设备至少包括第一摄像头和第二摄像头,所述方法包括:

利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;

对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;

利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;

将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;

将所述目标图像保存为视频帧,以得到目标视频。

2.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理方法的应用场景为视频通话的场景;所述第一图像为由所述第一摄像头获取的用于所述视频通话的视频图像数据流中的一帧图像,所述第二图像为由所述第二摄像头获取的用于所述视频通话的视频图像数据流中的一帧图像;

在所述利用所述第一摄像头获取拍摄主体成像清晰的第一图像之前,所述方法还包括:

在所述电子设备所在的视频通话侧,当所述电子设备检测到多个人脸图像时,获取使用所述电子设备的当前用户的身份验证信息;

根据预设的身份验证信息与人脸图像的映射关系,获取与所述当前用户的身份验证信息对应的目标人脸图像;

将拍摄场景中所述目标人脸图像对应的用户确定为进行视频通话的拍摄主体。

3.根据权利要求2所述的图像处理方法,其特征在于,所述当所述电子设备检测到多个人脸图像时,获取使用所述电子设备的当前用户的身份验证信息,包括:

当所述电子设备检测到多个人脸图像时,提示是否进入隐私视频通话模式,其中,所述隐私视频通话模式表示在所述电子设备所在的视频通话侧仅为使用所述电子设备的当前用户提供成像清晰的视频通话;

在接收到用于指示进入隐私视频通话模式的指令时,获取所述当前用户的身份验证信息。

4.根据权利要求3所述的图像处理方法,其特征在于,所述在接收到用于指示进入隐私视频通话模式的指令时获取所述当前用户的身份验证信息,包括:

在接收到用于指示进入隐私视频通话模式的语音指令时,获取所述当前用户的身份验证信息,所述身份验证信息为所述当前用户的声纹信息。

5.根据权利要求1所述的图像处理方法,其特征在于,所述第一图像和所述第二图像对应的拍摄场景中存在灯光。

6.根据权利要求1所述的图像处理方法,其特征在于,所述方法还包括:将所述第一摄像头拍摄所述第一图像时,所述第一摄像头的镜头所在的位置确定为第一位置;

所述利用所述第二摄像头获取第二图像,包括:

检测所述拍摄主体与所述第一摄像头的距离;

在所述拍摄主体与所述第一摄像头的距离小于预设阈值时,根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第二位置,其中,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;

根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第三位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第二位置与所述第二摄像头的镜头所在的第三位置相对应。

7.根据权利要求6所述的图像处理方法,其特征在于,所述利用所述第二摄像头获取第二图像,还包括:

在所述拍摄主体与所述第一摄像头的距离大于或等于预设阈值时,根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述第一摄像头的镜头的第四位置,其中,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在所述第一位置处时与图像传感器的距离;

根据所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系,将所述第二摄像头的镜头驱动至第五位置,并拍摄第二图像,其中,在所述第一摄像头的镜头位置与所述第二摄像头的镜头位置的映射关系中,所述第一摄像头的镜头所在的第四位置与所述第二摄像头的镜头所在的第五位置相对应。

8.根据权利要求6所述的图像处理方法,其特征在于,在所述第一摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。

9.根据权利要求7所述的图像处理方法,其特征在于,在所述第一摄像头的镜头在所述第四位置处时与图像传感器的距离小于所述第一摄像头的镜头在其它任一位置处时与图像传感器的距离。

10.根据权利要求1所述的图像处理方法,其特征在于,所述方法还包括:

根据所述第一图像和所述第二图像,计算失焦系数;

根据所述失焦系数,调整所述第二图像的比例,得到调整比例后的第二图像;

所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像,包括:将所述主体图像和所述调整比例后的第二图像进行图像融合处理,得到目标图像。

11.一种图像处理装置,应用于电子设备,其特征在于,所述电子设备至少包括第一摄像头和第二摄像头,所述装置包括:

第一获取模块,用于利用所述第一摄像头,获取拍摄主体成像清晰的第一图像;

图像分割模块,用于对所述第一图像进行图像分割,分割得到主体图像,所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域;

第二获取模块,用于利用所述第二摄像头,获取第二图像,所述第二图像中所述拍摄主体失焦;

图像融合模块,用于将所述主体图像和所述第二图像进行图像融合处理,得到目标图像;

保存模块,用于将所述目标图像保存为视频帧,以得到目标视频。

12.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至10中任一项所述的方法。

13.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至10中任一项所述的方法。

技术总结
本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法应用于电子设备,该电子设备至少包括第一摄像头和第二摄像头,该方法包括:利用该第一摄像头,获取拍摄主体成像清晰的第一图像;对该第一图像进行图像分割,分割得到主体图像,该主体图像为该第一图像中对应于该拍摄主体的图像区域;利用该第二摄像头,获取第二图像,该第二图像中该拍摄主体失焦;将该主体图像和该第二图像进行图像融合处理,得到目标图像;将目标图像保存为视频帧,以得到目标视频。本申请实施例可以提高视频图像的虚化效果。

技术研发人员:王会朝
受保护的技术使用者:OPPO广东移动通信有限公司
技术研发日:2020.01.16
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-54499.html

最新回复(0)