本发明涉及发光二极管(led)闪烁减少，且更具体来说涉及用于高动态范围(hdr)成像的发光二极管闪烁减少。
背景技术：
发光二极管(lightemittingdiode，led)的亮度通常通过脉冲宽度调制(pulsewidthmodulation，pwm)来控制。对于特定的脉冲频率，重复脉冲的宽度决定了人们感觉到的led的亮度。脉冲越宽，人们感觉到的led就越亮。脉冲频率及脉冲宽度可能不与图像传感器的帧频率及拍摄窗口(capturewindow)同步。如果脉冲宽度窄且如果脉冲频率低于图像传感器的帧频率，则图像传感器可能会错过拍摄led脉冲。因此，一些帧会拍摄到led，而一些帧不会拍摄到led，从而导致由图像传感器拍摄的led图像闪烁。
许多新型汽车配备有led头灯、尾灯、转向灯等。目前，许多交通灯也在使用led。如果例如安装在汽车中的照相机的视野包括具有led的汽车及交通灯，则汽车及交通灯的显示图像可能会包括闪烁的led光。闪烁的led光可能被误认为是来自紧急救援车辆(emergencyvehicle)且可能会分散驾驶员的注意力并使驾驶员处于危险之中。
因此，需要提供减少或消除led闪烁的图像传感器。
技术实现要素：
本发明的一些实施例提供一种拍摄高动态范围(hdr)图像的系统，其特征在于，包括：图像传感器，包括分割像素，所述分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素；其中所述第一像素被多重曝光，包括第一像素帧内的第一曝光及第二曝光；其中所述第二像素使用第二像素帧内的拍摄窗口进行曝光，所述拍摄窗口拍摄由通过脉冲宽度调制控制的发光二极管(led)发出的至少一个脉冲；其中由包括以下的组合生成第一高动态范围图像：由所述第二像素生成的图像、由所述第一像素的所述第一曝光生成的第一图像及由所述第一像素的所述第二曝光生成的第二图像。
此外，本发明的其他实施例提供一种拍摄高动态范围(hdr)图像的方法，其特征在于，包括：通过图像传感器的分割像素中的较低有效增益像素拍摄图像，其中拍摄窗口拍摄由通过脉冲宽度调制控制的发光二极管(led)发出的至少一个脉冲，其中所述拍摄窗口位于所述较低有效增益像素的帧内；利用第一曝光、通过所述图像传感器的所述分割像素中的较高有效增益像素来拍摄第一图像；利用第二曝光、通过所述图像传感器的所述分割像素的所述较高有效增益像素来拍摄第二图像；其中所述第一曝光及所述第二曝光位于所述较高有效增益像素的帧内；至少将由所述图像传感器的所述分割狭缝像素中的所述较低有效增益像素拍摄的所述图像、由所述图像传感器的所述分割像素中的所述较高有效增益像素拍摄的所述第一图像及所述第二图像进行组合，以生成第一高动态范围图像。
另外，本发明的其他实施例提供一种拍摄高动态范围(hdr)图像的照相机，其特征在于，包括：图像传感器，包括多个分割像素，所述多个分割像素中的每一分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素；透镜系统，在所述图像传感器上形成包括发光二极管(led)的视野的图像；其中所述第一像素被多重曝光，包括第一像素帧内的第一曝光及第二曝光；其中所述第二像素使用第二像素帧内的拍摄窗口进行曝光，所述拍摄窗口拍摄由通过脉冲宽度调制控制的所述发光二极管发出的至少一个脉冲；其中由包括以下的组合生成第一高动态范围图像：由所述第二像素生成的图像、由所述第一像素的所述第一曝光生成的第一图像及由所述第一像素的所述第二曝光生成的第二图像。
附图说明
参照以下各图阐述本发明的非限制性及非排他性实施例，其中除非另外指明，否则在所有各种视图中相同的参考编号指代相同的部件。
图1示出根据本发明实施例的照相机的示例性视野。
图2示出根据本发明实施例的示例性脉冲宽度调制。
图3示出根据本发明实施例的led闪烁的产生。
图4示出根据本发明实施例的包括多对分割像素的示例性图像传感器。
图5示出根据本发明实施例的示例性led时间信号、示例性小型光电二极管(smallphoto-diode，spd)时间信号、具有较长曝光时间的被标记为lpd1的示例性大型光电二极管(largephoto-diode，lpd)时间信号以及具有较短曝光时间的被标记为lpd2的示例性lpd时间信号。
图6示出根据本发明实施例的高动态范围(highdynamicrange，hdr)图像组合。
图7示出根据本发明实施例的各别权重计算。
图8示出根据本发明实施例的总权重组合。
图9示出根据本发明实施例的最终闪烁校正(finalflickercorrection)。
图10示出根据本发明实施例的图6到图9的组合。
图11示出根据本发明实施例的包括透镜系统、图像传感器及处理器的照相机。
在图式的若干视图中，对应的参考字符指示对应的组件。所属领域中的技术人员将理解，图中的元件是为了简洁及清晰起见而示出且未必按比例绘制。举例来说，可相对于其他元件而言夸大图中的元件中的一些元件的尺寸以帮助理解本发明的各种实施例。
具体实施方式
在以下说明中，陈述众多具体细节以提供对本发明的透彻理解。然而，对于所属领域中的普通技术人员而言应显而易见，实践本发明不必采用所述具体细节。在其他情形中，未详细阐述众所周知的材料或方法以避免使本发明模糊不清。
在本说明书通篇中提及“一个实施例”或“实施例”意指在本发明的至少一个实施例中包括结合所述实施例所阐述的特定特征、结构或特性。因此，在本说明书通篇的各种地方出现的短语“在一个实施例中”或“在实施例中”未必均指代同一实施例。此外，在一个或多个实施例中，所述特定特征、结构或特性可以任意合适的组合和/或子组合加以组合。
图1示出根据本发明实施例的照相机的示例性视野100。举例来说，所述照相机(未示出)是安装在汽车中的照相机。在另一环境中，所述照相机可为移动电话的照相机或任何照相机。具有包括led104的头灯的汽车102及由led108制成的交通灯106处于视野100中。
led的亮度通常通过脉冲宽度调制(pwm)来控制。图2示出根据本发明实施例的示例性脉冲宽度调制。led的示例性时间信号200包括第一脉冲202、第二脉冲204、第三脉冲206、第四脉冲208等。脉冲202到208指示led接通。虽然对于人们的感觉来说，led似乎总是亮的，但实际上，led是反复接通及关断的。当led例如响应于脉冲202而接通时，led发光。led的另一示例性时间信号220包括第一脉冲222、第二脉冲224、第三脉冲226、第四脉冲228等等。脉冲222到228指示led接通。时间信号200中的脉冲以与时间信号220中的脉冲进行重复的频率相同的频率进行重复。脉冲222比脉冲202宽，脉冲224比脉冲204宽，脉冲226比脉冲206宽，且脉冲228比脉冲208宽。因此，与时间信号200相比，时间信号220使led光感觉起来更亮。
图3示出根据本发明实施例的led闪烁的产生。与图2相似，led的示例性时间信号200包括第一脉冲202、第二脉冲204、第三脉冲206、第四脉冲208等等。脉冲202到208指示led接通。图1所示照相机拍摄视野100包括图像传感器。图像传感器的示例性时间信号300包括第一帧的第一拍摄窗口302、第二帧的第二拍摄窗口304、第三帧的第三拍摄窗口306等等。举例来说，图像传感器的第一拍摄窗口302将拍摄包括led的第一脉冲202且错过led的第二脉冲204的第一图像。图像传感器的第二拍摄窗口304将拍摄错过led的第三脉冲206的第二图像。图像传感器的第三拍摄窗口306将拍摄包括led的第四脉冲208的第三图像。因此，一些图像包括led光，而一些图像不包括led光。当逐帧显示所拍摄的图像时，led会出现闪烁。
图4示出根据本发明实施例的包括多个分割像素402的示例性图像传感器400。分割像素402包括具有较高有效增益的第一像素(大型光电二极管(lpd)404)及具有较低有效增益的第二像素(小型光电二极管(spd)406)。举例来说，lpd404的有效增益可比spd406的有效增益大约100倍。换句话说，lpd404的灵敏度可比spd406的灵敏度大约100倍。在本公开中，词语“灵敏度”与词语“有效增益”可互换使用。在实施例中，可将spd406的曝光时间设定成等于或大于11ms。
由于lpd404具有较大的面积且spd406具有较小的面积，因此lpd404具有较高的有效增益且spd406具有较低的有效增益。作为另外一种选择，lpd404与spd406具有相同的面积，但spd406被衰减器(attenuator)覆盖，使得spd406的有效增益低于lpd404的有效增益。另外，spd406可不被衰减器覆盖，而使spd406及lpd404的有效增益可由电路和/或光电探测器控制，所述电路和/或光电探测器被设计成使得spd406的有效增益低于lpd404的有效增益。
图5示出根据本发明实施例的示例性led时间信号200、示例性spd时间信号500、具有较长曝光时间的被标记为lpd1510的示例性lpd时间信号以及具有较短曝光时间的被标记为lpd2520的示例性lpd时间信号。与图2相似，led时间信号200包括第一脉冲202、第二脉冲204、第三脉冲206、第四脉冲208等等。脉冲202到208指示led接通。
时间信号500是spd406的拍摄时间信号，时间信号500包括第二像素帧504内的拍摄窗口502。拍摄窗口502被设定成长度足以拍摄led时间信号200的至少一个脉冲(例如，脉冲204)。在实施例中，spd406的灵敏度足够低，因而spd406的拍摄窗口502的曝光时间可被设定成等于或大于11ms。拍摄窗口502将拍摄频率大于90hz的至少一个led脉冲，且当重放所拍摄图像时将不会发生led闪烁。应注意，常规视频帧速率为约30hz。spd406的灵敏度低。如果spd406的灵敏度过高，则spd406将因其曝光时间长而拍摄出过度曝光的图像。
在实施例中，lpd404在第一像素帧514内被曝光两次。第一曝光由lpd1时间信号510表达，lpd1时间信号510具有位于帧514内的具有较长曝光时间的拍摄窗口512。第一曝光之后的第二曝光由lpd2时间信号520表达，lpd2时间信号520具有位于同一帧514内的具有较短曝光时间的拍摄窗口522。第一像素帧514可与第二像素帧504相同。
在传统高动态范围(hdr)成像中，举例来说，lpd1的曝光生成第一图像a，且lpd2的曝光生成第二图像b。第一图像a与第二图像b在单个hdr图像中进行组合。hdr图像将在图像的暗部分中显示图像a，且将在图像的亮部分中显示图像b。这是由于在hdr图像的暗部分中，具有较低增益的图像b将曝光不足且不具有贡献，而在hdr图像的亮部分中，具有较高增益的图像a将曝光过度且不具有贡献。
在实施例中，从由lpd1、lpd2及spd拍摄的图像生成hdr图像。以此种方式，除了传统hdr图像之外，也可确保包括无闪烁led图像(例如，由spd拍摄的图像)。因此，所生成的hdr图像将不具有led闪烁。在实施例中，hdr图像是由spd拍摄的图像与由具有不同曝光时间的lpd(例如，lpd1及lpd2)拍摄的至少两个图像的组合。在原理上，lpd可在帧中以不同的曝光时间(拍摄窗口)连续拍摄多个图像，从而形成lpd1、lpd2、lpd3等等的图像。可从由lpd1、lpd2、lpd3、….及spd拍摄的图像生成hdr图像。
图6示出根据本发明实施例的hdr图像组合600。hdr图像组合器602通过将以下进行组合来生成第一hdr图像hdr1(x,y)：由具有较低有效增益的第二像素(spd)生成的图像s(x,y)604、由具有较高有效增益的第一像素(lpd)的第一曝光(lpd1)生成的第一图像l1(x,y)606、由具有较高有效增益的第一像素(lpd)的第二曝光(lpd2)生成的第二图像l2(x,y)608以及由同一lpd以不同曝光时间拍摄的一系列图像，包括由同一lpd以第n曝光时间拍摄的图像ln(x,y)610。s(x,y)是由spd生成的归一化图像数据，l1(x,y)是由lpd以第一曝光时间生成的归一化图像数据，l2(x,y)是由lpd以第二曝光时间生成的归一化图像数据，依此类推。因此，s(x,y)、l1(x,y)、l2(x,y)、ln(x,y)具有相同的量值标度(magnitudescale)。
举例来说，对于仅由s(x,y)、l1(x,y)及l2(x,y)生成的hdr1(x,y)，hdr1(x,y)可被表达为：
其中a(x,y)、b(x,y)及c(x,y)是系数，所述系数是(x,y)的函数，可通过检查(x,y)处的像素是曝光不足、过度曝光还是正常曝光来确定(x,y)的所述函数。
图7示出根据本发明实施例的各别权重计算700。各别权重计算器702为每一li(x,y)704计算各别权重wi(x,y)706，其中i可为1，2，3，….，n。li(x,y)是由lpd以第i曝光时间拍摄的图像。举例来说，各别权重wi(x,y)706可与由spd拍摄的图像s(x,y)604与由lpd以第i曝光时间拍摄的图像li(x,y)704之间的差的绝对值成比例。绝对值可被表达为|s(x,y)-li(x,y)|。wi(x,y)是|s(x,y)-li(x,y)|的值及基于噪声模型的阈值ti(x,y)708的函数。当|s(x,y)-li(x,y)|较大时，wi(x,y)较大。当|s(x,y)-li(x,y)|小于ti(x,y)时，wi(x,y)为零。各别权重wi(x,y)被定义成0≤wi(x,y)≤1，即：
wi(x,y)＝wi{|s(x,y)-li(x,y)|,ti(x,y)}
图8示出根据本发明实施例的总权重组合800。总权重组合器802提供总权重w(x,y)810。举例来说，总权重w(x,y)810可为包括第一权重w1(x,y)804、第二权重w2(x,y)806及第n权重wn(x,y)808的所有各别权重的归一化加权总和(normalizedweightedsummation)。ωi是每一通道的权重，其根据li(x,y)与s(x,y)之间的曝光率决定。总权重w(x,y)被归一化成使其值介于零与一之间，0≤w(x,y)≤1。
图9示出根据本发明实施例的执行最终闪烁校正的处理器900。在实施例中，在区块902中，将由spd拍摄的图像s(x,y)604乘以w(x,y)810，且在区块904中，将第一hdr图像hdr1(x,y)612乘以(1-w(x,y))。在区块906中，对来自区块902的结果与来自区块904的结果相加。从区块906生成的和是第二hdr图像hdr2(x,y)908，第二hdr图像hdr2(x,y)908是最终闪烁校正hdr图像。hdr2(x,y)可被表达为：
hdr2(x,y)＝[s(x,y)×w(x,y)] [hdr1(x,y)×(1-w(x,y))]
由包括由第二像素生成的图像与由第一像素的多重曝光生成的图像的组合生成第一hdr图像。根据由第二像素生成的图像与由第一像素生成的图像的差来产生led闪烁校正的权重图，且使用权重图及来自第二像素的图像来校正第一hdr图像中的闪烁区域。
图10示出根据本发明实施例的过程1000，过程1000是图6到图9的组合。hdr图像组合器1002的区块等同于图6所示hdr图像组合器602的区块。权重计算器及组合器1004的区块等同于图7所示各别权重计算器702的区块及图8所示总权重组合器802的区块。闪烁校正1006的区块等同于图9所示最终闪烁校正900。
返回参照图4，对于分割像素402，如果spd406的位置从lpd404的位置显著偏移，则可相对于l1(x,y)来校正s(x,y)。l1(x,y)，l2(x,y)，….是相同的lpd404，因此它们不相对于彼此进行校正。
图11示出根据本发明实施例的包括透镜或透镜系统1102、图像传感器1104及处理器1106的照相机1108。举例来说，照相机1108拍摄图1所示视野100。透镜系统1102在图像传感器1104上形成视野100的图像。图像传感器1104包括多个分割像素(例如，图4所示分割像素402)，所述多个分割像素包括具有较高有效增益的像素(lpd)及具有较低有效增益的像素(spd)。处理器1106可表示图10所示过程1000。从处理器1106输出最终闪烁校正hdr图像(即图9及图10所示hrd2(x,y)908)。
尽管本文中已参照示例性实施例及用于实践本发明的最佳方式阐述了本发明，然而对于所属领域中的普通技术人员而言应显而易见，在不背离本发明的精神及范围的条件下，可对本发明作出对各种实施例的许多润饰、改良及子组合、以及作出各种修改及变型。
以上权利要求书中所使用的用语不应被理解成将本发明限制为本说明书及权利要求书中所公开的具体实施例。确切来说，应完全通过以上权利要求书来确定范围，以上权利要求书应根据既定的权利要求解释规则来理解。本说明书及各个图应相应地被视作例示性的而非约束性的。
1.一种拍摄高动态范围(hdr)图像的系统，其特征在于，包括：
图像传感器，包括分割像素，所述分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素；
其中所述第一像素被多重曝光，包括第一像素帧内的第一曝光及第二曝光；
其中所述第二像素使用第二像素帧内的拍摄窗口进行曝光，所述拍摄窗口拍摄由通过脉冲宽度调制控制的发光二极管(led)发出的至少一个脉冲；
其中由包括以下的组合生成第一高动态范围图像：由所述第二像素生成的图像、由所述第一像素的所述第一曝光生成的第一图像及由所述第一像素的所述第二曝光生成的第二图像。
2.根据权利要求1所述的系统，其特征在于，所述第一曝光具有第一曝光时间且所述第二曝光具有第二曝光时间，所述第一曝光时间比所述第二曝光时间长。
3.根据权利要求1所述的系统，其特征在于，所述第一像素帧与所述第二像素帧相同。
4.根据权利要求1所述的系统，其特征在于，所述第一像素被多重曝光，包括多于两次曝光。
5.根据权利要求1所述的系统，其特征在于，还包括：处理器，其中从所述处理器输出最终闪烁校正高动态范围图像，且其中所述最终闪烁校正高动态范围图像是如下生成的：
hdr2(x,y)＝,s(x,y)×w(x,y)- [hdr1(x,y)×(1-w(x,y))]，
其中：
0≤w(x,y)≤1，
其中hdr2(x,y)是所述最终闪烁校正高动态范围图像，s(x,y)是由所述第二像素生成的所述图像，hdr1(x,y)是所述第一高动态范围图像，且w(x,y)是总权重，所述总权重是各别权重的函数，且所述各别权重是由所述第二像素生成的所述图像及由所述第一像素生成的图像之间的差的绝对值与基于噪声模型的阈值的函数。
6.根据权利要求1所述的系统，其特征在于，所述第二像素具有比所述第一像素小的面积。
7.根据权利要求1所述的系统，其特征在于，所述第二像素被衰减器覆盖。
8.根据权利要求1所述的系统，其特征在于，所述第一像素的有效增益及所述第二像素的有效增益由电路控制，所述电路被设计成使得所述第二像素的所述有效增益低于所述第一像素的所述有效增益。
9.一种拍摄高动态范围(hdr)图像的方法，其特征在于，包括：
通过图像传感器的分割像素中的较低有效增益像素拍摄图像，其中拍摄窗口拍摄由通过脉冲宽度调制控制的发光二极管(led)发出的至少一个脉冲，其中所述拍摄窗口位于所述较低有效增益像素的帧内；
利用第一曝光、通过所述图像传感器的所述分割像素中的较高有效增益像素来拍摄第一图像；
利用第二曝光、通过所述图像传感器的所述分割像素的所述较高有效增益像素来拍摄第二图像；
其中所述第一曝光及所述第二曝光位于所述较高有效增益像素的帧内；
至少将由所述图像传感器的所述分割像素中的所述较低有效增益像素拍摄的所述图像、由所述图像传感器的所述分割像素中的所述较高有效增益像素拍摄的所述第一图像及所述第二图像进行组合，以生成第一高动态范围图像。
10.根据权利要求9所述的方法，其特征在于，所述第一曝光具有第一曝光时间且所述第二曝光具有第二曝光时间，所述第一曝光时间比所述第二曝光时间长。
11.根据权利要求9所述的方法，其特征在于，所述较高有效增益像素的所述帧与所述较低有效增益像素的所述帧相同。
12.根据权利要求9所述的方法，其特征在于，还包括：
如下生成最终闪烁校正高动态范围图像：
hdr2(x,y)＝,s(x,y)×w(x,y)- [hdr1(x,y)×(1-w(x,y))]，
其中：
0≤w(x,y)≤1，
其中hdr2(x,y)是所述最终闪烁校正高动态范围图像，s(x,y)是由第二像素拍摄的图像，hdr1(x,y)是所述第一高动态范围图像，且w(x,y)是总权重，所述总权重是各别权重的函数，且所述各别权重是由所述第二像素生成的所述图像及由第一像素生成的图像之间的差的绝对值与基于噪声模型的阈值的函数。
13.一种拍摄高动态范围(hdr)图像的照相机，其特征在于，包括：
图像传感器，包括多个分割像素，所述多个分割像素中的每一分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素；
透镜系统，在所述图像传感器上形成包括发光二极管(led)的视野的图像；
其中所述第一像素被多重曝光，包括第一像素帧内的第一曝光及第二曝光；
其中所述第二像素使用第二像素帧内的拍摄窗口进行曝光，所述拍摄窗口拍摄由通过脉冲宽度调制控制的所述发光二极管发出的至少一个脉冲；
其中由包括以下的组合生成第一高动态范围图像：由所述第二像素生成的图像、由所述第一像素的所述第一曝光生成的第一图像及由所述第一像素的所述第二曝光生成的第二图像。
14.根据权利要求13所述的照相机，其特征在于，所述第一曝光具有第一曝光时间且所述第二曝光具有第二曝光时间，所述第一曝光时间比所述第二曝光时间长。
15.根据权利要求13所述的照相机，其特征在于，所述第一像素帧与所述第二像素帧相同。
16.根据权利要求13所述的照相机，其特征在于，还包括：处理器，其中从所述处理器输出最终闪烁校正高动态范围图像，且其中所述最终闪烁校正高动态范围图像是如下生成的：
hdr2(x,y)＝,s(x,y)×w(x,y)- [hdr1(x,y)×(1-w(x,y))]，
其中：
0≤w(x,y)≤1，
其中hdr2(x,y)是所述最终闪烁校正高动态范围图像，s(x,y)是由所述第二像素生成的所述图像，hdr1(x,y)是所述第一高动态范围图像，且w(x,y)是总权重，所述总权重是各别权重的函数，且所述各别权重是由所述第二像素生成的所述图像及由所述第一像素生成的图像之间的差的绝对值与基于噪声模型的阈值的函数。
17.根据权利要求13所述的照相机，其特征在于，所述第二像素具有比所述第一像素小的面积。
18.根据权利要求13所述的照相机，其特征在于，所述第二像素被衰减器覆盖。
19.根据权利要求13所述的照相机，其特征在于，所述第一像素的有效增益及所述第二像素的有效增益由电路控制，所述电路被设计成使得所述第二像素的所述有效增益低于所述第一像素的所述有效增益。
20.根据权利要求13所述的照相机，其特征在于，所述第一像素被多重曝光，包括多于两次曝光。
技术总结