本发明涉及可以调整焦平面的控制设备、具有该控制设备的摄像设备以及程序(或存储介质)。
背景技术：
根据镜头性能和诸如视角和f值等的摄像条件，网络照相机可能不能在诸如长屋、走廊和停车场等的场景中获得深景深。例如，在从安装在深景中的天花板上的网络照相机对道路、行人和汽车进行摄像时，可能存在处于聚焦的一部分摄像区域。传统上，已知通过使摄像面相对于与光轴垂直的摄像光轴面倾斜来调整焦平面并且在上述场景中从前向后调焦的方法。日本特开平5-53166公开了图像传感器向与光轴垂直的摄像光轴面倾斜的照相机。
一些网络照相机具有用于从隐私保护的观点而隐藏指定区域的隐私遮蔽(privacymask)功能、用于通过分析图像来检测移动体和取走的检测功能、或者用于针对各个图像区域使压缩率不同的区域数据缩减功能。当将日本特开平5-53166中公开的技术应用于具有这种功能的网络照相机时，由于摄像面上方和下方的焦距差或光学滤波器的影响，通过使摄像面倾斜来拍摄图像。图像被失真成梯形形状或者图像位置移动。结果，在使摄像面倾斜前后，在拍摄图像中的坐标和拍摄图像之间存在偏移。
技术实现要素：
本发明提供一种控制设备、摄像设备、存储介质(程序)，其各自即使在摄像面的角度改变的情况下，也可以在不需要通过用户重新设置对象位置的情况下有效地利用隐私遮蔽功能、检测功能或区域数据缩减功能。
根据本发明的一个方面的控制设备包括：角度控制单元，其被配置为改变图像传感器的摄像面和与摄像透镜的光轴垂直的面之间的角度；获取单元，其被配置为获取图像的特定区域的位置信息；以及管理单元，其被配置为基于角度改变位置信息。包括上述控制设备的摄像设备构成本发明的另一方面。存储有被配置为使计算机执行与上述控制设备相对应的控制方法的程序的非暂时性计算机可读存储介质也构成本发明的另一方面。
根据本发明的另一方面的摄像设备包括控制设备，所述控制设备包括：角度控制单元，其被配置为改变图像传感器的摄像面和与摄像透镜的光轴垂直的面之间的角度；获取单元，其被配置为获取图像的特定区域的位置信息；以及管理单元，其被配置为基于所述角度来改变所述位置信息。
根据本发明的另一方面的控制方法包括：改变由摄像透镜形成的角度或图像传感器的摄像面和与所述摄像透镜的光轴垂直的面之间的角度；获取图像的特定区域的位置信息；以及基于所述角度来改变所述位置信息。
根据本发明的另一方面，提供一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使计算机执行控制方法，其中，所述控制方法包括：改变由摄像透镜形成的角度或图像传感器的摄像面和与所述摄像透镜的光轴垂直的面之间的角度；获取图像的特定区域的位置信息；以及基于所述角度来改变所述位置信息。
通过下面参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1示出根据本发明的一个实施例的摄像设备的结构。
图2a至2f示意性地示出图像传感器的倾斜和焦平面。
图3a至3c示意性地示出由于图像传感器的倾斜而导致的梯形失真。
图4示意性地示出由于图像传感器的倾斜而导致的图像移动。
图5是示出根据示例1的坐标校正处理的流程图。
图6是示出根据示例1的坐标再计算处理的流程图。
图7a和7b示出应用示例1的坐标校正处理之后的图像。
具体实施方式
现在参考附图，将给出根据本发明的实施例的详细描述。各个图中的相应元件将由相同附图标记指定，并且将省略对这些元件的重复描述。
本发明可应用于用于控制具有拍摄运动图像的功能的装置的设备和部件。具有拍摄运动图像的功能的装置例如包括诸如网络照相机、摄像机和静态照相机等的摄像设备、具有摄像功能的移动电话以及便携式信息终端。本实施例将讨论应用本发明的诸如网络照相机等的摄像设备。
整体结构
图1示出根据本发明的一个实施例的摄像设备100的结构。cpu101包括变焦控制单元101-1、调焦控制单元101-2、倾斜控制单元101-3、图像评价区域确定单元101-4、云台控制单元101-5、控制单元101-6和坐标信息管理单元101-7，并且管理摄像设备100的整体控制。在本实施例中，摄像设备100由其中所设置的cpu101控制，但是本发明不限于本实施例。摄像设备100可以由与摄像设备100分离的具有cpu101的功能的控制设备从外部控制。
摄像单元102包括摄像光学系统和图像传感器102-4。摄像光学系统包括变焦透镜102-1、调焦透镜102-2和光圈(孔径光阑)102-3。图像传感器102-4包括图像传感器等，并且通过对经由摄像光学系统形成的光学图像进行光电转换来生成图像。
变焦控制单元101-1经由驱动器108使变焦透镜102-1沿光轴移动。调焦控制单元101-2经由驱动器108使调焦透镜102-2沿光轴移动。控制单元101-6经由驱动器108操作光圈102-3。倾斜控制单元(角度控制单元)101-3经由驱动器108控制图像传感器102-4的倾斜角度，以使摄像面相对于与光轴垂直的摄像光轴面倾斜。
云台控制单元101-5经由致动器111控制云台110的移动，并且使摄像单元102在水平方向和垂直方向上转动。由此，可以在改变摄像方向的同时拍摄图像。云台110包括平摇驱动器和倾斜驱动器。平摇驱动器可以在横向方向上从-175°转动到 175°，并且使摄像单元102在水平方向上转动。倾斜驱动器可以从0°或水平方向转动到90°或竖直方向，并且使摄像单元102在垂直方向上转动。
图像传感器102-4对通过摄像光学系统的光进行光电转换并生成模拟图像信号。所生成的模拟图像信号通过诸如相关双采样等的采样处理而进行放大处理，然后被输入到a/d转换器103。通过cpu101控制用于放大处理的参数。a/d转换器103将放大的模拟图像信号转换成数字图像信号，并将数字图像信号输出到图像输入控制器104。图像输入控制器104接收数字图像信号并将数字图像信号输出到图像处理单元105。
图像处理单元105基于在从图像传感器102-4输出的摄像期间的灵敏度信息(诸如agc增益和iso速度等)对数字图像信号进行各种数字图像处理，然后通过总线106，并存储在ram107中。各种数字图像处理包括例如偏移处理、伽马校正处理、增益处理、rgb插值处理、降噪处理、轮廓校正处理、色调校正处理和光源类型判断处理。
图像处理单元105进行用于在图像上叠加字符信息的osd处理、以及用于通过遮蔽图像叠加和马赛克/模糊处理来隐藏遮蔽区域(隐私遮蔽区域)的遮蔽处理。通过来自输入单元114或网络116的用户操作来设置遮蔽区域的坐标信息(位置信息)，并将坐标信息存储在坐标信息管理单元(或获取单元)101-7中。坐标信息管理单元101-7基于所存储的坐标信息和从倾斜控制单元101-3获取到的图像传感器102-4的倾斜角度来更新遮蔽区域的坐标信息，并将坐标信息通知给图像处理单元105。
ram107包括诸如sram和dram等的易失性存储器。rom109包括诸如eeprom和闪速存储器等的非易失性存储器。存储装置112包括诸如hdd、ssd或emmc等的存储装置。用于实现根据本实施例的功能的程序和当执行该程序时使用的数据被存储在rom109或存储装置112中。程序和数据在cpu101的控制下经由总线106被适当地安装在ram107中，并由cpu101使用。
i/f113包括与输入和输出有关的各种i/f。i/f113连接到诸如包括释放开关和电源开关的操作键、十字键、操纵杆、触摸面板、键盘和指示装置(诸如鼠标等)等的输入单元114，并向cpu101通知指示信息。i/f113连接到诸如lcd显示器等的显示单元115，并且显示临时记录在ram107中的图像和操作菜单信息。i/f113经由lan连接到网络116。
图像评价单元117根据来自图像评价区域确定单元101-4的控制指示，计算图像的指定区域的评价值。更具体地，图像评价单元117从ram107获取图像，并且基于指定区域的亮度值来计算与特定频率的对比度相关的评价值。
图像分析单元118进行诸如面部检测、人检测、移动体检测、通过检测、拥塞检测、轨迹检测和离开/取走检测等的图像分析。将图像分析结果通知给cpu101。作为图像分析的对象的图像分析区域的坐标信息(位置信息)通过输入单元114或网络116的用户操作来设置，并被存储在坐标信息管理单元101-7中。坐标信息管理单元101-7基于所存储的坐标信息和从倾斜控制单元101-3获取到的图像传感器102-4的倾斜角度来更新图像分析区域的坐标信息，并将坐标信息通知给图像分析单元118。在本实施例中，图像分析区域不仅包括具有预定面积的区域，而且包括由一条或多条线构成的图像分析线。
压缩/解压缩单元(codec)119根据来自cpu101的控制指示对图像进行压缩处理，并生成压缩数据。压缩数据经由i/f113输出到显示单元115和网络116。另外，codec119对存储装置112中存储的压缩数据进行预定格式的解压缩处理，并生成解压缩数据。更具体地，对静止图像进行符合jpeg标准的压缩处理，并且对运动图像进行符合诸如motion-jpeg、mpeg2、avc/h.264和avc/h.265等的标准的压缩/解压缩处理。codec119可以指定对指定区域(压缩率指定区域)的压缩率。坐标信息管理单元101-7保持通过来自输入单元114或网络116的用户操作而设置的压缩率指定区域的坐标信息(位置信息)和压缩率。坐标信息管理单元101-7基于所保持的坐标和从倾斜控制单元101-3获取到的图像传感器102-4的倾斜角度将压缩率指定区域的坐标信息连同压缩率一起进行更新，并将该坐标信息和压缩率通知给codec119。
现在将给出当在设置遮蔽区域、图像分析线和压缩率指定区域之后使图像传感器102-4倾斜并且拍摄图像时的图像的描述。图2a至2f示意性地示出图像传感器的倾斜和焦平面。图2a、2c和2e示出图像传感器102-4的状态。图2b示出在如图2a所示未使图像传感器102-4倾斜的情况下拍摄的图像。图2d示出通过如图2c所示使图像传感器102-4在倾斜方向上倾斜而拍摄的图像。图2f示出通过如图2e所示使图像传感器102-4在平摇方向上倾斜而拍摄的图像。
如图2b所示，由图像处理单元105设置遮蔽区域202以隐藏被摄体201。设置图像分析线203和压缩率指定区域204。在本实施例中，将图像分析线203设置为图像分析的对象，但是可以通过多个顶点来设置图像分析区域。
当图像传感器102-4倾斜时，如图2d和2f所示，图像中的被摄体201的位置从图像传感器102-4倾斜之前的位置改变。然而，由于维持了遮蔽区域202的位置，因此被摄体201未被隐藏。图像分析线203和压缩率指定区域204之间相对于图像的位置关系也从图像传感器102-4倾斜之前的位置关系改变。
现在将给出当图像传感器102-4倾斜时发生的上述改变的原因的描述。图3a至3c示意性地示出由图像传感器102-4的倾斜导致的梯形失真。图3a示出倾斜角度α的摄像面。图3b和3c分别示出yz平面和xz平面上的摄像面。在图像传感器102-4倾斜之前的摄像面上的任意位置p被投影到在图像传感器102-4倾斜了角度α之后的摄像面上的投影位置p’上。在l是在图像传感器102-4倾斜角度α之前从透镜到图像传感器102-4的(轴上)距离的情况下，投影位置p’的x坐标x’和y坐标y’可以通过使用位置p的x坐标x和y坐标y、投影变换以及以下表达式(1)和(2)来表示。
如表达式(1)和(2)所表示的，使图像传感器102-4倾斜导致图像中的梯形失真。
图4示意性地示出由图像传感器102-4的倾斜导致的图像移动。将光学滤波器401安装到图像传感器102-4以减少由于红外线引起的图像劣化和摩尔纹。当使图像传感器102-4和光学滤波器401倾斜时，在图像传感器102-4倾斜之前的摄像面上的任意位置p的投影位置p’由于光学滤波器401的折射影响而改变到投影位置p”。在d是光学滤波器401的厚度、n是折射率、并且g是图像传感器102-4和光学滤波器401之间的(最小)距离的情况下，投影位置的改变量y’shift由以下表达式(3)表示。
因此，当使图像传感器102-4在倾斜方向上倾斜时，在图像传感器102-4倾斜之前的摄像面上的任意位置p被投影到投影位置p”上。投影位置p”的x坐标x”和y坐标y”分别使用位置p的x坐标x和y坐标y通过以下表达式(4)和(5)来表示。
本实施例通过使图像传感器102-4倾斜来控制焦平面，但是本发明不限于本实施例。可以通过经由驱动器108和倾斜控制单元101-3使摄像光学系统中所设置的未示出的倾斜透镜倾斜来控制焦平面。
示例1
现在参考图5，将描述当使图像传感器102-4在倾斜方向上倾斜时对图像中的特定区域(遮蔽区域、图像分析区域和压缩率指定区域中的至少一个)执行的根据本示例的坐标校正处理。坐标校正处理是rom109中存储的程序中的处理的一部分。图5是示出本示例的坐标校正处理的流程图。根据本示例的坐标校正处理在摄像设备100的操作期间在ram107中展开，并且在图像传感器102-4拍摄图像的定时或者在倾斜控制单元101-3控制图像传感器102-4的倾斜的定时由cpu101执行。
在步骤s501中，cpu101从倾斜控制单元101-3获取图像传感器102-4的倾斜角度。
在步骤s502中，cpu101判断图像传感器102-4的倾斜角度是否已经改变。更具体地，cpu101判断在ram107中记录的上次坐标校正处理中获取到的图像传感器102-4的倾斜角度是否与在步骤s501中获取到的图像传感器102-4的倾斜角度不同。如果图像传感器102-4的倾斜角度已经改变，则流程进入步骤s503。如果图像传感器102-4的倾斜角度没有改变，则坐标校正处理结束。
在步骤s503中，坐标信息管理单元101-7针对所保持的全部特定区域进行坐标再计算处理。特定区域包括图像分析线。
现在参考图6，将给出坐标再计算处理的描述。图6是示出根据本示例的坐标再计算处理的流程图。
在步骤s601中，坐标信息管理单元101-7针对构成所存储的全部特定区域的各个顶点，计算移动目的地的坐标(在下文中称为“目的地坐标”)。在本示例中，坐标信息管理单元101-7基于光学滤波器401的折射影响来计算目的地坐标。换句话说，在(x，y)是移动前坐标、α是图像传感器102-4的倾斜角度、d是光学滤波器401的厚度、并且g是图像传感器102-4和光学滤波器401之间的(最小)距离的情况下，移动目的地的坐标(x”，y”)由以下表达式(6)和(7)表示。
x″＝x(6)
本示例基于光学滤波器401的折射影响来计算目的地坐标，但是本发明不限于本示例。可以基于诸如由于摄像面和光轴之间的角度而引起的梯形失真、由于透镜像差而引起的图像失真、或者云台110的朝向等的影响光学空间轴的其它因素来计算目的地坐标。
在步骤s602中，坐标信息管理单元101-7判断移动前坐标(x，y)和目的地坐标(x”，y”)之间的距离是否等于或小于第一预定值。基于图像处理单元105中的输入/输出图像的像素大小、图像分析单元118中的分析图像的像素大小或codec119中的压缩块大小，将第一预定值确定为不影响各个功能的最大大小。第一预定值也可以通过i/f113从输入单元114或网络116来设置。如果计算出的距离等于或小于第一预定值，则流程进入步骤s605，以及如果计算出的距离大于第一预定值，则流程进入步骤s603。当计算出的距离等于第一预定值时，可以任意设置进入哪个步骤。
在步骤s603中，坐标信息管理单元101-7判断从目的地坐标(x”，y”)到光轴的距离是否等于或小于第二预定值。基于图像传感器102-4的倾斜角度、图像处理单元105中的输入/输出图像的像素大小、图像分析单元118中的分析图像的像素大小、或codec119中的压缩块大小，将第二预定值确定为不影响各个功能的最大大小。第二预定值也可以通过i/f113从输入单元114或网络116来设置。当计算出的距离等于或小于第二预定值时，流程进入步骤s605，以及当计算出的距离大于第二预定值时，流程进入步骤s604。当计算出的距离等于第二预定值时，可以任意设置进入哪个步骤。
在步骤s604中，坐标信息管理单元101-7将目的地坐标设置为在步骤s602中计算出的结果或目的地坐标(x”，y”)。
在步骤s605中，坐标信息管理单元101-7将目的地坐标设置为移动前坐标(x，y)。
由坐标信息管理单元101-7针对构成所存储的全部特定区域的顶点执行坐标再计算处理。在针对全部顶点进行处理之后(在坐标再计算处理结束之后)，流程进入步骤s504。
在步骤s504中，坐标信息管理单元101-7判断全部所存储的遮蔽区域的位置、大小或形状的改变是否等于或大于第一阈值。可以基于图像处理单元105中的输入/输出图像的像素大小将第一阈值确定为图像传感器102-4的倾斜角度不影响遮蔽区域的最大大小。第一阈值也可以通过i/f113从输入单元114或网络116来设置。如果遮蔽区域的位置、大小或形状的改变等于或大于第一阈值，则流程进入步骤s505。如果改变小于第一阈值，则流程进入步骤s506。当遮蔽区域的位置、大小或形状的改变等于第一阈值时，可以任意设置进入哪个步骤。
在步骤s505中，坐标信息管理单元101-7将遮蔽区域的坐标信息通知给图像处理单元105以重新设置遮蔽区域。
针对全部遮蔽区域执行步骤s504和s505的处理。在针对全部遮蔽区域执行上述处理之后，流程进入步骤s506。
在步骤s506中，坐标信息管理单元101-7判断全部所存储的图像分析区域的位置、大小或形状的改变是否等于或大于第二阈值。可以基于图像分析单元118中的分析图像的分辨率将第二阈值确定为图像传感器102-4的倾斜角度不影响图像分析区域的最大大小。第二阈值也可以通过i/f113从输入单元114或网络116来设置。如果图像分析区域的位置、大小或形状的改变等于或大于第二阈值，则流程进入步骤s507。如果改变小于第二阈值，则流程进入步骤s508。当图像分析区域的位置、大小或形状的改变等于第二阈值时，可以任意设置进入哪个步骤。图像分析区域还包括图像分析线。
在步骤s507中，坐标信息管理单元101-7将图像分析区域的坐标信息通知至图像分析单元118以重新设置图像分析区域。
针对全部图像分析区域执行步骤s506和s507中的处理。在针对全部图像分析区域执行上述处理之后，流程进入步骤s508。
在步骤s508中，cpu101判断在坐标信息管理单元101-7中存储的全部压缩率指定区域的位置、大小或形状的改变是否等于或大于第三阈值。可以基于codec119中的压缩块大小将第三阈值确定为图像传感器102-4的倾斜角度不影响压缩率指定区域的最大大小。第三阈值也可以通过i/f113从输入单元114或网络116来设置。如果压缩率指定区域的位置、大小或形状的改变等于或大于第三阈值，则流程进入步骤s509。如果改变小于第三阈值，则坐标校正处理结束。当压缩率指定区域的位置、大小或形状的改变等于第三阈值时，可以任意设置进入哪个步骤。
在步骤s509中，坐标信息管理单元101-7将压缩率指定区域的坐标信息通知给codec119以重新设置压缩率指定区域。
针对全部压缩率指定区域执行步骤s508和s509的处理。在针对全部压缩率指定区域执行上述处理之后，坐标校正处理结束。
图7a和7b示出在针对通过使图像传感器102-4倾斜所拍摄的图像中的特定区域进行坐标校正处理之后的图像。图7a示出针对图2d中的图像进行坐标校正处理之后的图像。图7b示出针对图2f中的图像进行坐标校正处理之后的图像。如图7a和7b所示，遮蔽区域202隐藏被摄体201。图像分析线203和压缩率指定区域204相对于图像的位置关系也维持图像传感器102-4倾斜之前的位置关系。
如上所述，即使当通过使图像传感器102-4倾斜来改变图像失真或视角时，本实施例也使得图像的特定区域跟随用户设置期间所期望的位置。
虽然本实施例已经描述了当使图像传感器102-4在倾斜方向上倾斜时的坐标校正处理，但是根据本示例的坐标校正处理也可应用于图像传感器102-4在平摇方向上倾斜的情况。通过这样做，可以获得本发明的上述效果。
示例2
示例1在坐标再计算处理的步骤s601中基于光学滤波器401的折射影响来计算目的地坐标，而本示例基于取决于摄像面和光轴之间的角度的梯形失真的影响来计算目的地坐标。由于其它结构和方法与示例1的结构和方法相同，因此在本示例中将省略其详细描述。
在步骤s601中，坐标信息管理单元101-7基于由于摄像面和光轴之间的角度而引起的梯形失真的影响来计算目的地坐标。换句话说，在(x，y)是移动前坐标、α是图像传感器102-4的倾斜角度、并且l是图像传感器102-4和透镜之间的(最小)距离的情况下，移动目的地的坐标(x”，y”)由以下表达式(8)和(9)表示。
与示例1相同，即使当通过使图像传感器102-4倾斜来改变图像失真或视角时，本示例也可以使图像的特定区域跟随用户设置期间所期望的位置。
示例3
在坐标再计算处理的步骤s601中，本示例基于光学滤波器401的折射影响和由于摄像面与光轴之间的角度而引起的梯形失真的影响来计算目的地坐标。由于其它结构和方法与示例1中的结构和方法相同，因此在本示例中将省略其详细描述。
在步骤s601中，坐标信息管理单元101-7基于光学滤波器401的折射影响和由于摄像面与光轴之间的角度而引起的梯形失真的影响来计算目的地坐标。换句话说，在(x，y)是移动前坐标、α是图像传感器102-4的倾斜角度、d是光学滤波器401的厚度、g是图像传感器102-4和光学滤波器401之间的(最小)距离、并且l是图像传感器102-4和透镜之间的(轴上)距离的情况下，目的地坐标(x”，y”)由以下表达式(10)和(11)表示。
与示例1相同，即使通过使图像传感器102-4倾斜来改变图像失真或视角，本示例也可以使图像的特定区域跟随用户设置期间所期望的位置。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。
1.一种控制设备，包括：
角度控制单元，其被配置为改变图像传感器的摄像面和与摄像透镜的光轴垂直的面之间的角度；
获取单元，其被配置为获取图像的特定区域的位置信息；以及
管理单元，其被配置为基于所述角度来改变所述位置信息。
2.根据权利要求1所述的控制设备，其特征在于，所述特定区域是要隐藏的区域、作为图像分析的对象的区域以及进行压缩/解压缩处理的区域其中至少之一。
3.根据权利要求1或2所述的控制设备，其特征在于，在从所述位置信息到所述摄像透镜的光轴的距离大于预定值的情况下，所述管理单元基于焦平面的调整来改变所述位置信息，以及在所述距离小于所述预定值的情况下，所述管理单元没有基于所述焦平面的调整改变所述位置信息。
4.一种摄像设备，其包括控制设备，其特征在于，所述控制设备包括：
角度控制单元，其被配置为改变图像传感器的摄像面和与摄像透镜的光轴垂直的面之间的角度；
获取单元，其被配置为获取图像的特定区域的位置信息；以及
管理单元，其被配置为基于所述角度来改变所述位置信息。
5.一种控制方法，包括：
改变由摄像透镜形成的角度或图像传感器的摄像面和与所述摄像透镜的光轴垂直的面之间的角度；
获取图像的特定区域的位置信息；以及
基于所述角度来改变所述位置信息。
6.一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使计算机执行控制方法，其中，所述控制方法包括：
改变由摄像透镜形成的角度或图像传感器的摄像面和与所述摄像透镜的光轴垂直的面之间的角度；
获取图像的特定区域的位置信息；以及
基于所述角度来改变所述位置信息。
技术总结