本申请是申请日为2015年08月24日、名称为“控制设备、控制方法和飞行器设备”、申请号为201580054838.1的发明专利申请的分案申请。
本公开涉及飞行器设备的控制设备和控制方法。
背景技术：
已经公开了一种与用于使用安装在可无线电控制的飞行器中的相机来捕获照片的方法有关的技术(例如，参考专利文献1)。使用安装在这种飞行器中的相机，可以从天空或难以设置三脚架的位置捕获照片。使用安装在飞行器中的相机进行捕获带来了各种优点，因为可以抑制成本，并且与使用真实的飞机或直升机时相比，安全捕获、在低海拔或狭窄地点捕获、在目标附近捕获等是可能的。
引用列表
专利文献
专利文献1：jp2006-27448a
技术实现要素：
技术问题
据认为，如果这种配备有相机的飞行器使人们能够有效地捕获他们不容易访问的地点的情况，则将非常有助于检查人类难以接近的结构。例如，可以考虑使用飞行器来检查诸如跨河流或海洋建造的桥梁、隧道、水坝和道路之类的社会基础设施、诸如机场、建筑物、仓库、工厂和车间之类的工业基础设施。
这里，用于检查如上所述的结构的图像需要具有足以检测具有规定尺寸的缺陷(诸如裂缝)的精度。作为不使用塔式货车等拍摄具有高精度的图像的方法，例如，考虑用使用高倍率变焦透镜的固定到三脚架的相机进行拍摄。然而，该方法在相机的可拍摄范围方面具有限制。另一方面，如果使用其上安装有相机的飞行器，则其可以接近并拍摄目标。然而，由于飞行器由于风等而难以完全静止，并且受到由螺旋桨的旋转等引起的振动的影响，因此难以获得具有足以确定结构的精确损坏的高精度的图像。
因此，提出了使得能够获得高度精确的图像的新颖且改进的控制设备、控制方法和飞行器设备。
问题的解决方案
根据本公开，提供了一种控制设备，包括：照明控制单元，被配置为根据飞行器设备的机身的倾斜来调整照明设备的光量，该飞行器设备具有被配置为对拍摄目标进行拍摄的成像设备和被配置为对该拍摄目标进行照明的照明设备。
另外，根据本公开，提供了一种控制方法，包括：获取飞行器设备的机身相对于拍摄目标的倾斜，该飞行器设备包括被配置为对拍摄目标进行拍摄的成像设备和被配置为对拍摄目标进行照明的照明设备；以及根据机身的倾斜来调整照明设备的光量。
另外，根据本公开，提供了一种飞行器设备，包括：成像设备，被配置为对拍摄目标进行拍摄；照明设备，被配置为对拍摄目标进行照明；以及控制单元，被配置为根据机身相对于拍摄目标的倾斜来调整照明设备的光量。
发明的有益效果
根据上述本公开，在使用飞行器设备进行拍摄中可以获得高度精确的图像。注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的效果中的任何一种或者可以从本说明书掌握的其他效果。
附图说明
图1是用于描述根据本公开的实施例的使用悬停相机的结构的拍摄的概要的解释图。
图2是例示出根据本公开的实施例的检查系统的示例性系统配置的解释图。
图3是例示出根据本公开的实施例的悬停相机的示例性功能配置的解释图。
图4是例示出根据本公开的实施例的控制终端的示例性功能配置的解释图。
图5是例示出根据本公开的实施例的检查系统的示例性操作的流程图。
图6是例示出根据本公开的实施例的悬停相机的控制单元的用于获取高度精确的图像的功能的示例的功能框图。
图7是例示出根据本公开的实施例的悬停相机的成像设备的拍摄范围的示例的解释图。
图8是例示出根据本公开的实施例的构成照明设备的光源的示例性布置的解释图。
图9是例示出根据本公开的实施例的构成照明设备的光源的另一示例性布置的解释图。
图10是例示出构成照明设备的光源的示例性特性的解释图。
图11是例示出照明设备相对于被照亮的表面而倾斜角度θ的状态的解释图。
图12是例示出当悬停相机处于图11的状态时由照明设备照亮的表面的照度的变化的解释图。
图13是根据本公开的实施例的在悬停相机进行拍摄时的成像设备和照明设备的示例性控制的流程图。
图14是用于描述成像设备的快门控制的示例的流程图。
图15是例示出基于飞行信息的拍摄工作时的悬停相机的速度和加速度中的变化的情况的概念图。
图16是根据本发明的实施例的悬停相机的下框架部分的示意性前视图。
图17是从平面侧例示出驱动成像设备的透镜的第一驱动单元和第二驱动单元的示意性透视图。
具体实施方式
在下文中，将参照附图详细描述本公开的(一个或多个)优选实施例。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略这些结构元件的重复解释。
注意，将按照以下次序提供描述。
1.概要
2.示例性系统配置
3.示例性功能配置
3.1.悬停相机
3.2.控制终端
4.检查系统的示例性操作
5.应用于获取高度精确的图像
5.1.功能配置
5.2.照明设备的光调制控制
(1)拍摄条件
(2)照明设备的配置
(3)根据机身的倾斜对照明设备的光量控制
5.3.在拍摄时对成像设备和照明设备的示例性控制
5.4.成像设备的透镜倾斜控制
6.结论
<1.概要>
在根据本公开的实施例的飞行器设备的配置和结构的拍摄方法之前，首先，将基于图1描述根据本实施例的使用配备有成像设备的飞行器设备(悬停相机)100来拍摄结构的概要。注意，图1是用于描述根据本实施例的使用悬停相机100对结构进行拍摄的概要的解释图。
在诸如道路、桥梁、隧道和建筑物之类的结构的操作和维护中，由人们来检查结构的状态是不可缺少的。通常，为了对这种结构进行视觉检查，通常，工人接近结构，并且在视觉上检查在结构中是否已经发生诸如螺栓之类的耦接构件的腐蚀或裂缝或松动之类的损坏，或者进行锤击测试以检查这种异常的存在或不存在。
对于桥梁特别是混凝土桥梁的操作和维护，例如，有必要为了进行桥主梁或桥墩的视觉检查和锤击测试的工人在桥墩或桥主梁的后侧部分处设置脚手架，或者有必要关闭一些车道或所有车道以确保工人的安全或放置工作车辆。因此，检查所需的成本、由于道路关闭而放置道路导向者所需的成本以及由于道路关闭而发生的迂回的交通堵塞可能是有问题的。
此外，例如，当在河流或海上建造时，存在不容易设置脚手架或难以设置脚手架的桥梁。因此，鉴于这种情形，能够在不影响交通的情况下以低成本和高安全性实施结构的检查的技术是合意的。
因此，本申请的公开者鉴于这种情形已经审阅了一种能够在不影响交通的情况下以低成本和高安全性实施结构的检查的技术。另外，本申请的公开者已经提出了一种能够使用配备有成像设备的飞行器(在下文中，配备有成像设备的飞行器也被称为“悬停相机”)以低成本和高安全性实施检查而不影响交通的技术，其将在下面得到描述。
图1示意性地例示出由混凝土构成的桥梁1。当检查由混凝土构成的桥梁1时，工人视觉地检查在相关技术中是否已经发生诸如裂缝或腐蚀之类的损坏。为了工人进行视觉检查，有必要在桥墩2或桥主梁3的后侧部分处设置脚手架，或者有必要关闭一些车道或所有车道以确保工人的安全或放置工作车辆。
关于这种视觉检查，在本实施例中，悬停相机100用于检查桥梁1。悬停相机100是配备有成像设备的飞行体，其被配置为根据预先设置的飞行信息(包括飞行路径和本实施例中的静止图像的成像位置的信息)来执行自动飞行。静止图像的成像位置的信息的示例包括执行成像处理的位置、成像方向以及到执行下一成像处理的位置的行进时间。
例如，当检查桥主梁3的后侧(底面)时，操作悬停相机100来执行自动飞行以捕获桥主梁3的后侧。通过使悬停相机100捕获桥主梁3的后侧，没有必要为了对桥主梁3的检查而在桥墩2或桥主梁3的后侧部分设置脚手架，车道关闭的频率降低，或者没有必要执行车道关闭。另外，例如，当检查桥主梁3的侧面(侧表面)时，操作悬停相机100来执行自动飞行以捕获桥主梁3的侧面。因此，通过使悬停相机100执行自动飞行并且使悬停相机100捕获桥主梁3的后侧或侧面，可以以低成本检查桥梁1，同时确保工人的安全而不影响交通。
在那时，由悬停相机100拍摄的图像需要具有足以检查细小裂缝等的精度。在根据本实施例的悬停相机100中，飞行器包括照亮拍摄目标的拍摄面的照明机构，并且拍摄面的照度被设置为基本恒定。通过以特定水平或更高的一致照度来照亮目标照明位置(即，拍摄地点)，维持图像拍摄的质量。将在下面详细描述根据本实施例的悬停相机100的配置和使用该相机的结构的拍摄方法。
<2.示例性系统配置>
图2是例示出根据本实施例的检查系统10的示例性系统配置的解释图。根据图2中所例示的实施例的检查系统10是被配置为高效地检查例如桥梁1的结构的系统。下面将参照图2描述根据本实施例的检查系统10的示例性系统配置。
如图2所示，根据本公开的实施例的检查系统10包括悬停相机100、控制终端200、信息处理设备300、无线中继节点400、位置估计节点500、基站600、充电站700以及服务器设备800。
悬停相机100是本公开的示例性成像设备，并且用作配备有上述成像设备的飞行器。悬停相机100是被配置为能够基于指定的飞行路径执行自动飞行并通过成像设备在指定的成像位置处捕获静止图像的飞行器。悬停相机100可以例如通过四个旋翼飞行并且通过控制每个旋翼的旋转而在向上、向下或向前移动的同时飞行。当然，旋翼的数量不限于相关示例。
例如，将从飞行开始位置到飞行结束位置的飞行路径和为悬停相机100设置的成像位置设置为全球定位系统(gps)的位置信息。因此，可以将从gps卫星接收无线电波并计算当前位置的gps接收器合并到悬停相机100中。为悬停相机100设置的飞行路径可以使用纬度、经度和海拔的全部作为gps位置信息来设置，或者可以仅使用纬度和经度作为gps位置信息来设置，并且例如将在下面描述的相对于基站600的相对高度可被设置为海拔。
控制终端200是本公开的示例性控制设备，并且用作执行与悬停相机100的飞行有关的控制的终端。作为与悬停相机100的飞行有关的控制，例如，控制终端200生成要发送到悬停相机100的飞行信息，向悬停相机100给出起飞指令，向将在下面描述的基站600给出返回指令。另外，当悬停相机100由于特定原因而不自动飞行时，控制终端200可以使悬停相机100飞行。由控制终端200对悬停相机100的飞行信息的生成处理将在下面得到详细描述，但将在此得到简要描述。
当生成悬停相机100的飞行信息时，控制终端200读取与要检查的桥梁1的概要有关的信息，例如要检查的桥梁1的概览图，并且使读取的信息在屏幕上显示。桥梁1的概览图上的点与包括更详细的gps信息的地图数据上的点相关联。优选地，通过至少两组点来执行关联。桥梁1的概览图预先与包括详细的gps信息的地图数据上的点相关联，因此悬停相机100的飞行路径被定义为gps值。然后，控制终端200基于桥梁1的概览图生成悬停相机100的飞行路径。悬停相机100的飞行路径以重叠的方式显示在概览图上，使得其容易被用户(结构检查工人)理解。
控制终端200在生成悬停相机100的飞行信息时可以考虑要由悬停相机100捕获的桥梁1或桥梁1的一部分的结构或尺寸。控制终端200在生成悬停相机100的飞行信息时可以生成用于使悬停相机100详细捕获被认为可能被损坏的部分的飞行信息。
如上所述，设置到悬停相机100的飞行路径可以使用纬度、经度和海拔中的全部作为gps位置信息来设置，但是考虑了没有海拔数据被包括在桥梁1的概览图中的情况。当没有海拔数据被包括在桥梁1的概览图中时，设置到悬停相机100的飞行路径仅使用纬度和经度作为gps位置信息来设置，并且例如，相对于基站600的相对高度可被设置为海拔。
当为悬停相机100设置飞行信息时，控制终端200优选地生成飞行信息，使得当悬停相机100捕获桥梁1时到成像目标表面的距离变得恒定。由于飞行信息被生成为使得当悬停相机100拍摄桥梁1时到成像目标表面的距离变得恒定，控制终端200可以使悬停相机100生成具有相同比例的图像。
控制终端200是诸如膝上型计算机或平板终端之类的便携式设备，并且执行到/从悬停相机100的信息的无线发送和接收。控制终端200可以直接与悬停相机100进行与悬停相机100的无线通信。注意，在对结构(特别是桥梁1)的检查中，可能存在悬停相机100飞行超出控制终端200的通信范围的情况。因此，控制终端200可以通过在检查时安装的无线中继节点400来进行与悬停相机100的无线通信。
控制终端200获取在悬停相机100正在飞行时由成像设备捕获的图像，并且根据需要在控制终端200的显示器上显示所获取的图像。控制终端200可以在悬停相机100正在飞行的同时以流送方式获取由成像设备捕获的运动图像，并在显示器上显示所获取的运动图像。由于由成像设备捕获的运动图像在悬停相机100正在飞行的同时以流送方式被获取并被显示在显示器上，所以控制终端200可以向用户呈现悬停相机100正在飞行于的位置。
信息处理设备300是处理各种信息的设备，并且可以例如是具有处理信息的功能的设备，诸如个人计算机(pc)、游戏机等。在本实施例中，信息处理设备300是具有将特别是由悬停相机100捕获的图像显示在信息处理设备300的显示器上的功能的设备，并且使用户能够检查桥梁1的状态。信息处理设备300具有将在下面描述的根据由悬停相机100捕获的图像来计算桥主梁3的损坏的绝对位置并生成损坏数据的功能。信息处理设备300可具有将所生成的损坏数据发送到服务器设备800的功能。另外，控制终端200可具有将在下面描述的根据由悬停相机100捕获的图像来计算桥主梁3的损坏的绝对位置并生成损坏数据的功能。
信息处理设备300例如从控制终端200获取由悬停相机100捕获的图像。通过信息处理设备300获取由悬停相机100捕获的图像的时间不受限制，并且例如，信息处理设备300可以在悬停相机100的一次飞行结束的时间从控制终端200获取由悬停相机100捕获的图像。
无线中继节点400是在悬停相机100和控制终端200之间中继无线通信的设备。如上所述，在对结构(特别是桥梁1)进行检查时，悬停相机100可能飞行超出控制终端200的通信范围。因此，可以通过在检查结构时安装的无线中继节点400来执行悬停相机100和控制终端200之间的无线通信。无线中继节点400的数量不限于1，并且可以根据桥梁1的检查范围安装多个无线中继节点400。因此，悬停相机100和控制终端200之间的无线通信可以通过多个无线中继节点400来执行。悬停相机100可以根据无线电波的情况在控制终端200和无线中继节点400之间切换通信目的地。
无线中继节点400可以在对桥梁1进行检查时安装在桥面上(优选地，人行道上)的适当位置处。无线中继节点400可被安装成从桥主梁3的护栏悬吊下来。另外，在对桥梁1进行检查之前，期望例如通过特定方法使用控制终端200来检查无线中继节点400是否正常操作。
位置估计节点500是使悬停相机100估计当前位置的设备。如上所述，例如使用gps位置信息来设置悬停相机100的飞行路径。此时，当来自gps卫星的无线电波未被阻挡时，悬停相机100可以以高准确度检测当前位置。然而，不能避免的是，悬停相机100在桥主梁3下方飞行。如果来自gps卫星的无线电波被桥主梁3阻挡或者由于桥梁1对无线电波的反射而发生多路径，例如，则悬停相机100不太可能以高准确度检测当前位置。
在这点上，在本实施例中，位置估计节点500安装在桥主梁3下方，以使得悬停相机100能够准确地获取当前位置。例如，增强现实(ar)标记或gps信号发送器可以用作位置估计节点500。
当ar标记用作位置估计节点500时，为了使悬停相机100能够识别当前位置，例如，位置估计节点500被从桥梁1的两端悬吊下来，并且悬停相机100被使得捕获位置估计节点500。另外，使已经捕获位置估计节点500的悬停相机100在指定的位置估计节点500之间飞行。悬停相机100可以例如基于安装在悬停相机100中的传感器(例如，惯性测量单元(imu)传感器)的积分值以及根据捕获的图像计算出的到移动目的地的位置估计节点500的距离来检测位置估计节点500之间的位置。因此，悬停相机100捕获位置估计节点500，并且因此即使在桥主梁3下方也可以准确地获取当前位置。
另外，当gps信号发送器用作位置估计节点500时，为了使悬停相机100能够识别当前位置，例如，将位置估计节点500安装在桥梁1的相对角或四个角处。悬停相机100接收从位置估计节点500发送的gps信号，并且因此即使在桥主梁3下方也可以准确地获取当前位置。
基站600是为悬停相机100的起飞和着陆而安装的设备。基站600包括gps接收器，并且接收来自gps卫星的无线电波并计算当前位置。由基站600计算的当前位置被发送到控制终端200。由于由基站600计算的当前位置被发送到控制终端200，所以控制终端200可以使基站600的位置被显示在桥梁1的概览图上。
基站600可具有检查悬停相机100的操作的功能。由基站600执行的对悬停相机100的操作检查的示例包括通信功能检查、成像功能检查、飞行功能检查和各种类型的传感器的校准。另外，悬停相机100的传感器的校准方法不限于使用基站600的方法。例如，作为悬停相机100的传感器的校准方法，可以使用在专用校准中固定悬停相机100并且通过在俯仰方向或滚动方向上旋转悬停相机100来校正传感器的方法。
充电站700对安装在悬停相机100中的二次电池进行充电。悬停相机100使用电池作为电源，并且在飞行或捕获期间消耗在电池中累积的电力。当安装在悬停相机100中的电池是二次电池时，充电站700可以通过对电池充电来恢复由悬停相机100消耗的电力。充电站700可以通过将电缆等连接到悬停相机100并向悬停相机100提供电力来对悬停相机100充电。或者，充电站700可以通过借助非接触电力传输方案向悬停相机100提供电力来对悬停相机100充电。
服务器设备800是存储各种类型的数据的设备。在本实施例中，服务器设备800可以存储由信息处理设备300生成的损坏数据。
根据本公开的实施例的检查系统10具有图2中所例示的配置并且可以使悬停相机100捕获桥梁1并获取桥梁1的图像。由于使得悬停相机100捕获桥梁1，因此没有必要在桥墩或桥主梁处设置脚手架，为了确保工人的安全而关闭一些车道或所有车道的频率被降低，并且没有必要关闭车道。因此，根据本公开的实施例的检查系统10使得以低成本高效地进行对桥梁1的检查。
上面已经描述了根据本公开的实施例的检查系统10的示例性系统配置。接下来，将描述构成根据本公开的实施例的检查系统10的悬停相机100和控制终端200的示例性功能配置。
<3.示例性功能配置>
[3.1.悬停相机]
将基于图3描述根据本实施例的悬停相机100的示例性功能配置。图3是例示出根据本实施例的悬停相机100的示例性功能配置的解释图。
如图3所示，根据本实施例的悬停相机100被配置为包括成像设备101、照明设备105、旋翼104a至104d、马达108a至108d、控制单元110、通信单元120、传感器单元130、位置信息获取单元132、存储单元140和电池150。
控制单元110控制悬停相机100的操作。例如，控制单元110通过调整马达108a至108d的旋转速度来执行对旋翼104a至104d的旋转速度的调整，执行使用成像设备101的成像处理，执行对照明设备105的照明的控制等。另外，控制单元110可以控制经由通信单元120向另一设备(例如，控制终端200)发送信息和从另一设备接收信息的处理，以及在存储单元140上记录信息和从存储单元140读取信息的处理。控制单元110包括诸如中央处理单元(cpu)之类的处理器或处理电路，并且当处理器或处理电路执行各种程序和处理时，实现控制单元110的各种功能部件的功能。另外，控制单元110可以包括存储器或存储设备，其临时或永久地存储由处理器或处理电路执行的程序和在处理中读取和写入的数据。
在本实施例中，控制单元110基于从控制终端200发送的飞行信息来控制其中调整马达108a至108d的旋转速度的飞行和成像设备101对静止图像的成像处理的执行。控制单元110基于从控制终端200发送的飞行信息来控制马达108a至108d或成像设备101，并且因此可以基于控制终端200的请求向控制终端200提供图像。
成像设备101配置有透镜、诸如ccd图像传感器或cmos图像传感器之类的图像传感器，等等。安装在悬停相机100的机身中的成像设备101根据来自控制终端200的控制来捕获静止图像或运动图像。由成像设备101捕获的图像从通信单元120发送到控制终端200。在本实施例中，成像设备101基于包含在从控制终端200发送的飞行信息中的静止图像的成像位置的信息来执行成像处理。通过成像设备101的成像处理获得的图像被记录在存储单元140中或者从通信单元120发送到控制终端200。当悬停相机100对桥梁1的底面侧进行成像时，可以想到由于桥梁1阻挡阳光而引起的不足亮度，因此，根据本实施例的悬停相机100具有如将在下面描述的用于在成像期间使拍摄范围内的照度一致的照明设备105。
成像设备101可以通过来自控制单元110的控制将成像方向改变为例如任意方向。例如，当假设悬停相机的水平方向为0°时，可以在由垂直±90°的范围指示的成像方向上执行捕获。当成像设备101改变成像方向时，悬停相机100可以在特定方向上捕获图像，并将捕获的图像提供给控制终端200。然后，控制单元110将当成像设备101捕获静止图像时悬停相机100的位置信息、捕获时的机身信息(即，捕获时关于悬停相机100的信息)和成像方向的信息关联为静止图像的元数据。
注意，悬停相机100的位置信息还可以包括基于gps定位以及使用位置估计节点500的定位的位置信息。成像时的机身信息包括例如以下信息：悬停相机100的机身关于基准面的倾斜(例如，偏航角、俯仰角和滚动角)、悬停相机100的机身相对于拍摄目标的倾斜、加速度、角速度，等等。这里所指的基准面例如是相对于地面的水平面。悬停相机100的机身相对于拍摄目标的倾斜例如指的是在诸如桥梁的底面或侧面之类的拍摄目标与悬停相机100的机身之间形成的角度。作为存储关联元数据的方法，可以将元数据添加到静止图像数据的附加信息区域(例如，exif格式的特定区域)，或者可以将元数据作为单独数据记录在图像文件、单独文件或类似物中。
旋翼104a至104d通过从其旋转生成提升力来使悬停相机100飞行。旋翼104a至104d的旋转由马达108a至108d的旋转引起。马达108a至108d使旋翼104a至104d旋转。马达108a至108d的旋转可以由控制单元110控制。
照明设备105是用于使悬停相机100的成像设备101的拍摄范围的照度一致的机构。照明设备105被配置为包括例如多个光源。作为光源，例如，可以使用led光源。注意，下面将描述照明设备105的详细配置。在本实施例中，控制单元110根据悬停相机100相对于拍摄目标的拍摄面的姿态(倾斜)来控制构成照明设备105的光源的光量。因此，可以将成像设备101的拍摄范围的照度设置为一致，从而可以改进由成像设备101拍摄的图像的精度。
注意，下面将详细描述根据本实施例的控制单元110用于改进由成像设备101获取的图像的精度的处理。
通信单元120通过无线通信执行向/从控制终端200的信息的发送和接收处理。悬停相机100将由成像设备101捕获的图像从通信单元120发送到控制终端200。另外，悬停相机100使用通信单元120从控制终端200接收与飞行有关的指令。
传感器单元130是获取悬停相机100的状态的一组设备，并且可以包括例如加速度传感器、陀螺仪传感器、超声波传感器、气压传感器、光流传感器、测量到目标的距离的激光测距仪等。传感器单元130可以将获取的悬停相机100的状态转换为预定信号，并且在必要时将该信号提供给控制单元110。
控制单元110可以根据例如从传感器单元130提供的陀螺仪传感器的角速度信息和加速度传感器的加速度信息来生成关于机身相对于基准面的倾斜(例如，偏航角、俯仰角和滚动角)的信息。另外，控制单元110可以基于传感器单元130的激光测距仪的感测信息来获取从悬停相机100到拍摄目标的距离。多个激光测距仪可以以预定间隔设置在悬停相机100的机身中。在这种情况下，控制单元110可以通过使用来自所述多个激光测距仪的感测信息执行计算来获取悬停相机100的机身相对于拍摄目标的表面的倾斜的信息以及悬停相机100的机身相对于基准面的倾斜的信息。
位置信息获取单元132使用例如gps、视觉传感器等来获取悬停相机100的当前位置的信息。当必要时，位置信息获取单元132可以将获取的悬停相机100的当前位置的信息提供给控制单元110。控制单元110使用由位置信息获取单元132获取的悬停相机100的当前位置的信息，基于从控制终端200接收的飞行信息来执行对悬停相机100的飞行的控制。
传感器单元130检测在飞行时可能干扰飞行的障碍物。当传感器单元130检测到障碍物时，悬停相机100可以向控制终端200提供与检测到的障碍物有关的信息。
存储单元140存储各种信息。存储在存储单元140中的信息的示例包括从控制终端200发送的悬停相机100的飞行信息和由成像设备101捕获的图像。
电池150累积用于操作悬停相机100的电力。电池150可以是其中仅可以放电的一次电池，或者可以是其中也可以充电的二次电池，但是当电池150是二次电池时，例如，可以从图2所示的充电站700向电池150供应电力。
根据本实施例的悬停相机100可具有图3所示的配置，并且因此可以基于包含在从控制终端200发送的飞行信息中的飞行路径来执行自动飞行，并且基于包含在从控制终端200发送的飞行信息中的静止图像的成像位置的信息来执行成像处理。
上面已经使用图3描述了根据本实施例的悬停相机100的示例性功能配置。
[3.2.控制终端]
接下来，将基于图4描述根据本实施例的控制终端200的示例性功能配置。图4是例示出根据本实施例的控制终端200的示例性功能配置的解释图。如图4所示，根据本实施例的控制终端200被配置为包括显示单元210、通信单元220、控制单元230和存储单元240。控制终端200包括诸如cpu之类的处理器或处理电路，并且当处理器或处理电路执行各种程序和处理时，显示单元210、通信单元220和控制单元230的功能被实现。另外，控制终端200包括作为存储单元240的存储器或存储设备，其临时或永久地存储由处理器或处理电路执行的程序以及在处理中读取和写入的数据。
显示单元210包括平面显示设备，例如液晶显示设备、有机el显示设备等。显示单元210可以显示例如由成像设备101捕获的图像或用于控制悬停相机100的操作的信息。显示单元210设置有触摸面板，因此用户可以通过用他或她的手指等触摸显示单元210来针对显示在显示单元210上的信息进行直接操作。
通信单元220通过无线通信向/从悬停相机100发送和接收信息。控制终端200使用通信单元220从悬停相机100接收由成像设备101捕获的图像。另外，控制终端200将与悬停相机100的飞行有关的指令从通信单元220发送到悬停相机100。与悬停相机100的飞行有关的命令可以由控制单元230生成。
控制单元230控制控制终端200的操作。例如，控制单元230可以控制在显示单元210上显示文本、图、图像或其他信息的处理以及通过通信单元220向/从其他设备(例如，悬停相机100)的信息的发送和接收处理。控制单元230被配置为包括飞行信息生成单元232和显示控制单元234。
飞行信息生成单元232生成要发送到悬停相机100的飞行信息。在生成飞行信息时，例如，飞行信息生成单元232使用存储在将在下面描述的存储单元240中的与要检查的结构有关的信息。当生成飞行信息时，飞行信息生成单元232使在悬停相机100起飞之前从通信单元220发送所生成的飞行信息。
这里，将简要描述由飞行信息生成单元232进行的飞行信息生成处理的示例。飞行信息生成单元232在生成悬停相机100的飞行信息时读取要检查的桥梁1的概览图。所读取的桥梁1的概览图通过显示控制单元234而被显示在显示单元210上。如上所述，桥梁1的概览图上的点预先与包括详细的gps信息的地图数据上的点相关联。优选地，通过至少两组点来进行关联。桥梁1的概览图预先与包括详细的gps信息的地图数据上的点相关联，因此悬停相机100的飞行路径是使用gps值(纬度和经度的集合)来定义的。
然后，飞行信息生成单元232基于桥梁1的概览图生成悬停相机100的飞行路径。飞行信息生成单元232在生成悬停相机100的飞行路径时使用与结构有关的信息(诸如桥梁1的构造方法、宽度和跨度长度、悬停相机100的可用飞行时间段)以及诸如桥梁1的检查方法之类的信息。混凝土桥梁根据加强方法而被分类为钢筋混凝土(rc)和预应力混凝土(pc)，并被分类为例如rct梁桥、pct梁桥、pc空心板桥、rc箱梁桥、pc箱梁桥，等等。因此，在用作检查目标的桥梁1的构造方法已知的情况下，飞行信息生成单元232可以生成适合桥梁1的构造方法的飞行路径。然后，飞行信息生成单元232使悬停相机100的飞行路径以重叠的方式显示在桥梁1的概览图上。
飞行信息生成单元232如上所述使用gps值(纬度和经度的集合)来定义悬停相机100的飞行路径。当飞行信息生成单元232使用gps值来定义悬停相机100的飞行路径时，悬停相机100可以基于gps值来确定在飞行时执行成像处理的位置。
显示控制单元234控制在显示单元210上的文本、图、图像和其他信息的显示。例如，当飞行信息生成单元232生成要发送到悬停相机100的飞行信息时，显示控制单元234执行控制，使得要检查的结构(桥梁1)的概览图和所生成的飞行信息被显示在显示单元210上。
存储单元240存储各种类型的信息。存储在存储单元240中的信息的示例包括与要检查的结构(桥梁1)有关的信息。与要检查的结构有关的信息的示例包括要检查的结构(桥梁1)的概览图和要检查的结构的构造方法。另外，当预先知道要检查的结构的被认为很可能被损坏的位置时，与要检查的结构有关的信息可包括被认为很可能被损坏的部分的信息。
另外，即使当与要检查的结构(桥梁1)有关的信息未被预先存储在存储单元240中时，控制终端200也可以在对结构进行检查时例如从信息处理设备300接收与检查目标的结构有关的信息。
根据本实施例的控制终端200具有图4所示的配置，并且可以基于与要检查的结构(桥梁1)有关的信息来生成要发送到悬停相机100的飞行信息。然后，控制终端200可以获取由基于飞行信息飞行的悬停相机100基于飞行信息捕获的图像。
以上已经描述了根据本实施例的控制终端200的示例性功能配置。
<4.检查系统的示例性操作>
将基于图5描述根据上述本实施例的检查系统10的示例性操作。图5是例示出根据本实施例的检查系统10的示例性操作的流程图。图5例示出当通过使悬停相机100飞行并使悬停相机100对桥梁1成像来检查桥梁1时根据本实施例的检查系统10的示例性操作。注意，假设当将使用悬停相机100来检查桥梁1时，无线中继节点400和位置估计节点500被预先安装在桥梁1上的适当位置处。
首先，生成悬停相机100的飞行信息的控制终端200读取包括检查目标的桥梁1的概览图的与桥梁1有关的信息，并且使桥梁1的概览图显示在显示单元210上(步骤s101)。例如通过飞行信息生成单元232来执行与桥梁1有关的信息的读取，并且例如通过显示控制单元234来执行在显示单元210上显示桥梁1的概览图。其中正在显示单元210上显示桥梁1的概览图的控制终端200使用户能够使用正显示在显示单元210上的桥梁1的概览图来指定要检查的桥梁1的区域(步骤s102)。在步骤s102中使用户能够指定区域的处理例如由飞行信息生成单元232执行。
例如，当桥梁1的一部分被设置为检查目标时，控制终端200使用户能够在正显示在显示单元210上的桥梁1的概览图中指定检查目标区域。另外，例如，当整个桥梁1被设置为检查目标时，控制终端200使用户能够在正显示在显示单元210上的桥梁1的概览图中指定桥梁1的所有区域。
当用户指定了要检查的桥梁1的区域时，控制终端200随后基于与桥梁1有关的信息来生成用于由用户指定的要检查的区域的悬停相机100的飞行信息(步骤s103)。步骤s103中的飞行信息生成处理例如由飞行信息生成单元232执行。
当在步骤s103中生成悬停相机100的飞行信息时，控制终端200使用与结构有关的信息(诸如桥梁1的构造方法、宽度和跨度长度、悬停相机100的可用飞行时间段)，以及诸如桥梁1的检查方法之类的信息。例如，当在桥梁1的构造方法中使用t梁时，控制终端200生成其中悬停相机100在桥梁1的底侧处重复悬浮和下降的飞行路径作为飞行信息。另外，当在步骤s103中生成悬停相机100的飞行信息时，控制终端200可以使用桥梁1的图像目标表面的信息。例如，当用户选择捕获桥梁1的侧面时，控制终端200生成沿桥梁1的侧面的飞行路径作为飞行信息，并且当用户选择捕获桥梁1的底面时，控制终端200生成其在桥梁1的底侧下来回行进的飞行路径作为飞行信息。
当在步骤s103中生成悬停相机100的飞行信息时，控制终端200随后将生成的飞行信息发送到悬停相机100，并将起飞指令发送到悬停相机100(步骤s104)。例如，由飞行信息生成单元232通过通信单元220执行生成的飞行信息的发送和起飞指令的发送。
已经从控制终端200接收到飞行信息和起飞指令并且随后从基站600起飞的悬停相机100基于从控制终端200发送的飞行信息来飞行，执行成像处理，并获取静止图像(步骤s105)。悬停相机100获取当执行获取静止图像的成像处理时的位置信息或成像处理时的机身信息，并且将获取的信息与静止图像相关联。例如，成像处理时的关于机身的信息可包括例如悬停相机100相对于基准面的倾斜(例如，偏航角、俯仰角和滚动角)、加速度或角速度。另外，悬停相机100可以以流送方式将在飞行期间正由成像设备101捕获的运动图像发送到控制终端200。当控制终端200获取正由悬停相机100在飞行期间通过成像设备捕获的运动图像并将其显示在显示器上时，控制终端200可以向用户呈现悬停相机100正在飞行于的位置。
优选地，当执行成像处理时，悬停相机100在所有成像点处保持离图像目标表面(例如，桥主梁3的侧面或底面)恒定的距离。由于在所有成像点处离图像目标表面的距离保持恒定，所以悬停相机100可以获得以相同尺寸捕获的静止图像。
当被认为很可能被损坏的部分包括在悬停相机100的飞行路径中时，悬停相机100可以针对该部分改变成像设备的成像方向、使用具有不同波长的红外线或者改变快门速度，并且随后捕获多个静止图像。另外，当被认为很可能被损坏的部分包括在悬停相机100的飞行路径中时，悬停相机100可以将执行该部分的成像处理的位置的间隔缩小为小于其他部分的。
当最后一个成像点处的成像处理完成时，悬停相机100自动飞向基站600以返回到基站600(步骤s106)。然后，控制终端200从悬停相机100获取由已经返回到基站600的悬停相机100捕获的图像(步骤s107)。可以在悬停相机100如上所述返回到基站600之后执行对由悬停相机100捕获的图像的获取，但是每当悬停相机100执行成像处理并获取静止图像时控制终端200可以顺序地获取静止图像。
上面已经描述了根据本实施例的检查系统10的示例性操作。根据按照本实施例的检查系统10，控制终端200生成要发送到悬停相机100的飞行信息，并且悬停相机100可以基于飞行信息捕获图像。
<5.应用于获取高度精确的图像>
通过使悬停相机100飞行并使悬停相机100捕获桥梁1，可以检查工人不容易接近的地点(例如，桥主梁3的底面)的状态。这里，由这里的成像设备101获取的图像需要是利用其可以精确地检测诸如结构损坏之类的检测目标的高度精确的图像。因此，为了使根据本实施例的悬停相机100获取高度精确的图像，控制单元110首先对照明设备105进行照明控制，以使成像设备101的拍摄范围的照度基本一致。
另外，在使用悬停相机100的拍摄中，存在以下顾虑：机身可能由于风之类的干扰或机身的驱动系统的操作而振动，因此拍摄的图像可能看起来模糊。因此，在根据本实施例的悬停相机100中，控制单元110执行消除振动对成像设备101的影响并防止捕获的图像模糊的处理。下面将详细描述根据本实施例的利用悬停相机100获取高度精确的图像的处理。
[5.1.功能配置]
首先，将基于图6描述用于利用根据本实施例的悬停相机100获取高度精确的图像的控制单元110的功能。注意，图6是例示出根据本实施例的悬停相机100的控制单元110的用于获取高度精确的图像的功能的示例的功能框图。注意，对于获取高度精确的图像的功能，根据本公开的悬停相机的控制单元可以不一定具有图6所示的所有功能，并且可具有至少任意一个功能。
根据本实施例的悬停相机100的控制单元110为了如图6所示的用于获取高度精确的图像的功能而具有拍摄参数设置部111、检测信息获取部113、照明控制部115、快门控制部117和姿态控制部119。拍摄参数设置部111、检测信息获取部113、照明控制部115、快门控制部117和姿态控制部119的功能通过诸如cpu之类的处理器或处理电路执行各种程序和处理来实现。
拍摄参数设置部111设置成像设备101和照明设备105的拍摄参数。拍摄参数例如包括成像设备101的快门速度和拍摄增益、照明设备105的设置照度，等等。拍摄参数预先设置在例如悬停相机100的存储单元140中。拍摄参数设置部111从存储单元140获取获得捕获图像所需的图像质量所必需的拍摄参数，并将其输出到照明控制部115、快门控制部117和姿态控制部119，使得它们被设置用于成像设备101和照明设备105。
检测信息获取部113获取由悬停相机100的传感器单元130和位置信息获取单元132获取的成像时的机身的位置信息和机身信息。检测信息获取部113将所获取的各种信息输出到照明控制部115、快门控制部117和姿态控制部119。
照明控制部115调制光，使得由照明设备105照亮的成像设备101的拍摄范围的照度变得基本一致。照明控制部115控制照明设备105，使得基于由检测信息获取部113获取的悬停相机100进行成像时的机身的位置信息和机身信息来打开和关闭照明设备。此外，照明控制部115根据包括在机身信息中的机身的倾斜来控制构成照明设备105的光源的光量，以达到来自拍摄参数设置部111的设定照度输入。
快门控制部117控制对成像设备101的快门的驱动。快门控制部117例如基于来自拍摄参数设置部111的快门速度输入来使快门被驱动。另外，快门控制部117基于由检测信息获取部113获取的悬停相机100进行成像时的机身的位置信息、机身信息等来控制使快门被驱动的定时。
姿态控制部119控制成像设备101的透镜的倾斜。因此，姿态控制部119可以根据悬停相机100的姿态来控制成像设备100，使得拍摄方向面向成像范围。例如，当悬停相机100的机身由于受到类似风的干扰影响而相对于拍摄面倾斜时，姿态控制部119控制用于调整成像设备101的透镜的倾斜的驱动机构，以使得拍摄方向相对于拍摄面基本垂直。
控制单元110的各个功能部如上所述地控制成像设备101和照明设备105中的至少一个，使得可以获取高度精确的图像。下面将描述各个功能部的控制处理。
[5.2.照明设备的光调制控制]
首先，将基于图7至图12来描述根据本实施例的照明设备105的光调制控制。注意，图7是例示出根据本实施例的悬停相机100的成像设备101的拍摄范围的示例的解释图。图8是例示出构成根据本实施例的照明设备105的光源106的示例性布置的解释图。图9是例示出构成根据本实施例的照明设备105的光源106的另一示例性布置的解释图。图10是例示出构成照明设备105的光源的示例性特性的解释图。图11是例示出照明设备105相对于被照亮的表面倾斜角度θ的状态的解释图。图12是例示出当悬停相机100处于图11的状态中时由照明设备105照亮的表面的照度的变化的解释图。
(1)拍摄条件
为了用根据本实施例的悬停相机100拍摄结构并检测结构的损坏，需要获取具有特定水平精度的图像。例如，如图7所示，考虑其中拍摄桥主梁3的背面3a以检测在背面3a上生成的具有特定程度尺寸或更大尺寸的裂缝的情况。为了检测具有特定程度尺寸或更大尺寸的裂缝，适用于所拍摄图像的像素的特定水平的分辨率是必需的。
例如，可以假设使用在水平方向上具有大约4000个像素(13m像素)并具有90°作为视角的成像设备101来检测具有0.2mm宽度或更大宽度的裂缝。在这种情况下，通过在从成像设备101到用作拍摄面的桥主梁3的背面3a的距离d(其为1m)处拍摄具有4m2的面积(l1＝l2＝2m)的拍摄范围s，可以获取具有所需分辨率的图像。
另一方面，要求在将用来检测结构的损坏的图像中没有模糊地清晰地投影拍摄目标。因此，当要获取具有上述分辨率的图像时，预先获取其中在图像中不引起模糊的曝光时间(即，快门速度)、用于获得清晰图像的增益(即，iso感光度)以及拍摄中的拍摄面的必要照度作为拍摄参数。
这里，曝光时间被设置为可以消除悬停相机100的机身的振动的影响的值。在人使用数字静态相机拍摄图像的正常拍摄中，拍摄者的手抖动的振动频率为大约10hz。另一方面，悬停相机100的机身的振动频率具有根据以几百hz旋转的螺旋桨的旋转速度的多个峰值。因此，不可能利用结合到成像设备101的透镜模块中的一般手抖动校正功能来除去由机身的振动引起的图像的模糊。因此，期望根据悬停相机100的机身来设置曝光时间。
可以基于使用悬停相机100的真实机器的真实测量结果来设置拍摄参数，或者可以基于从基于模拟真实机器的模型的模拟获得的结果来设置拍摄参数。拍摄参数存储在例如存储单元140中。
当例如在将从成像设备101到拍摄面的距离设置为1m的情况下拍摄4m2的拍摄范围s时，对于拍摄参数将曝光时间设置为1/250[秒]，将增益设置为iso200，并且将拍摄时的照度设置为1000[勒]。注意，拍摄参数的这些值仅仅是示例，并且根据拍摄条件、悬停相机100的机身的稳定性等来设置拍摄参数。如果悬停相机100的机身的稳定性增加，例如，可以将曝光时间设置为更长，并且可以降低拍摄时的照度。
控制单元110控制成像设备101和照明设备105，使得根据由拍摄参数设置部111设置的拍摄参数来执行拍摄。
(2)照明设备的配置
接下来，将基于图8至图10来描述安装在根据本实施例的悬停相机100中的照明设备105的配置。根据本实施例的悬停相机100的照明设备105是照亮拍摄范围s的设备，并且用来即使在由于阳光而未获得足够照度的环境下实现被设置为拍摄范围s中的拍摄参数的照度。
照明设备105可以通过将多个光源106布置在悬停相机100的机身表面上来配置。作为光源106，例如可以使用led光源。由于led光源具有方向性，所以在光发射方向上可以进行可靠的照明。另外，各个光源106可以被布置为在拍摄范围s中具有基本一致的照度分布。优选地，将拍摄范围中的照度分布设置为高于拍摄范围s内的所有点处的必要照度。
照明设备105可被配置为使得光源106被布置在具有大致正方形形状的悬停相机100的机身平坦表面100a的中心、四个角以及各侧的中心部分处，例如如图8所示。另外，光源106还可被布置在悬停相机的机身侧面100b上。注意，除了机身平坦表面100a和机身侧面100b之外，光源106还可以安装在悬停相机100的机身表面上的任何位置处，并且可被设置在机身底面上。另外，光源106可以以如图8所示的二维阵列形状设置在面向拍摄目标的表面上。
此时，通过根据光源106的安装位置适当地设置光源106的发射方向，可以使拍摄范围s中的照度分布基本一致。例如，布置在机身平坦表面100a上的光源106之中的设置在中心处的光源106的光发射方向如图8所示可以相对于机身平坦表面100a基本垂直。另一方面，设置在机身平坦表面100a周围的光源106的光发射方向可以被设置为从相对于机身平坦表面100a垂直的方向向机身外侧倾斜。
另外，作为照明设备105的另一示例性配置，例如，可以通过将光源106布置在具有大致正方形形状的悬停相机100的机身平坦表面100a的对角线上来配置照明设备105，如图9所示。同样在这种情况下，类似于图8的照明设备105，可以适当地改变每个光源106的方向性，以使拍摄范围s中的照度分布基本一致。
这里，作为将拍摄范围s中的照明设备105的照度分布设置为基本一致的方法，例如，除了调整光源106的光发射方向之外，还可以为光源106提供作为调整光源106的方向性的光学构件的透镜(未例示出)。例如，图10例示出当可以减小方向角和增加照度的透镜被设置在光源106的光发射方向上以及光源106没有透镜时光源106的方向性和照度的差异的示例。如图10所示，虽然没有透镜的光源106具有方向性，但是在其照度上没有高峰值，使用透镜的光源106在其照度上呈现出显著峰值，并且因此可以向特定部分辐射强光。
通过如上所述使用透镜来改变光源106的方向性并增加辐射的光的照度，可以使拍摄范围s中的照度分布基本一致。特别地，关于根据本实施例的悬停相机100，根据机身的倾斜来调整照明设备105的光量，从而使拍摄范围s中的照度分布基本一致，如将在下面描述的。
具体地，通过在构成悬停相机100的照明设备105的光源106中的至少一些中设置改变方向性和增加辐射的光的照度的透镜，可以更精确地使拍摄范围s中的照度分布基本一致。例如，在图9所示的照明设备105的示例中，可以在布置在机身平坦表面100a的对角线上的光源106之中的布置在靠近四个角的区域a1至a4中的光源106中设置用于改变方向性和增加辐射的光的照度的透镜。另外，对于布置在靠近悬停相机的中心的区域a5至a8中的光源106，可以不设置透镜。
注意，尽管针对在图8和图9中例示出的照明设备105将悬停相机100的机身示为简化的四边形体，但是真实的悬停相机100可以具有弯曲表面作为其机身表面。在这种情况下，构成照明设备105的各个光源106的光发射方向可以根据机身的表面形状而被适当地设置。另外，在以上示例中介绍的用于改变光源106的方向性的透镜是一个示例，并且要使用的透镜的特性(将用透镜调整的方向角、峰值照度等)不限于以上示例。此外，具有多个特性的透镜可以用来配置具有多个不同方向性的光源106，并且用来利用其组合使拍摄范围s中的照度分布基本一致。
(3)根据机身的倾斜对照明设备的光量控制
根据本实施例的悬停相机100利用控制单元110根据机身的倾斜来调制照明设备105的光量。尽管根据本实施例的照明设备105如上所述被设计为在拍摄范围s中具有基本一致的照度分布，如果机身处于抵抗风等的倾斜状态，则照明设备105可能无法实现拍摄位置处的拍摄范围s中的目标照度分布。例如，虽然在拍摄期间执行姿态控制以使得悬停相机100的机身平坦表面100a基本平行于拍摄面，同时保持离其的设定距离d，但是悬停相机100可能由于例如风的影响等而倾斜。随后，悬停相机100的机身平坦表面100a相对于拍摄面倾斜，并且对于设置在机身平坦表面100a的外周部分中的光源106，从光源106到拍摄面的距离可能变得长于设定距离d。
因此，控制单元110根据安装在机身中的由传感器单元130所感测到的悬停相机100的机身的倾斜来控制照明设备105的光量，使得拍摄范围s中的照度分布在拍摄位置处基本一致。因为照明设备105可被固定到机身并且仅成像设备101的倾斜可被调整，因此悬停相机100的可操作部分的驱动机构可以被简化，结果悬停相机100可以是轻量级的。
将基于图11和图12更详细地描述对照明设备105的光量控制。将在下面描述当悬停相机100的机身相对于水平基准面倾斜时根据机身的倾斜的光量控制以及根据悬停相机100的机身相对于拍摄目标的倾斜的光量控制。注意，图11示意性地例示出悬停相机100的成像设备101和照明设备105。在图11中，尽管为了便于理解成像设备101的成像方向而在照明设备105的光发射面105a上例示出成像设备101，但是成像设备101的安装位置不限于该位置，并且可以在例如如图2所示的悬停相机100的一个侧面上。
首先，将描述当机身相对于水平基准面倾斜时根据悬停相机100的倾斜的光量控制。当例如桥梁1的桥主梁3的背面部分与如图1所示的水平面基本平行并且悬停相机100的机身相对于该背面部分倾斜时执行控制。
首先，控制单元110基于由传感器单元130获取的信息来获取悬停相机100的机身的倾斜。此时，控制单元110使用设置在悬停相机100上的多个地点处的激光测距仪的感测信息作为来自传感器单元130的信息来确定悬停相机100是否相对于拍摄目标的拍摄面倾斜。可以例如基于由设置在悬停相机100的相同平面上的多个激光测距仪测量的距离是否包括至少一个不同的值来确定悬停相机100是否相对于拍摄目标的拍摄面倾斜。
当由各个激光测距仪测量的距离基本相同(例如，当各个距离之间的差在预定范围内)时，拍摄范围s中的照度分布被确定为基本一致，因此控制单元110决定不执行对照明设备105的光量控制。另一方面，当由各个激光测距仪测量的距离包括至少一个不同的值时，控制单元110判定悬停相机100相对于拍摄目标的拍摄面倾斜。随后，控制单元110参考水平面p来获取光发射面105a相对于水平面p倾斜的角度θ，因为在本示例中拍摄目标的拍摄面与水平面基本平行。可以例如使用加速度传感器的加速度信息或陀螺仪传感器的角速度信息作为来自传感器单元130的信息来获取角度θ。
如果光发射面105a相对于水平面p倾斜角度θ，则在与水平面p基本平行的拍摄面wa上发生从照明设备105辐射的光的不规则照度分布。例如，在图11中，相对于纸面的右侧(r)倾斜成使其更加远离拍摄面wa(即，相对于纸面的左侧(l)接近拍摄面wa)。此时，如果假设布置在右侧(r)的光源106的光量与布置在左侧(l)的光源的光量相同，则远离拍摄面wa的右侧(r)上的光源106的光比来自左侧(l)上的光源的光更加难以到达拍摄面wa。因此，右侧(r)在拍摄面wa上具有比左侧(l)更低的照度分布，因此照度在拍摄范围s中基本不一致。
因此，通过根据光发射面105a相对于水平面p的倾斜角度θ来调整构成照明设备105的光源106的光量，在本实施例中拍摄面wa上的照度分布变得基本一致。图12例示出当光发射面105a相对于水平面p的倾斜角度被设定为例如20°时照明设备105的光源106的光输出比，以及拍摄面wa上的拍摄范围s的右上区域和左上区域中的照度差异。这里，拍摄范围s被划分为五个区域，包括中心区域c以及通过在左、右、上和下方向上划分拍摄范围s而形成的右上区域ur、左上区域ul、右下区域br和左下区域bl。
因此，针对面向右区域(右上区域ur和右下区域br)的光源106和面向左区域(左上区域ul和左下区域bl)的光源106，改变光输出比，随后测量此时的右上区域ur和左上区域ul之间的照度差。注意，构成照明设备105的各个光源106的特性被设置为相同，并且各个光源106的光量的调整量在光源106可以以最大额定值输出的光量被设置为100％时被表示为比例。结果在图12的下部中的图表中被示出。
如图2的下部所示，首先，假定所有面向右区域的光源106和面向左区域的光源106的光输出比为50％，并且假定构成照明设备105的所有光源106发射相同的量的光。此时，右上区域ur和左上区域ul之间的照度差为83[勒]。此后，当在面向右区域的光源106的光输出比逐渐增加的同时面向左区域的光源106的光输出比逐渐减小时，右上区域ur和左上区域ul之间的照度差变得更小，如图12的下部所示。另外，确定的是，当面向右区域的光源106的光输出比被设置为85％并且面向左区域的光源106的光输出比被设置为大约25％时，拍摄范围s中的右上区域ur和左上区域ul之间的照度差变得基本为零。
如果调整光源106的光量以使得拍摄范围s中的各个区域之间的照度差变为零，则可以使拍摄范围s中的照度分布基本一致。
悬停相机100预先将各个光源106的输出值存储在存储单元140中，在光源106处，对于光发射面105a相对于水平面p的每个倾斜角度θ，拍摄范围s的各个区域之间的照度差为预定值或更小值。各个光源106的设定输出值可以例如基于使用真实机器获得的测量结果来决定，或者可以基于模拟结果来决定。悬停相机100的控制单元110从存储单元140获取与从传感器单元130的测量结果获取的机身的倾斜相对应的照明设备105的设定值，并且使用照明控制部115来控制照明设备105的各个光源106的输出(光量)。
注意，照明控制部115可以控制构成照明设备105的每个光源106，或者控制每个预定组的各个光源106。在图9所示的照明设备的情况下，例如，可以针对八个区域a1至a8中的每一个来控制光源。
另一方面，可以根据悬停相机100的机身相对于拍摄目标的倾斜来控制光量。例如，当诸如桥梁的桥主梁的后侧部分之类的拍摄目标相对于水平面倾斜并且悬停相机100的机身相对于拍摄目标也倾斜时，可以如下所述计算悬停相机100的机身相对于拍摄目标的倾斜，从而可以控制照明设备105的光量。
同样在这种情况下，控制单元110基于从传感器单元130获取的信息来获取悬停相机100的机身的倾斜。可以与上面类似地使用设置在悬停相机100上的多个地点处的激光测距仪的感测信息作为来自传感器单元130的信息来执行悬停相机100的机身的倾斜。当由各个激光测距仪测量的所有距离不是基本相同时，确定悬停相机100的机身相对于拍摄目标的拍摄面倾斜。
当悬停相机100的机身相对于拍摄目标的拍摄面倾斜时，控制单元110计算悬停相机100的机身相对于拍摄目标的倾斜角度，并且将其用于控制照明设备105的光量。例如，当拍摄目标的拍摄面相对于水平面p的倾斜已知时，可以从使用陀螺仪传感器获取的拍摄目标的拍摄面相对于水平面p的倾斜以及机身相对于水平面p的倾斜获取悬停相机100的机身相对于拍摄目标的倾斜角度。或者，可以从由多个激光测距仪测量的距离几何地获取悬停相机100的机身相对于拍摄目标的倾斜角度。
当悬停相机100相对于拍摄目标的倾斜角度被获取时，控制单元110从存储单元140获取与机身的倾斜相对应的照明设备105的设定值，随后使用照明控制部115来控制照明设备105的各个光源106的输出(光量)。注意，存储在存储单元140中的设定值可以与当如上所述基于机身相对于水平面p的倾斜角度θ执行光量控制时使用的信息相同。
[5.3.在拍摄时对成像设备和照明设备的示例性控制]
下面将基于图13至图15描述在根据本实施例的悬停相机100进行拍摄时对成像设备101和照明设备105的示例性控制。注意，图13是在根据本实施例的悬停相机100进行拍摄时对成像设备101和照明设备105的示例性控制的流程图。图14是用于描述对成像设备101的快门控制的示例的流程图。图15是例示出在基于飞行信息进行拍摄工作时的悬停相机100的速度和加速度的变化的情况的概念图。
当开始基于飞行信息的拍摄工作时，悬停相机100首先设置作为成像设备101和照明设备105的设置信息的拍摄参数(步骤s200)。拍摄参数例如包括成像设备101的快门速度和拍摄增益、照明设备105的设定照度等。拍摄参数预先设置在例如悬停相机100的存储单元140中。拍摄参数设置部111从存储单元140获取获得捕获图像所需的图像质量所必需的拍摄参数，并且将它们输出到照明控制部115和快门控制部117，以针对成像设备101和照明设备105设置它们。
接下来，检测信息获取部113获取由传感器单元130和位置信息获取单元132获取的拍摄时的机身信息和机身的位置信息(步骤s202)。例如，检测信息获取部113将获取的各种信息输出到照明控制部115和快门控制部117。因此，照明控制部115和快门控制部117可以开始对照明设备105和成像设备101的控制，以达到在步骤s200中设置的拍摄参数。
悬停相机100继续向拍摄点的移动，直到它到达拍摄点为止。这里，当悬停相机100进入作为包括拍摄点的预定范围的拍摄区域时，拍摄点变得更近，因此控制单元110开始拍摄准备(步骤s204)。首先，照明控制部115开启照明设备105(步骤s206)。照明设备105在向拍摄点的移动期间可能已被开启，或者可在拍摄时执行对拍摄范围s的照明。如果在悬停相机进入拍摄区域并接近拍摄点时开启照明设备105，则可以缩短开启照明设备105的时间，并且还可以抑制电池消耗。
关于进入拍摄区域，可以确定在例如悬停相机已经开始降低其速度以在拍摄点处静止不动的时间点，悬停相机100已经进入拍摄区域。或者，当将离拍摄点预定距离的区域定义为拍摄区域并且根据机身的位置信息指定在拍摄区域内存在悬停相机100时，可以确定悬停相机100已经进入拍摄区域。
当照明设备105被开启时，如上所述，根据从机身信息获得的机身的倾斜来调制照明设备105的各个光源106的光。该光调制在拍摄点处被执行，使得基于设定参数设置的照度被确保，并且拍摄面上的拍摄范围s中的照度分布变得基本一致。
接下来，快门控制部117开始对成像设备101的快门控制(步骤s208)。当悬停相机100到达拍摄点时，快门控制部117释放成像设备101的快门，以获取拍摄点处的图像。如果此时的悬停相机100的姿态处于稳定状态，则在拍摄的图像中几乎不发生模糊，从而可以获取更加高度精确的图像。因此，快门控制部117如图14所示判定悬停相机100的速度的绝对值是否小于阈值速度vth以及加速度的绝对值是否小于阈值加速度ath，以确定悬停相机100的姿态是否稳定(步骤s2081)。
当悬停相机100进入拍摄区域并且速度如图15所示线性地减小时，例如，悬停相机100的加速度通过描述负值的抛物线而改变。另一方面，当拍摄在拍摄点处结束并且悬停相机100的速度线性地增加以开始移动到下一个拍摄点时，加速度通过描述正值的抛物线而改变。然而，当悬停相机100不移动时，速度和加速度基本为零，并且悬停相机100处于接近静止不动状态的稳定状态。此时，由于悬停相机100的机身的振动较弱，因此成像设备100可以执行拍摄而不被机身的振动显著影响。阈值速度vth和阈值加速度ath被设置为例如基本接近零的正值。
然后，当悬停相机100的速度的绝对值小于阈值速度vth，并且加速度的绝对值小于阈值加速度ath时，快门控制部117使快门被驱动以执行拍摄(步骤s2083)。此时，基于在图13的步骤s200中设置的曝光时间来决定成像设备101的快门速度。因此，由于成像设备101的拍摄是以可以消除机身的振动的影响的快门速度执行的，因此可以获取没有模糊的高度精确的图像。
注意，在图14中例示出的快门控制处理是在图13的步骤s208至s214之间执行的处理。
返回到图13的描述，在快门控制部117在步骤s208中开始快门控制并在步骤s214中结束快门控制的时段期间，照明控制部115根据悬停相机100的机身的倾斜来继续对照明设备105的光调制。注意，光调制的操作在用于拍摄的曝光时间期间可被停止，并且光源状态可以是固定的。然后，当快门在图14的步骤s2083中工作并且拍摄完成(步骤s212)时，快门控制部117结束快门控制(步骤s214)，并且照明控制部115关闭照明设备105(步骤s216)。
此后，控制单元110判定在飞行信息中设置的所有拍摄点处的拍摄是否已经完成(步骤s218)。当在步骤s218中存在尚未完成拍摄的剩余拍摄点时，悬停相机100移动到下一个拍摄点(步骤s220)，并且重复从步骤s202的处理。另一方面，当在步骤s218中已经完成所有拍摄点处的拍摄时，悬停相机100返回到基站600，并且结束工作。
上面已经描述了在通过根据本实施例的悬停相机100进行拍摄时对成像设备101和照明设备105的示例性控制。注意，尽管上面已经描述了执行由照明控制部115对照明设备105的光调制以及通过快门控制部117的快门控制两者的情况，但是本公开不限于该示例。由照明控制部115对照明设备105的光调制和通过快门控制部117的快门控制可以彼此独立地执行。
[5.4.成像设备的透镜倾斜控制]
如图6所示，根据本实施例的悬停相机100的控制单元110具有控制成像设备101的透镜的倾斜的姿态控制部119。成像设备101具有第一驱动单元，第一驱动单元使成像设备101的透镜在倾斜方向上旋转以在倾斜方向上改变成像设备101的拍摄方向。因此，无论机身的倾斜如何，都可以继续在相同位置的拍摄。
另外，根据本实施例的悬停相机100还可具有第二驱动单元，第二驱动单元在滚动方向上调整透镜的倾斜以获取更加高度精确的图像。因此，即使当由于例如风之类的扰动而在机身上发生等于或低于100hz的低频振动时，通过姿态控制部119使第二驱动单元被驱动以调整滚动方向上的倾斜，也可以消除振动对拍摄的影响。
如在例如图16和图17中例示出可以设置用于驱动成像设备100的透镜的第一驱动单元162和第二驱动单元164。图16是根据本实施例的悬停相机100的下框架单元107的示意性前视图。图17是从平面侧例示出用于驱动成像设备101的透镜的第一驱动单元162和第二驱动单元164的示意性透视图。
如图16所示，成像设备101设置成面向例如悬停相机100的下框架单元107的前侧(正y轴方向)。成像设备101的透镜设置成可通过第一驱动单元162在倾斜方向上旋转，如图17所示。因此，成像设备101的拍摄方向可以被设置为从下侧面向前侧，并进一步面向上侧。另外，根据本实施例的成像设备101的透镜被设置成可通过第二驱动单元164在滚动方向上旋转，第二驱动单元164例如设置在成像设备101的后侧(负y轴方向，以及悬停相机100的内侧)，如图17所示。第二驱动单元164可以使透镜从成像设备101面向前方的状态在滚动方向上旋转例如大约±15°。
通过如上所述在透镜中设置双轴伺服机构，不仅可以与机身的倾斜无关地进行相同位置的拍摄，而且可以除去低频振动，从而可以获取更加高度精确的图像。
<6.结论>
到目前为止，已经描述了构成根据本公开的实施例的检查系统10的悬停相机100的配置、使用其的检查工作以及在获取图像时对照明设备105和成像设备101的控制。悬停相机100控制安装在飞行器中的成像设备101和照明设备105的机身姿态和拍摄条件，而不使用大尺寸万向节、单镜头反光相机等。
例如，悬停相机100具有照明设备105，并且设置在悬停相机100内部的传感器单元130通过照明控制部115来感测机身的倾斜，并且根据机身的倾斜来调整照明设备105的光量。因此，摄影面的照度可以基本一致地保持在固定值或更高，并且可以获得具有给定质量水平的图像，而不改变成像设备101的参数。
另外，通过增加作为成像设备101的拍摄参数的快门速度，消除了利用一般手抖动校正未解决的高频振动的影响。因此，可以获取具有极少模糊的高度精确的图像。此外，通过提供可以驱动成像设备101的透镜围绕倾斜方向和滚动方向的两个轴旋转的伺服机构，可以在保持固定的拍摄方向的同时消除低频振动的影响。
以上已经参照附图描述了本公开的(一个或多个)优选实施例，而本公开不限于上面的示例。本领域技术人员可以在所附权利要求的范围内得到各种变型和修改，并且应当理解，它们将自然地落入本公开的技术范围内。
为了在本实施例中使拍摄面上的拍摄范围s中的照度分布基本一致，例如，仅成像设备101的倾斜被调整，并且照明设备105调整光量以使当光被辐射到拍摄面上时获得的照度基本一致。然而，本技术不限于此。例如，通过集成成像设备101和照明设备105并调整它们的倾斜，可以使拍摄面上的拍摄范围s中的照度分布基本一致。在这种情况下，由于可以作为一个单元来控制成像设备101和照明设备105，因此可以容易地设置拍摄所必需的拍摄范围s中的照度分布。注意，当成像设备101和照明设备105被集成时，悬停相机100的可操作部分的尺寸增加，因此增加的总重量应当被考虑在内。
另外，本说明书中描述的效果仅仅是例示性和说明性的，而不是限制性的。换句话说，根据本公开的技术可以呈现出与基于本说明书的效果一起或者代替基于本说明书的效果的对于本领域技术人员显而易见的其他效果。
另外，本技术还可以被配置如下。
(1)一种控制设备，包括：
照明控制单元，被配置为根据飞行器设备的机身的倾斜来调整照明设备的光量，所述飞行器设备具有被配置为对拍摄目标进行拍摄的成像设备和被配置为对所述拍摄目标进行照明的照明设备。
(2)根据(1)所述的控制设备，其中，所述机身的倾斜是相对于水平面的倾斜。
(3)根据(1)所述的控制设备，其中，所述机身的倾斜是相对于所述拍摄目标的倾斜。
(4)根据(1)至(3)中任意一项所述的控制设备，其中，所述照明控制单元调整所述照明设备的光量，使得所述拍摄目标的拍摄面的照度变得基本一致。
(5)根据(1)至(4)中任意一项所述的控制设备，其中，所述照明控制单元当进入在所述飞行器设备对所述拍摄目标进行拍摄的拍摄点附近的拍摄区域时，打开所述照明设备。
(6)根据(1)至(5)中任意一项所述的控制设备，包括：
快门控制单元，被配置为控制所述成像设备的快门，
其中，当所述飞行器设备的移动速度等于或低于预定值并且所述飞行器设备的移动加速度等于或低于预定值时，所述快门控制单元操作所述快门。
(7)一种控制方法，包括：
获取飞行器设备的机身相对于拍摄目标的倾斜，所述飞行器设备包括被配置为对所述拍摄目标进行拍摄的成像设备和被配置为对所述拍摄目标进行照明的照明设备；以及
根据所述机身的倾斜来调整所述照明设备的光量。
(8)一种飞行器设备，包括：
成像设备，被配置为对拍摄目标进行拍摄；
照明设备，被配置为对所述拍摄目标进行照明；以及
控制单元，被配置为根据机身相对于所述拍摄目标的倾斜来调整所述照明设备的光量。
(9)根据(8)所述的飞行器设备，其中，所述控制单元调整所述照明设备的光量，使得所述拍摄目标的拍摄面的照度变得基本一致。
(10)根据(8)或(9)所述的飞行器设备，其中，所述照明设备包括多个led光源。
(11)根据(10)所述的飞行器设备，其中，多个光源以二维阵列形状安装在构成所述飞行器设备的一个或多个面上，所述一个或多个面面对所述拍摄目标。
(12)根据(11)所述的飞行器设备，
其中，所述多个光源安装在多个区域中，并且
所述控制单元根据所述机身的倾斜来控制多个区域中的每个区域的多个光源的光量。
(13)根据(11)或(12)所述的飞行器设备，其中，所述多个光源包括led光源。
(14)根据(10)至(13)中任意一项所述的飞行器设备，其中，所述led光源中的至少一些led光源具有改变方向性的光学构件。
(15)根据(8)至(14)中任意一项所述的飞行器设备，包括：
第一驱动单元，被配置为驱动所述成像设备以在倾斜方向上旋转所述成像设备；以及
第二驱动单元，被配置为驱动所述成像设备以在滚动方向上旋转所述成像设备。
附图标记列表
10检查系统
100悬停相机
101成像设备
104a至104d旋翼
105照明设备
108a至108d马达
110控制单元
111拍摄参数设置部
113检测信息获取部
115照明控制部
117快门控制部
119姿态控制部
120通信单元
130传感器单元
132位置信息获取单元
140存储单元
150电池
200控制终端
300信息处理设备
400无线中继节点
500位置估计节点
600基站
700充电站
1.一种控制设备，包括：
处理电路，被配置为
根据具有成像设备的飞行器设备的飞行信息控制飞行器设备的飞行，所述飞行信息至少包括飞行路径信息，
通过使用传感器获取飞行器设备的状态信息，以及
通过使用飞行器设备的状态信息在飞行器设备的移动速度以及飞行器设备的移动加速度等于或低于标准时，控制成像设备在飞行中捕获目标的图像。
2.根据权利要求1所述的控制设备，其中，所述飞行器设备包括照明设备，并且所述处理电路还被配置为在所述飞行器设备位于所述目标的预定距离内时使所述照明设备发光。
3.根据权利要求2所述的控制设备，其中，所述照明设备发出的光被基于所述飞行器设备的机身位置调制。
4.根据权利要求3所述的控制设备，其中，所述照明设备发出的光被调制，以使所述目标被均匀地照明。
5.根据权利要求1所述的控制设备，其中，所述标准包括飞行器设备的移动速度是否已经降低至低于预定值。
6.根据权利要求5所述的控制设备，其中，所述预定值为零。
7.根据权利要求1所述的控制设备，其中，所述处理电路还被配置为基于所述飞行器设备的移动速度和所述飞行器设备的移动加速度来确定所述飞行器设备的姿态是否稳定。
8.根据权利要求7所述的控制设备，其中，当所述飞行器设备的移动速度等于或低于第一阈值并且所述飞行器设备的加速度低于第二阈值时，所述处理电路确定所述飞行器设备的姿态稳定。
9.根据权利要求7所述的控制设备，其中，第一阈值和第二阈值均为零。
10.根据权利要求8所述的控制设备，其中，所述处理电路还被配置为在确定所述飞行器设备的姿态稳定时，激活所述成像设备的快门。
11.根据权利要求1所述的控制设备，其中，当所述飞行器设备进入所述目标的预定范围内时，所述飞行器设备的移动速度线性降低。
12.根据权利要求1所述的控制设备，其中，所述飞行器设备的加速度根据负值的抛物线而变化。
13.根据权利要求1所述的控制设备，其中，所述成像设备的快门速度和拍摄增益被预先设置并存储在所述成像设备中。
14.根据权利要求13所述的控制设备，其中，所述处理电路还被配置为基于存储在所述成像设备中的快门速度和拍摄增益来激活所述成像设备的快门。
15.根据权利要求3所述的控制设备，其中，所述处理电路被配置为在所述成像设备的快门被激活时停止对所述照明设备发出的光的调制。
16.根据权利要求15所述的控制设备，其中，所述处理电路被配置为在完成所述快门的激活并且图像捕获已经结束时关闭所述照明设备。
17.根据权利要求1所述的控制设备，其中，所述飞行信息是相对于水平面确定的。
18.根据权利要求1所述的控制设备，其中，所述飞行信息是相对于所述目标确定的。
19.一种控制方法，包括：
根据具有成像设备的飞行器设备的飞行信息控制飞行器设备的飞行，所述飞行信息至少包括飞行路径信息；
获取飞行器设备的状态信息；以及
通过使用飞行器设备的状态信息在飞行器设备的移动速度以及飞行器设备的移动加速度等于或低于标准时，控制成像设备在飞行器设备的飞行中捕获目标的图像。
20.一种非暂态计算机可读介质，其编码有计算机可读指令，所述计算机可读指令在由处理电路执行时使所述处理电路执行包括以下步骤的方法：
根据具有成像设备的飞行器设备的飞行信息控制飞行器设备的飞行，所述飞行信息至少包括飞行路径信息；
获取飞行器设备的状态信息；以及
通过使用飞行器设备的状态信息在飞行器设备的移动速度以及飞行器设备的移动加速度等于或低于标准时，控制成像设备在飞行器设备的飞行中捕获目标的图像。
21.一种控制装置，包括：
用于根据具有成像设备的飞行器设备的飞行信息控制飞行器设备的飞行的部件，所述飞行信息至少包括飞行路径信息；
用于获取飞行器设备的状态信息的部件；以及
用于通过使用飞行器设备的状态信息在飞行器设备的移动速度以及飞行器设备的移动加速度等于或低于标准时，控制成像设备在飞行器设备的飞行中捕获目标的图像的部件。
技术总结