本发明涉及一种用于防止机器学习中的学习偏差的技术。
背景技术：
在使用诸如照相机等的摄像设备的典型静止或运动图像拍摄中，用户通过取景器等来决定被摄体，检查摄像状况以调整要拍摄的图像的取景，并操作快门按钮以拍摄图像。
与根据用户操作进行摄像的这种摄像设备相对地，日本特表2016-536868公开了一种生活日志照相机，其在无需接收来自用户的摄像指示的情况下定期且连续地进行摄像。生活日志照相机在通过带子等附接到用户的身体的状态下使用，并以规定时间间隔记录用户在他/她的日常生活中看到的场景的图像。生活日志照相机的摄像不是在诸如用户按下快门按钮的定时等的期望定时进行的，而是以规定间隔进行的。因此，可以将用户未正常记录的非预期瞬间记录为图像。
然而，在将生活日志照相机放在用户身上的状态下定期地进行自动摄像的情况下，可能会获得用户不喜欢的图像，并且可能无法获得用户真正想要的瞬间的图像。
存在一种用于使摄像设备在机器学习中学习用户偏好的方法。然而，在这种方法中，学习精度取决于学习中使用的学习数据。在摄像设备进入用户的手中之后，用户准备仅精度高的学习数据并不容易，并且可能进行错误学习或偏差学习。
除生活日志照相机外，还存在使得使用机器学习来进行学习的摄像系统。在工厂中，例如，使用如下的检查系统，该检查系统学习产品表面的划痕和污点，拍摄所运输的产品的图像，并判断产品是否有缺陷。
同样，在这种检查系统中，如果学习数据相对于在特定情况下生成的数据存在偏差，则进行偏差学习，并且用户可能无法获得期望的检查结果。
技术实现要素：
本发明的实施例提供一种防止机器学习中的学习偏差的信息处理设备。
根据本发明实施例的一种信息处理设备包括：控制电路，其被配置为将第一学习参数设置或发送到用于进行基于学习参数的处理的判断装置，其中，在所述判断装置所进行的判断的结果满足预定条件的情况下，所述控制电路将第二学习参数而不是所述第一学习参数设置或发送到所述判断装置，所述第一学习参数是通过使用第一学习数据组进行机器学习而获得的学习参数，所述第二学习参数是通过使用第二学习数据组进行机器学习而获得的学习参数，以及所述第一学习数据组包含所述第二学习数据组，并且包括所述第二学习数据组中不包括的学习数据。
根据本发明实施例的一种信息处理设备包括：存储器；以及控制电路，其被配置为接收通过学习单元使用多个学习数据重复进行的学习所生成的学习参数，并且使所述存储器存储满足预定条件的多个学习参数，其中，满足所述预定条件的多个学习参数至少是：在学习次数达到多个基准值其中之一的情况下所生成的各学习参数，在用于学习的学习数据的数量达到多个基准值其中之一的情况下所生成的各学习参数，或者在多个基准定时其中之一所生成的各学习参数。
根据本发明实施例的一种摄像设备包括：摄像器件；判断装置，其被配置为判断是否满足用于基于学习参数进行自动摄像的条件；以及控制电路，其被配置为将第一学习参数设置到所述判断装置，其中，在所述自动摄像的结果满足预定条件的情况下，所述控制电路将第二学习参数而不是所述第一学习参数设置到所述判断装置，所述第一学习参数是通过使用第一学习数据组进行机器学习而获得的学习参数，所述第二学习参数是通过使用第二学习数据组进行机器学习而获得的学习参数，以及所述第一学习数据组包含所述第二学习数据组，并且包括所述第二学习数据组中不包括的学习数据。
根据本发明实施例的一种信息处理设备的控制方法包括：将第一学习参数设置或发送到用于进行基于学习参数的处理的判断装置；以及在所述判断装置所进行的判断的结果满足预定条件的情况下，将第二学习参数而不是所述第一学习参数设置或发送到所述判断装置，其中，所述第一学习参数是通过使用第一学习数据组进行机器学习而获得的学习参数，所述第二学习参数是通过使用第二学习数据组进行机器学习而获得的学习参数，以及所述第一学习数据组包含所述第二学习数据组，并且包括所述第二学习数据组中不包括的学习数据。
根据本发明实施例的一种用于存储程序的非暂时性存储介质，所述程序能够由处理器执行，其中，所述程序在由所述处理器执行时使所述处理器执行图像处理方法，所述图像处理方法包括：将第一学习参数设置或发送到用于进行基于学习参数的处理的判断装置；以及在所述判断装置所进行的判断的结果满足预定条件的情况下，将第二学习参数而不是所述第一学习参数设置或发送到所述判断装置，其中，所述第一学习参数是通过使用第一学习数据组进行机器学习而获得的学习参数，所述第二学习参数是通过使用第二学习数据组进行机器学习而获得的学习参数，以及所述第一学习数据组包含所述第二学习数据组，并且包括所述第二学习数据组中不包括的学习数据。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1a和图1b是示意性示出摄像设备的图。
图2是示出摄像设备的结构的图。
图3是示出无线通信系统的结构的图。
图4是示出外部设备的结构的图。
图5是用于描述控制电路的操作的流程图。
图6是用于描述自动摄像模式处理的流程图。
图7是用于描述神经网络的图。
图8是用于描述图像显示处理的图。
图9是用于描述学习模式判断的流程图。
图10是用于描述学习模式处理的流程图。
图11是用于描述返回学习模式判断的流程图。
图12是用于描述返回学习模式处理的流程图。
图13是用于描述学习数据显示处理的图。
具体实施方式
实施例
摄像设备的结构
图1a是示意性示出根据实施例的摄像设备的图。本发明的实施例不仅适用于使用数字照相机或数字摄像机的摄像，而且还适用于诸如监视照相机、web照相机或移动电话等的摄像设备。在本实施例中，将在摄像设备也用作进行机器学习的信息处理设备的假设下给出描述。可选地，与摄像设备分离并且能够与摄像设备通信的信息处理设备可以针对摄像设备进行机器学习。
图1a所示的摄像设备101设置有可通过其操作电源开关的操作构件等(以下将该操作构件称为电源按钮，其可以在触摸屏上通过轻击、轻拂或滑动来操作)。作为容纳用于进行摄像的摄像透镜组和摄像器件的壳体的镜筒102附接到摄像设备101，并且设置有能够相对于固定部103驱动并转动镜筒102的转动机构。倾斜转动机构104是能够使镜筒102在图1b所示的俯仰方向上转动的马达驱动机构，并且平摇转动机构105是能够使镜筒102在图1b所示的横摆方向上转动的马达驱动机构。因此，镜筒102可以沿一个或多个轴方向转动。图1b示出在固定部103的位置处的轴的定义。角速度计106和加速度计107这两者均附接到摄像设备101的固定部103。利用角速度计106和加速度计107来检测摄像设备101的抖动，并且基于检测到的抖动角来驱动并转动倾斜转动机构104和平摇转动机构105。因此，补偿了作为可移动部的镜筒102的抖动或倾斜。
图2是示出根据本实施例的摄像设备101的结构的框图。在图2中，控制电路221包括处理器(例如，中央处理单元(cpu)、图形处理单元(gpu)、微处理器或微处理单元(mpu)等)以及存储器(例如，动态随机存取存储器(dram)或静态随机存取存储器(sram)等)。这些装置执行各种处理操作以控制摄像设备101的各个块并且控制各个块之间的数据传送。非易失性存储器(电可擦可编程只读存储器(eeprom))214是电可擦且可记录的存储器，并且存储用于操作控制电路221的常数和程序等。
在图2中，变焦机构201包括用于改变倍率的变焦透镜。变焦驱动控制电路202驱动并控制变焦机构201。调焦机构203包括用于调节焦点的透镜。调焦驱动控制电路204驱动并控制调焦机构203。
摄像单元206包括摄像器件和a/d转换器。摄像器件接收通过透镜组入射的光，并将与和光量相对应的电荷有关的信息作为模拟图像数据输出到图像处理电路207。图像处理电路207是配备有多个算术和逻辑单元(alu)的计算电路，对通过a/d转换输出的数字图像数据进行诸如失真校正、白平衡调整和颜色插值等的图像处理，并输出所得到的数字图像数据。从图像处理电路207输出的数字图像数据由图像记录电路208转换成诸如jpeg格式等的记录格式，并且被发送到存储器213或后述的视频输出电路215。
镜筒转动驱动电路205驱动倾斜转动机构104和平摇转动机构105以沿倾斜方向和平摇方向驱动镜筒102。
设备抖动检测电路209配备有例如用于检测沿摄像设备101的三个轴方向的角速度的角速度计(陀螺仪传感器)106和用于检测沿摄像设备101的三个轴方向的加速度的加速度计(加速度传感器)107。设备抖动检测电路209基于检测到的信号来计算设备的转动角度或设备的偏移量。
音频输入电路211从设置在摄像设备101上的麦克风获得摄像设备101周围的音频信号，对该音频信号进行a/d转换，并将转换后的音频信号发送到音频处理电路212。音频处理电路212对输入到音频处理电路212的数字音频信号进行诸如优化处理等的音频处理。由音频处理电路212处理的音频信号通过控制电路221发送到存储器213。存储器213暂时存储分别由图像处理电路207和音频处理电路212获得的图像信号和音频信号。
图像处理电路207和音频处理电路212分别读出暂时存储在存储器213中的图像信号和音频信号，并对图像信号和音频信号进行编码，以生成压缩图像信号和压缩音频信号。控制电路221将压缩图像信号和压缩音频信号发送到记录/再现电路218。
记录/再现电路218在记录介质219上记录分别由图像处理电路207和音频处理电路212生成的压缩图像信号和压缩音频信号、以及与摄像有关的控制数据等。在不对音频信号进行压缩编码的情况下，控制电路221将由音频处理电路212生成的音频信号和由图像处理电路207生成的压缩图像信号发送到记录/再现电路218，并且使记录/再现电路218将音频信号和压缩图像信号记录在记录介质219上。
记录介质219可以是内置在摄像设备101中的记录介质，或者可以是可拆卸的记录介质。可以将包括由摄像设备101生成的压缩图像信号、压缩音频信号和音频信号的各种数据记录在记录介质219上。通常，将容量大于非易失性存储器214的容量的介质用作记录介质219。记录介质219可以是任何类型的记录介质，例如硬盘、光盘、磁光盘、可记录紧凑光盘(cd-r)、可记录数字多功能光盘(dvd-r)、磁带、非易失性半导体存储器或闪速存储器。
记录/再现电路218读出(再现)记录介质219上所记录的压缩图像信号、压缩音频信号、音频信号、各种数据和程序。控制电路221将已经读出的压缩图像信号和压缩音频信号分别发送到图像处理电路207和音频处理电路212。图像处理电路207和音频处理电路212使存储器213分别暂时存储压缩图像信号和压缩音频信号，以预定过程分别对压缩图像信号和压缩音频信号进行解码，并将解码图像信号和解码音频信号分别发送到视频输出电路215和音频输出电路216。
音频输入电路211从设置在摄像设备101上的多个麦克风获得音频信号。音频处理电路212能够检测放置多个麦克风的平面上的声音的方向，并且用于后述的搜索或自动摄像。此外，音频处理电路212检测特定音频命令。音频命令可以是预先登记的多个命令。可以允许用户在摄像设备101中登记特定声音。另外，进行音频场景识别。在音频场景识别中，通过预先基于大量音频数据进行了机器学习的网络来进行音频场景判断。例如，用于检测诸如“有掌声”、“有拍手”和“产生语音”等的特定场景的网络被设置到音频处理电路212。当检测到特定音频场景或特定音频命令时，音频处理电路212将检测触发信号输出到控制电路221。电源电路210供给用于操作控制电路221的电力。
音频输出电路216例如在摄像时从摄像设备101中内置的扬声器输出预先设置的音频模式。发光二极管(led)控制电路222例如在摄像时以预先设置的点亮或闪烁模式控制设置在摄像设备101上的led。视频输出电路215由例如视频输出端子构成，并且将图像信号发送到所连接的外部显示器等以在该外部显示器上显示视频。可选地，音频输出电路216和视频输出电路215可以是组合的单个端子，例如高清晰度多媒体接口(hdmi，注册商标)端子。
通信电路220用于进行摄像设备101与外部设备之间的通信，并且发送和接收诸如音频信号、图像信号、压缩音频信号和压缩图像信号等的数据。另外，通信电路220接收诸如摄像开始/结束命令或平摇/倾斜或变焦驱动信号等的与摄像有关的控制信号，并且响应于来自能够与摄像设备101进行相互通信的外部设备的指示来驱动摄像设备101。另外，通信电路220在摄像设备101和外部设备之间进行诸如与后述的学习处理电路217处理的学习有关的各种参数等的信息的发送和接收。通信电路220例如是无线通信模块，诸如红外通信模块、蓝牙(bluetooth，注册商标)通信模块、无线局域网(lan)通信模块、无线通用串行总线(usb)或全球定位系统(gps)接收器等。
无线通信系统的结构
图3是示出包括摄像设备101和外部设备301的无线通信系统的示例结构的图。摄像设备101是具有摄像功能的数字照相机，并且外部设备301是包括蓝牙通信模块和无线lan通信模块的智能设备。
摄像设备101和外部设备301能够经由使用符合例如ieee802.11标准系列的无线lan的通信装置302以及诸如低功耗蓝牙(ble)等的具有控制站和从站之间的主从关系的通信装置303彼此进行通信。无线lan和ble对应于通信方式的示例。可以使用其它通信方式，只要各个通信装置具有两个或更多个通信功能，并且在控制站和从站之间的关系中进行通信的通信功能中的一个通信功能能够控制另一通信功能即可。注意，在不失一般性的情况下，诸如无线lan等的第一通信方式能够比诸如ble等的第二通信方式更快地通信，并且第二通信方式比第一通信方式消耗更低的功率或者比第一通信方式具有更短的通信范围。
将参考图4来描述外部设备301的结构。外部设备301包括例如用于无线lan的无线lan控制电路401、用于ble的ble控制电路402和用于公共无线通信的公共线路控制电路406。外部设备301还包括分组发送/接收电路403。无线lan控制电路401进行无线lan的射频(rf)控制、通信处理、以及与进行使用符合ieee802.11标准系列的无线lan的通信的各种控制操作的驱动器和使用无线lan的通信有关的协议处理。ble控制电路402进行ble的rf控制、通信处理、以及与进行使用ble的通信的各种控制操作的驱动器和使用ble的通信有关的协议处理。公共线路控制电路406进行公共无线通信的rf控制、通信处理、以及与进行公共无线通信的各种控制操作的驱动器和公共无线通信有关的协议处理。公共无线通信符合例如国际多媒体电信(imt)标准或长期演进(lte)标准等。分组发送/接收电路403进行用于至少执行与使用无线lan和ble的通信以及公共无线通信有关的分组的发送或接收的处理。在该示例中，将在外部设备301在通信期间至少进行分组的发送或接收的假设下给出描述。可选地，可以使用诸如电路交换等的其它通信方式来代替分组交换。
外部设备301还包括例如控制电路411、存储电路404、gps接收器电路405、显示装置407、操作构件408、音频输入/处理电路409和电源电路410。控制电路411执行例如存储在存储电路404中的控制程序，以控制整个外部设备301。存储电路404存储例如由控制电路411执行的控制程序和诸如用于通信的参数等的各种信息。当控制电路411执行存储在存储电路404中的控制程序时，进行以下描述的各种操作。
电源电路410向外部设备301供电。显示装置407如液晶显示器(lcd)或发光二极管(led)等那样具有例如用于输出视觉可识别信息的功能，或者如扬声器等那样具有用于输出声音的功能，并且显示各种信息。操作构件408是用于接收在外部设备301上进行的用户操作的按钮等。显示装置407和操作构件408可以由诸如触摸屏等的共同构件形成。
音频输入/处理电路409可以被配置为从例如内置在外部设备301中的通用麦克风获得用户产生的语音，并且通过语音识别处理从用户获得操作指示。
另外，音频输入/处理电路409经由外部设备301中的专用应用从用户产生的语音获得音频命令。可以将音频命令登记为特定音频命令，以使得摄像设备101的音频处理电路212经由使用无线lan的通信装置302来识别特定音频命令。
gps接收器电路405接收从卫星发送的gps信号，分析gps信号，并估计外部设备301的当前位置(经度和纬度信息)。可选地，可以通过使用wi-fi定位系统(wps)等基于与周围存在的无线网络有关的信息来估计外部设备301的当前位置。在所获得的当前gps位置信息所指示的位置在预先设置的位置范围内(在预定半径的范围内)的情况下或者在gps位置信息已经改变了预定量以上的情况下，gps接收器电路405经由ble控制电路402将移动信息发送到摄像设备101，并且该移动信息用作用于后述的自动摄像或自动编辑的参数。
如上所述，外部设备301通过使用无线lan控制电路401和ble控制电路402的通信来向摄像设备101发送数据/从摄像设备101接收数据。例如，发送/接收诸如音频信号、图像信号、压缩音频信号和压缩图像信号等的数据。另外，外部设备301发送用于摄像设备101进行摄像的操作指示，发送音频命令登记数据，并且发送基于gps位置信息的预定位置检测通知或移动通知。此外，外部设备301经由外部设备301中的专用应用发送/接收学习数据。
摄像操作的序列
图5是用于描述由根据本实施例的摄像设备101的控制电路221进行的操作的示例的流程图。
当用户操作摄像设备101的电源按钮时，电源电路210向控制电路221和摄像设备101的各个块供电。图5所示的操作从供电开始。在步骤s501(以下将“步骤s”简称为“s”)中，读取启动条件。在本实施例中，可以响应于手动按下电源按钮，或者响应于通过外部通信(例如，ble通信)来自外部设备(例如，外部设备301)的指示来进行电源接通。可选地，可以响应于检测到用户对摄像设备101的轻击，或者响应于检测到特定音频命令的输入来进行电源接通。这里读取的启动条件用作后述的被摄体搜索或自动摄像的一个参数元素。在读取启动条件之后，操作进入s502。
在s502中，从各种传感器读取信息。这里读取的信息包括设备抖动检测电路209中所配备的诸如陀螺仪传感器和加速度传感器等的用于检测抖动的传感器所检测到的信息。这里读取的信息还包括倾斜转动机构104和平摇转动机构105的转动位置。这里读取的信息还包括由音频处理电路212检测到的音频水平、特定音频识别的检测触发以及声音方向。
尽管在图1至4中未示出，但是用于检测环境信息的传感器获得信息。传感器的示例包括用于以预定间隔检测摄像设备101的环境温度的温度传感器和用于检测摄像设备101的环境大气压的变化的大气压传感器。传感器的示例还包括用于检测摄像设备101的环境照度的照度传感器、用于检测摄像设备101的环境湿度的湿度传感器、以及用于检测摄像设备101周围的紫外线量的紫外线(uv)传感器。除了检测到的温度信息、大气压信息、照度信息、湿度信息和uv信息之外，通过根据检测到的信息计算按预定时间间隔的变化率而获得的温度的变化量、大气压的变化量、照度的变化量、湿度的变化量和紫外线的变化量可以用于后述的自动摄像等的判断。
在s502中完成从各种传感器的信息读取之后，操作进入s503。在s503中，判断是否存在从外部设备301提供的通信指示。在存在通信指示的情况下，进行与外部设备301的通信。例如，外部设备301经由无线lan或ble进行诸如音频信号、图像信号、压缩音频信号或压缩图像信号等的数据的远程操作或者发送/接收。另外，进行读取以判断是否存在来自外部设备301的用于由摄像设备101进行摄像的操作指示、音频命令登记数据的发送、基于gps位置信息的预定位置检测通知或移动通知、或者用以发送/接收学习数据的指示。
用于检测环境信息的上述各种传感器可以安装在摄像设备101或外部设备301上。在传感器安装在外部设备301上的情况下，通过使用ble读取环境信息。在s503中进行了通过通信从外部设备301的读取之后，操作进入s504。
在s504中，进行模式设置判断。从以下模式中判断并选择在s504中设置的模式。
(1)手动摄像模式
模式判断条件
响应于检测到由外部设备301发送的用于设置手动摄像模式的命令来设置手动摄像模式。
模式下的处理
在手动摄像模式处理(s506)中，根据用户的输入进行平摇/倾斜驱动或变焦驱动，并且根据来自用户的指示来拍摄静止图像或开始运动图像的记录。用户。
(2)自动摄像模式
模式判断条件
响应于要进行自动摄像的判断而设置自动摄像模式，该判断是基于通过下述学习而设置的检测到的信息(图像、声音、时间、抖动、场所、身体变化和环境变化)、从转变成自动摄像模式起的经过时间、或者与先前摄像有关的信息等而作出的。
模式下的处理
在自动摄像模式处理(s508)中，用作判断装置的学习处理电路217基于检测到的信息(图像、声音、时间、抖动、场所、身体变化和环境变化)，通过进行平摇/倾斜驱动或变焦驱动来自动搜索被摄体。当判断为拍摄用户喜欢的图像的定时已经到来时，自动进行摄像。在用户提供摄像指示的情况下，根据该指示进行摄像。
(3)学习模式
模式判断条件
响应于要进行学习的判断而设置学习模式，该判断是基于从上次学习处理起的经过时间、或者与可用于学习的图像相关联的信息或学习数据的数量等而作出的。还响应于用以设置通过通信从外部设备301提供的学习参数的指示来设置该模式。
模式下的处理
在学习模式处理(s510)中，学习处理电路217进行用于满足用户偏好的学习。基于与外部设备301中的操作以及来自外部设备301的学习数据的通知有关的信息，通过使用神经网络来进行用于满足用户偏好的学习。与外部设备301中的操作有关的信息包括例如与从摄像设备101获取图像有关的信息、经由专用应用提供了手动编辑指示的信息、以及与用户针对摄像设备101中的图像输入的判断值有关的信息。
(4)返回学习模式
模式判断条件
响应于要将学习参数改变为先前学习参数的判断而设置返回学习模式，该判断是基于从上次学习处理起的累积启动时间以及从上次学习处理起已经进行自动摄像的次数而作出的。还响应于用以将学习参数改变为通过通信从外部设备301提供的先前学习参数的指示来设置该模式。
模式下的处理
在返回学习模式处理(s512)中，将针对用作判断装置的学习处理电路217所设置的学习参数改变为在上次学习处理中所获得的学习参数。可选地，通过使用除了新获得的学习数据之外的学习数据来再次进行学习处理。
下面将描述自动摄像模式处理、学习模式处理和返回学习模式处理的详情。
在图5的s505中，判断在s504中的模式设置判断中是否设置了手动摄像模式。如果判断为设置了手动摄像模式，则操作进入s506，其中在s506中，进行手动摄像模式处理。在手动摄像模式处理中，如上所述，根据用户的输入来驱动摄像设备101。在处理结束之后，操作返回到s502。
另一方面，如果在s505中判断为未设置手动摄像模式，则操作进入s507，其中在s507中，判断是否设置了自动摄像模式。如果设置了自动摄像模式，则操作进入s508，其中在s508中，进行自动摄像模式处理。在处理结束之后，操作返回到s502。如果在s507中判断为未设置自动摄像模式，则操作进入s509。
在s509中，判断是否设置了学习模式。如果设置了学习模式，则操作进入s510，其中在s510中，进行学习模式处理。在处理结束之后，操作返回到s502，并且重复该操作。如果在s509中判断为未设置学习模式，则操作进入s511。
在s511中，判断是否设置了返回学习模式。如果设置了返回学习模式，则操作进入s512，其中在s512中，进行返回学习模式处理。在处理结束之后，操作返回到s502，并且重复该操作。如果在s511中判断为未设置返回学习模式，则操作返回到s502，并且重复该操作。
自动摄像模式处理
将参考图6来给出在图5的s508中的自动摄像模式处理的详情的描述。如上所述，以下描述的处理由根据本实施例的摄像设备101的控制电路221控制。
在s601中，使图像处理电路207对由摄像单元206拍摄的信号进行图像处理，以生成用于被摄体识别的图像。对所生成的图像进行诸如人物识别或物体识别等的被摄体识别。
在识别人物的情况下，检测人物的面部或身体。在面部检测中，预先确定用于判断人物的面部的图案，并且可以将拍摄图像的与该图案一致的部分检测为人物的面部图像。
同时，计算指示该部分可能是被摄体面部的程度的可靠度。基于例如图像中的面部区域的大小或者与面部图案的一致程度等来计算可靠度。
同样地，在物体识别中，可以识别与预先登记的图案一致的物体。还存在用于通过使用拍摄图像的色相和饱和度等的直方图来提取特征被摄体的方法。在这种情况下，将从视角内的被摄体的图像的色相和饱和度等的直方图导出的分布划分为多个区间，并且在各区间中对拍摄图像进行分类。
例如，针对拍摄图像创建多个颜色分量的直方图，将山形分布范围划分为区间，在属于相同区间的组合的区域中对拍摄图像进行分类，并且识别被摄体的图像区域。
作为针对识别出的被摄体的各图像区域计算评价值的结果，可以将被摄体的具有最大评价值的图像区域判断为主被摄体区域。
利用这种方法，可以从摄像信息中获得被摄体信息。
在s602中，计算抖动补偿量。具体地，基于由设备抖动检测电路209获得的角速度和加速度信息来计算摄像设备101的绝对角度。随后，将图像稳定角度计算为抖动补偿量。倾斜转动机构104和平摇转动机构105将在抵消绝对角度的角度方向上移动了图像稳定角度。
在s603中，判断摄像设备101的状态。基于从角速度信息、加速度信息和gps位置信息等中检测到的角度和移动量等，判断摄像设备101的当前抖动/移动状态。例如，在通过将摄像设备101附接到车辆来拍摄图像的情况下，与车辆周围场景有关的被摄体信息根据移动距离而极大地改变。
因此，判断摄像设备101是否处于“车载移动状态”，即判断该设备是否被安装在汽车等上并且快速移动。判断的结果可以用于后述的自动被摄体搜索。
另外，判断角度是否存在很大变化，并且判断摄像设备101是否处于摄像设备101几乎不具有抖动角度的“静止状态”。在“静止状态”下，可以假设摄像设备101几乎不具有角度变化，因此可以进行针对静止状态的被摄体搜索。
在角度变化相对较大的情况下，判断摄像设备101是否处于“手持状态”，并且可以进行针对手持状态的被摄体搜索。
在s604中，进行被摄体搜索。控制电路221将以摄像设备101的位置为中心(原点o对应于摄像设备101的位置)的360度区域划分为多个区域。对于各区域，计算用于指示根据该区域中存在的被摄体或该区域的场景状况进行搜索的优先顺序的重要度水平。基于例如该区域中存在的人数、人物的面部大小、面部的朝向、面部检测的可靠性、人物的表情和人物的个人认证结果，来计算基于被摄体的状况的重要度水平。基于例如一般物体识别结果、场景判断结果(蓝天、背光或傍晚场景等)、来自该区域的声音水平、语音识别结果以及该区域中的运动检测信息等，来计算基于场景状况的重要度水平。在判断摄像设备101的状态(s603)时检测摄像设备101的抖动状态，因此，可以根据抖动状态来改变重要度水平。例如，在抖动状态被判断为“静止状态”的情况下，进行判断以当检测到特定人物的面部时增加重要度水平，从而主要针对面部认证中登记的被摄体中的高优先级被摄体(例如，摄像设备101的用户)进行被摄体搜索。另外，后述的自动摄像是在优先面部的情况下进行的。因此，即使经常在将摄像设备101放置在正行走的用户的身上的情况下进行摄像，也可以通过将摄像设备101放置在桌子等上来拍摄用户的许多图像。此时，可以通过平摇和倾斜来进行被摄体搜索。因此，可以通过仅将摄像设备101放置在某处而不考虑该设备的角度等来拍摄用户的图像和很多人的集体照等。只要在各区域中没有发生变化，具有最高重要度水平的区域在上述条件下就不会变化，因此所搜索的区域不会变化。因此，可以根据与先前摄像有关的信息来改变重要度水平。具体地，可以降低在预定时间段内被连续指定为搜索区域的区域的重要度水平，或者可以在预定时间段内降低后述的s610中进行摄像的区域的重要度水平。
在计算出各个区域的重要度水平之后，将重要度水平高的区域判断为搜索对象区域。随后，计算用于将搜索对象区域包括在视角内的平摇/倾斜搜索目标角度。
在s605中，进行平摇/倾斜驱动。具体地，将图像模糊校正量与基于平摇/倾斜搜索目标角度的控制采样中的驱动角度相加，以计算平摇/倾斜驱动量，并且镜筒转动驱动电路205对倾斜转动机构104和平摇转动机构105进行驱动控制。
在s606中，通过控制变焦机构201来进行变焦驱动。具体地，根据在s604中判断的作为搜索对象的被摄体的状态来进行变焦驱动。例如，在作为搜索对象的被摄体是人物的面部的情况下，如果图像上的面部太小且大小小于最小可检测大小，则该面部可能无法检测到并丢失。在这种情况下，进行控制以通过在远摄方向上进行变焦来增大图像上的面部大小。另一方面，在图像上的面部太大的情况下，根据被摄体或摄像设备101的移动，被摄体可能不在视角范围内。在这种情况下，进行控制以通过在广角方向上进行变焦来减小图像上的面部大小。变焦控制使得可以维持适合于追踪被摄体的状态。
在s604至s606中已经描述了通过平摇/倾斜驱动或变焦驱动来进行被摄体搜索的方法。可选地，可以通过使用用于通过使用多个广角镜头拍摄全方位图像的摄像系统来进行被摄体搜索。在全方位照相机中，通过使用通过摄像获得的所有信号作为输入图像来进行诸如被摄体检测等的图像处理，这需要大量的处理。因此，可以提取图像的一部分，并且可以在提取的图像范围内进行被摄体搜索。可以通过使用与上述方法同样的方法来计算各个区域的重要度水平，可以基于重要度水平来改变要提取的位置，并且可以进行后述的自动摄像的判断。因此，可以降低图像处理中的功耗，并且可以快速进行被摄体搜索。
在s607中，在设置了自动摄像模式的情况下，判断用户是否已经提供了摄像指示(手动摄像指示)。在已经提供了摄像指示的情况下，处理进入s610。此时，可以通过按下快门按钮或者用手指等轻击摄像设备101的壳体、输入音频命令或提供来自外部设备的指示，来提供来自用户的摄像指示。用于提供摄像指示的轻击操作是如下的摄像指示方法，其中在该摄像指示方法中，当用户轻击摄像设备101的壳体时，设备抖动检测电路209检测短时间段内的连续高频加速度，并且检测到的加速度用作摄像的触发。音频命令的输入是如下的摄像指示方法，其中在该摄像指示方法中，当用户说出用以提供拍摄图像的指示的预定单词(例如，“拍照”)时，音频处理电路212识别用户的语音，并且所识别出的语音用作摄像的触发。提供来自外部设备的指示是如下的摄像指示方法，其中在该摄像指示方法中，经由专用应用从通过蓝牙连接的智能电话等向摄像设备101发送的快门指示信号被用作触发。
在s607中不存在摄像指示的情况下，处理进入s608，其中在s608中，学习处理电路217进行自动摄像判断。在自动摄像判断中，判断是否要进行自动摄像。
基于作为机器学习的一种方法的神经网络来判断是否要进行自动摄像。作为神经网络的示例，图7示出多层感知器网络的示例。神经网络用于根据输入值来预测输出值。预先学习输入值和针对该输入值的模型输出值使得可以根据学习的模型针对新输入值来估计输出值。下面将描述学习方法。在图7中，其顶部由701表示的垂直排列的圆圈是输入层中的神经元，其顶部由703表示的垂直排列的圆圈是中间层中的神经元，而由704表示的圆圈是输出层中的神经元。由702表示的箭头之一指示神经元之间的连接。在基于神经网络的判断中，将基于当前视角内的被摄体以及场景和摄像设备的状态的特征值作为输入赋予至输入层中的神经元，并且通过基于多层感知器的前向传播规则的计算来获得从输出层输出的值。如果输出值大于或等于阈值，则判断为进行自动摄像。作为被摄体的特征，可以使用当前的变焦倍率，当前视角下的一般物体识别结果、面部检测结果、当前视角下的面部数量、面部的微笑水平或闭眼水平、面部角度、面部认证id号、作为被摄体的人物的视线角度、场景判断结果以及特定构图的检测结果等。此外，可以使用从上次摄像起的经过时间、当前时间、gps位置信息和从上次摄像起的位置变化量、当前音频水平、是否存在发出语音的人物、拍手或掌声等。另外，可以使用抖动信息(加速度信息、摄像设备的状态)和环境信息(温度、大气压、照度、湿度、紫外线量)等。将这些特征转换为预定范围内的值，并将这些值作为特征值提供给输入层中的神经元。因此，要在输入层中使用的神经元的数量等于要使用的特征值的数量。
在基于神经网络的判断中，通过在后述的学习处理中改变神经元之间的连接权重来改变输出值，并且判断的结果可以适应于学习结果。
通过在图5的s501中读取的启动条件来改变用于进行自动摄像的判断。例如，通过轻击检测的启动或通过特定音频命令的启动很可能是用于请求现在要进行摄像的用户操作。因此，进行设置以增加摄像的频率。
在s609中作出要在s608的自动摄像判断中拍摄图像的判断的情况下，处理进入s610。在没有作出该判断的情况下，自动摄像模式处理结束，并且图5中的操作返回到s502。
在s610中，开始摄像。此时，在手动摄像的情况下，使用用户手动设置的摄像方法进行静止摄像或进行摄像。在自动摄像的情况下，摄像在s608中判断的定时开始。此时，由调焦驱动控制电路204进行自动调焦控制。另外，通过使用未示出的光圈控制电路、传感器增益控制电路和快门控制电路来进行用于实现被摄体的适当亮度的曝光控制。此外，在摄像之后，图像处理电路207进行诸如自动白平衡处理、降噪处理和伽马校正处理等的各种图像处理操作，由此生成图像。
在摄像时满足预定条件的情况下，摄像设备101可以在向作为被摄体的人物通知摄像将开始之后进行摄像。为了通知该人物，例如，可以使用来自音频输出电路216的声音或来自led控制电路222的led光，或者可以使用通过平摇/倾斜驱动的用于从视觉上引导被摄体的视线的运动操作。预定条件可以是例如视角范围内的面部数量、面部的微笑水平或闭眼水平、作为被摄体的人物的视线角度或面部角度、面部认证id号、或者已经通过个人认证登记的人数等。预定条件可以是摄像时的一般物体识别结果、场景判断结果，从上次摄像起的经过时间、摄像时间、基于gps信息的当前位置是否是风景名胜区、摄像时的音频水平、是否存在发出语音的人物、或者是否存在拍手或掌声等。另外，预定条件可以是抖动信息(加速度信息、摄像设备的状态)或者环境信息(温度、大气压、照度、湿度、紫外线量)等。作为在基于这些条件提供通知之后进行摄像的结果，可以在重要场景中拍摄被摄体正看着照相机的良好图像。
可以使用多个预定条件，并且可以根据各条件改变声音、led的点亮方法(颜色、闪烁时间等)或者平摇/倾斜运动方法(移动的方式或驱动速度)。
在s611中，进行诸如对s610中生成的图像的编辑或向运动图像的添加等的图像编辑。图像编辑具体包括基于人物的面部或聚焦位置的裁切、图像的转动以及高动态范围(hdr)效果、模糊效果或颜色转换滤镜效果等的添加。可以通过组合上述处理来从在s610中生成的图像生成多个编辑图像，并且可以与在s610中生成的图像分开地存储多个编辑图像。关于运动图像处理，可以在添加诸如滑动、缩放和淡入淡出效果等的特殊效果的同时将拍摄的运动图像或静止图像添加到所生成的编辑的运动图像。可以利用与拍摄图像有关的信息或在摄像之前检测到的各种信息，根据基于神经网络的判断来判断在s611的图像编辑中使用的图像编辑方法。可以根据后述的学习处理来改变该判断处理的判断条件。
在s612中，从拍摄图像生成学习数据。这里，生成并记录在后述的学习处理中要使用的信息。具体地，该信息包括此次拍摄的图像中的摄像时的变焦倍率、摄像时的一般物体识别结果、面部检测结果、拍摄图像中的面部数量、面部的微笑水平或闭眼水平、面部角度、面部认证id号、以及作为被摄体的人物的视线角度等。另外，该信息包括场景判断结果、从上次摄像起的经过时间、摄像时间、gps位置信息和从上次摄像起的位置变化量、摄像时的音频水平、以及是否存在发出语音的人物、拍手或者鼓掌等。另外，该信息包括抖动信息(加速度信息、摄像设备的状态)、环境信息(温度、大气压、照度、湿度、紫外线量)、运动图像拍摄时间、以及图像是否是基于手动摄像指示等。此外，计算作为神经网络的输出并指示用户对图像的偏好的分数。
生成上述信息并将该信息作为标签信息记录在拍摄图像文件中。可选地，该信息可以被写入非易失性存储器214中，或者可以以拍摄图像的信息项的列表的形式作为所谓的目录数据存储在记录介质219中。
在s613中，更新与先前摄像有关的信息。具体地，在关于s608描述的各区域中的拍摄图像的数量、已经通过个人认证登记的各人物的拍摄图像的数量、一般物体识别中所识别出的各被摄体的拍摄图像的数量、以及针对场景判断中的各场景的拍摄图像的数量中，与此次拍摄的图像相对应的数量增加1。
学习模式处理
接着，将给出根据本实施例的用于满足用户偏好的学习的描述。
在本实施例中，学习处理电路217通过使用图7所示的神经网络和机器学习算法来进行用于满足用户偏好的学习。作为学习处理电路217，例如使用nvidia公司的jetsontx2。神经网络用于根据输入值预测输出值。通过预先学习实际输入值和输出值，可以基于新的输入值来估计输出值。通过使用神经网络，针对上述自动摄像和被摄体搜索进行用于满足用户偏好的学习。在本实施例中，学习处理电路217进行机器学习以及使用通过机器学习所获得的学习参数的判断处理这两者，但是本实施例不限于此。例如，外部设备可以进行机器学习，并且学习处理电路217可以接收由外部设备生成的学习参数并进行判断处理。
另外，登记用作要输入到神经网络的特征数据的(从面部识别或一般物体识别等获得的)被摄体信息。
将描述根据本实施例的用于自动摄像的学习。在自动摄像中，进行学习以自动拍摄适合用户偏好的图像。如以上使用图6中的流程图所述，在摄像之后生成学习数据(s612)。在后述的方法中选择要学习的图像，并基于图像中包含的学习数据，通过改变神经网络的神经元之间的连接权重来进行学习。
接着，将描述学习方法。该学习方法包括“在摄像设备内进行学习”和“与通信设备协作地学习”。首先将描述用于在摄像设备内进行学习的方法。
根据本实施例的在摄像设备内进行学习包括以下方法。
(1)在用户进行摄像指示时利用所检测到的信息进行学习
如以上关于图6中的s607至s613所述，根据本实施例的摄像设备101能够进行两种类型的摄像：手动摄像和自动摄像。在s607中提供手动摄像指示的情况下(如上所述，基于三个判断)，在s612中将指示手动拍摄图像的信息添加到拍摄图像。在s609中判断为要进行自动摄像之后拍摄图像的情况下，在s612中将指示自动拍摄图像的信息添加到拍摄图像。此外，将指示手动拍摄图像的信息添加到在s506中的手动摄像模式下所拍摄的图像。
在手动摄像中，利用适合用户偏好的被摄体、场景、场所和时间间隔来拍摄图像的可能性高。因此，基于通过手动摄像获得的特征数据和通过手动摄像获得的图像的学习数据来进行学习。
利用通过手动摄像获得的检测信息，关于拍摄图像中的特征值的提取和个人认证的登记、个人表情的登记以及人物组合的登记来进行学习。利用通过被摄体搜索所获得的检测信息，例如，进行基于被登记为个人的被摄体的表情来改变该被摄体附近的人物或物体的重要度水平的学习。
接着，将描述根据本实施例的与外部通信设备协作地进行学习。根据本实施例的与外部通信设备协作地进行学习包括以下方法。
(2)通过外部通信设备获得图像来进行学习
如以上参考图3所述，摄像设备101和外部设备301具有通信装置302和303作为通信单元。图像的发送/接收主要由通信装置302进行，并且外部设备301能够经由外部设备301中的专用应用通过通信来获得摄像设备101中的图像。另外，可以经由外部设备301中的专用应用来查看存储在摄像设备101中的图像数据的缩略图图像。因此，用户能够从缩略图图像中选择期望的图像，检查图像，并通过提供图像获取指示来将图像带到外部设备301中。
此时，用户选择图像，提供发送图像的指示，并获得图像。因此，获得的图像适合用户偏好的可能性高。因此，将获得的图像判断为要学习的图像，以与图6中的s612同样的方式从获得的图像生成学习数据，并且基于该学习数据进行学习。因此，可以进行用于满足用户偏好的各种学习。
将描述示例操作。图8示出用户经由作为智能设备的外部设备301的专用应用查看摄像设备101中的图像的示例。将存储在摄像设备101中的图像数据的缩略图图像804至809显示在显示装置407上，并且用户能够选择并获得期望的图像。在这种情况下，提供用于改变显示模式的显示模式改变单元801至803。按下显示模式改变单元801使得显示模式改变为日期和时间优先显示模式，并且摄像设备101中的图像以摄像日期和时间的顺序(例如，图像804是最新的，而图像809是最早的)显示在显示装置407上。按下显示模式改变单元802使显示模式改变为推荐图像优先显示模式。基于在图6的s612中计算出的指示用户对各个图像的偏好的分数，将摄像设备101中的图像以分数的降序(例如，图像804的分数高，而图像809的分数低)显示在显示装置407上。按下显示模式改变单元803使用户能够将人物或物体指定为被摄体。另外，当指定特定人物或物体作为被摄体时，仅可以显示该特定被摄体。
显示模式改变单元801至803的设置可以同时接通。例如，在所有的设置都处于on(接通)状态的情况下，以仅显示指定的被摄体并且优先最新图像和高分图像的方式来显示图像。
以这种方式，学习了用户对拍摄图像的偏好，并且因此可以通过简单的检查操作容易地从大量拍摄图像中仅提取适合用户偏好的图像。
(3)通过经由外部通信设备向图像输入判断值来进行学习
如上所述，摄像设备101和外部设备301具有通信单元，并且被配置为使得用户能够经由外部设备301中的专用应用查看存储在摄像设备101中的图像。这里，用户可以向各图像分配分数。用户可以向适合用户偏好的图像分配高分(例如5)，并且可以向不适合用户偏好的图像分配低分(例如1)。这样的用户操作使得摄像设备101能够进行学习。各个图像的分数与学习数据一起用于摄像设备101中的再学习。进行学习，使得基于作为从指定图像信息获得的特征数据的输入的神经网络的输出接近用户指定的分数。
在本实施例的结构中，用户经由外部设备301将判断值输入到拍摄图像。可选地，用户可以通过操作摄像设备101来将判断值直接输入到图像。在这种情况下，例如，在摄像设备101上提供触摸屏显示器，并且用户按下在触摸屏显示器上显示的图形用户界面(gui)按钮以设置用于显示拍摄图像的模式。随后，用户在检查图像的同时向各拍摄图像输入判断值。因此，可以以同样的方式进行学习。
(4)通过外部通信设备改变参数来进行学习
如上所述，摄像设备101和外部设备301具有通信单元，因此可以将当前在摄像设备101中设置的学习参数发送到外部设备301并存储在外部设备301的存储电路404中。学习参数可以例如是神经网络的神经元之间的连接权重、以及要输入到神经网络的被摄体的选择等。另外，可以经由外部设备301中的专用应用通过公共线路控制电路406来获得对专用服务器设置的学习参数，并且可以将所获得的学习参数设置为摄像设备101中的学习参数。因此，可以将特定时间点的参数存储在外部设备301中并且可以将该参数设置到摄像设备101，由此再设置学习参数，或者可以经由专用服务器获得其它用户的学习参数，并且可以将该学习参数设置到摄像设备101自身。
接着，将描述学习处理序列。在图5的s504中的模式设置判断中，判断是否要进行学习处理。在进行学习处理的情况下，判断为该模式是学习模式，并且进行s510中的学习模式处理。
将描述学习模式的判断条件。基于从上次学习处理起的经过时间、可用于学习的信息数、或者是否已经经由通信装置提供了学习处理指示等，来判断是否转变为学习模式。图9示出在步骤s504的模式设置判断中所进行的用于判断是否转变为学习模式的处理流程。
响应于在s504的模式设置判断中开始学习模式判断的指示，开始图9所示的处理。在s901中，判断是否存在从外部设备301提供的学习指示。这里的判断是如“通过外部通信设备改变参数来进行学习”中那样对是否存在用以设置学习参数的指示的判断。在s901中存在从外部设备301提供的学习指示的情况下，处理进入s907，其中在s907中，将学习模式判断设置为“真”以进行在s510中的处理，并且学习模式判断结束。在s901中不存在从外部设备301提供的学习指示的情况下，处理进入s902。
在s902中，获得从上次学习模式处理起的经过时间timen，然后处理进入s903。在s903中，获得要学习的新数据的数量dn(从上次学习处理起的经过时间timen期间指定要学习的图像的数量)，并且处理进入s904。在s904中，根据timen计算阈值dt。可以准备用于根据timen获得阈值dt的表。例如，将timen小于预定值的情况下的阈值dta设置为大于timen大于该预定值的情况下的阈值dtb，并且阈值被设置为随着时间而减小。因此，即使在学习数据的数量少的情况下，当经过长时间时也进行再学习，使得摄像设备101可以根据使用时间容易地学习变化。在进行学习模式处理之后的一定时间段，阈值dt可以被设置为0，使得模式不转变为学习模式。
在s904中计算出阈值dt之后，处理进入s905，其中在s905中，判断要学习的数据的数量dn是否大于或等于阈值dt。在dn大于或等于阈值dt的情况下，处理进入s906，其中在s906中，dn被设置为0。此后，处理进入s907，其中在s907中，将学习模式判断设置为“真”以进行s510中的处理，并且学习模式判断结束。
在s905中dn小于阈值dt的情况下，处理进入s908。因为既没有来自外部设备301的登记指示也没有学习指示，并且学习数据的数量小于预定值，因此将学习模式判断设置为“假”以不进行s510中的处理，并且学习模式判断结束。
接着，将描述学习模式处理(s510)的详情。图10示出学习模式处理的详细流程。
在图5的s509中判断为“学习模式”之后，图10所示的处理在s510中开始。在s1001中，判断是否存在从外部设备301提供的学习参数设置指示。在存在从外部设备301提供的学习参数设置指示的情况下，处理进入s1012，其中在s1012中，将从外部设备301发送的学习参数设置给各判断器(例如，神经网络的神经元之间的连接权重)，并且处理进入s1013。
在s1001中不存在从外部设备301提供的学习参数设置指示的情况下，处理进入s1002。在s1002中，按最早的获取定时起的顺序对已经获得的学习数据进行排序。学习数据包括从具有指示手动拍摄图像的信息的拍摄图像生成的学习数据、从由外部通信设备获得的图像生成的学习数据、以及从经由外部通信设备输入了判断值的拍摄图像生成的学习数据。可以按照拍摄图像的顺序而不是按照获取到学习数据的顺序对学习数据进行排序。
在s1003中，设置基准次数的初始值。基准次数指示已经使用学习数据进行了学习的次数，并且在本实施例中是以250为单位的间隔(即250、500、750和1000等)设置的值。在s1003中，将最小值250设置为基准次数。
在s1004中，根据在s1002中对学习数据进行排序的顺序选择一个学习数据，并且进行机器学习。通过使用误差反向传播或梯度下降等来进行学习，并且再计算神经网络的神经元之间的连接权重以改变各判断器的参数。在用户已经向生成了学习数据的图像分配了分数的情况下，通过考虑分数来进行学习。
在s1005中，学习次数增加。假设在开始学习模式处理时将学习次数的初始值设置为0。
在s1006中，判断在学习中使用的学习数据是否是在s1002中排序后的学习数据中的最后一个。在学习数据不是最后一个的情况下，处理进入s1007。
在s1007中，判断学习次数是否已经达到基准次数。在学习次数尚未达到基准次数的情况下，处理返回到s1004。在学习次数已经达到基准次数的情况下，处理进入s1008。
在s1008中，将学习次数达到基准次数时生成的学习参数与基准次数相关联地存储在非易失性存储器214中。在每次学习次数达到250、500、750和1000时，都会存储与相应学习次数相关联的学习参数。
在s1009中，基准次数被更新为下一最小值。在本实施例中，以500、750和1000的顺序更新基准次数，然后处理返回到s1004。
返回到s1006，在学习中使用的学习数据是在s1002中排序后的学习数据的最后一个的情况下，处理进入s1010。
在s1010中，将当进行了利用最后的学习数据的学习时所生成的学习参数作为最新学习参数与在s1008中同学习次数相关联的学习参数分开地存储在非易失性存储器214中。即，在学习数据的数量为900的情况下，在s1008中将与基准次数250、500和750相关联的学习参数存储在非易失性存储器214中。此外，在s1010中，将通过使用900个学习数据生成的学习参数存储在非易失性存储器214中。
在s1011中，将在s1010中存储的最新学习参数设置给各判断器(例如，神经网络的神经元之间的连接权重)，并且处理进入s1013。
在s1013中，将新分数分配给记录介质219中的图像。在根据本实施例的结构中，基于新学习结果将分数分配给存储在记录介质219中的所有拍摄图像，并且根据分配的分数来进行自动编辑或自动文件删除。因此，在已经通过外部设备301进行了再学习或学习参数设置之后，需要更新拍摄图像的分数。因此，在s1013中，进行再计算以向存储在记录介质219中的拍摄图像分配新分数，并且在处理结束之后，学习模式处理结束。可以根据来自用户的指示来进行用于分配新分数的再计算。
在本实施例中，已经基于在摄像设备101内进行学习的结构给出了描述。可选地，外部设备301可以具有学习功能，学习数据可以被发送到外部设备301，并且学习可以仅由外部设备301进行以产生同样的学习效果。在这种情况下，如以上关于“通过外部通信设备改变参数来进行学习”所述，可以通过将由外部设备301学习的诸如神经网络的神经元之间的连接权重等的参数利用通信设置到摄像设备101来进行学习。
可选地，摄像设备101和外部设备301这两者都可以具有学习功能。例如，在摄像设备101中进行学习模式处理s510的定时，可以将由外部设备301保持的学习数据发送到摄像设备101，并且可以合并学习参数以进行学习。
接着，将描述返回学习模式的判断条件。基于从上次学习模式处理起的累积启动时间、在该时间期间自动拍摄的图像数量、或者是否已经经由通信设备提供了返回学习处理指示等，来判断是否要转变为返回学习模式。图11示出在s504的模式设置判断中进行的用于判断是否转变为返回学习模式的处理流程。
响应于在s504的模式设置判断中开始返回学习模式判断的指示，开始图11所示的处理。在s1101中，判断是否存在从外部设备301提供的返回学习指示。这里所进行的判断是对是否存在用以设置先前学习参数的指示的判断。在s1101中存在从外部设备301提供的用以进行返回学习的指示的情况下，处理进入s1106，其中在s1106中，将返回学习模式判断设置为“真”以进行s512中的处理，并且返回学习模式判断结束。在s1101中不存在从外部设备301提供的用以进行返回学习的指示的情况下，处理进入s1102。
在s1102中，获得从上次学习模式处理或返回学习模式处理起的累积启动时间timen2，并且处理进入s1103。在s1103中，获得从上次学习模式处理或返回学习模式处理起的自动拍摄的图像数量sn，并且处理进入s1104。在s1104中，根据timen2计算阈值st。可以准备用于根据timen2获得阈值st的表。例如，将timen2小于预定值的情况下的阈值sta设置为大于timen2大于预定值的情况下的阈值stb，并且该阈值被设置为随着时间而减小。因此，在拍摄图像的数量相对于累积启动时间小的情况下，判断为此时使用的学习参数不适合用户，并且将学习参数改变为先前的学习参数。在进行学习模式处理或返回学习模式处理之后的一定时间段，阈值st可以被设置为0，使得模式不转变为返回学习模式。
在s1104中计算出阈值st之后，处理进入s1105，并且判断自动拍摄的图像数量sn是否小于阈值st。在sn小于阈值st的情况下，处理进入s1106，其中在s1106中，将返回学习模式判断设置为“真”以进行s512中的处理，并且返回学习模式判断结束。在s1105中sn大于或等于阈值st的情况下，处理进入s1107，其中在s1107中，将返回学习模式判断设置为“假”，并且返回学习模式判断结束。
图11所示的判断处理流程是示例，并且可以使用其它判断方法，只要可以检测到自动摄像不适合用户偏好即可。例如，在分数低于预定分数的图像与通过自动摄像获得并具有用户输入的分数的图像的比大于或等于预定值的情况下，可以判断为转变为返回学习模式。可选地，在小于预定值的分数被输入到通过自动摄像所获得的图像预定次数的情况下，可以判断为转变为返回学习模式。
接着，将描述返回学习模式处理(s512)的详情。图12示出返回学习模式处理的详细流程。
在图5的s511中判断为“返回学习模式”之后，在s512中开始图12中所示的处理。在s1201中，判断是否存在从外部设备301提供的返回学习指示。
将给出使用外部设备301提供返回学习指示的示例操作的描述。图13示出如下示例：经由作为智能设备的外部设备301的专用应用来显示存储在摄像设备101中的多个学习参数。在图13中，显示装置407显示存储在摄像设备101中的学习参数1301至1303。用户能够选择这些学习参数中的任何一个并将其设置到摄像设备101。这里，与基准次数相关联的学习参数可以彼此区分并且被选择。可选地，为了用户友好性，用户可以仅选择创建学习参数的日期，然后可以自动选择包括该日期并且与最大基准次数相关联的学习参数。
在存在从外部设备301提供的返回学习指示的情况下，处理进入s1203，其中在s1203中，将从外部设备301发送的学习参数设置给各判断器(例如，神经网络的神经元之间的连接权重)。在s1201中不存在从外部设备301提供的返回学习指示的情况下，处理进入s1202，其中在s1202中，选择学习参数。
s1202中使用的用于选择学习参数的方法例如是基于在图11的s1103中获得的自动拍摄的图像数量sn与在图11的s1104中计算的阈值st之间的比较结果的方法。例如，将与针对阈值st的预定比(例如80％)相对应的值视为基准值。在自动拍摄的图像数量sn大于或等于基准值的情况下，可以判断为在用于获得学习参数的学习数据中包括许多可靠的学习数据。因此，选择在上次学习模式处理中在图10的s1008中存储的与基准次数相关联的学习参数中的任何一个以改变各判断器的参数。具体地，在设置了通过使用900个学习数据而获得的学习参数的状态下处理进入图12中的s1202的情况下，选择与作为最大基准次数的750相关联的学习参数。在设置了与基准次数750相关联的学习参数的状态下处理进入图12中的s1202的情况下，选择与作为次最大基准次数的500相关联的学习参数。
另一方面，在自动拍摄的图像数量sn小于基准值的情况下，不选择在上次学习模式处理中获得的与基准次数相关联的任何学习参数，而是设置在上次学习模式处理之前的学习模式处理中生成的学习参数。这是因为，在自动拍摄的图像数量sn小于基准值的情况下，在上次学习模式处理中使用的学习数据包括很多具有错误分数的噪声的可能性高。可能的原因是用户手动拍摄的图像不适合用户的偏好，或者用户分配给图像的分数每天都有很大差异。在这种情况下，即使使用从相同学习数据组获得的学习参数中的与不同基准次数相关联的学习参数，自动拍摄的图像数量也不会预期增加。因此，从非易失性存储器214中删除在上次学习模式处理中使用的学习数据。即，在设置了使用900个学习数据而获得的学习参数的状态下选择与基准次数750相关联的学习参数的情况下，删除第751至第900个学习数据，并将新生成的第901个学习数据用作机器学习中的新的第751个学习数据。
在自动拍摄的图像数量sn大于或等于基准值的情况下，如果在与所有基准次数相关联的任何学习参数中s511中的返回学习模式判断为“真”，则使用在更前的学习模式处理中生成的学习参数。
为了简单起见，在不判断使用学习数据的学习模式处理的状态下开始返回学习模式处理的情况下，可以使用紧前的学习参数。
在选择了要使用的学习参数之后，处理进入s1203，其中在s1203中，将新的学习参数设置给各判断器，并且处理进入s1204。
在s1204中，将新的分数分配给记录介质219中的图像，然后返回学习模式处理结束。
如上所述，根据本实施例，在判断为摄像设备101尚未获得对用户而言适合的图像的情况下，通过使用其它学习数据或与不同范围的学习数据相对应的学习参数来进行摄像。因此，可以增加获得对用户而言适合的图像的频率。
此外，作为准备与学习数据的不同参考范围相关联的多个学习参数的结果，可以在尽可能不浪费学习数据的情况下高效地利用学习数据。
在摄像设备101或外部设备301可以通信的服务器具有学习功能的情况下，可以将与基准次数相关联的学习参数存储在摄像设备101或服务器中。在服务器具有学习功能并且存储了与基准次数相关联的学习参数的情况下，服务器将响应于来自摄像设备101或外部设备301的指示而选择的学习参数发送到摄像设备101。可选地，服务器可以与摄像设备101通信以判断摄像设备101的通信频率，由此服务器可以选择与基准次数中的任意一个相关联的学习参数，并将所选择的学习参数发送到摄像设备101。尽管在本实施例中进行机器学习以自动拍摄适合用户偏好的图像，但这仅是示例，并且本发明的实施例不限于此。本发明的实施例可以应用于如下的检查系统，其中该检查系统通过使用机器学习来学习产品表面上的划痕和污点，拍摄所运输的产品的图像，并判断产品是否有缺陷。使用本发明的实施例可以在与对产品表面的划痕和污点有关的学习有偏差的情况下，使用其它学习数据或与不同范围内的学习数据相关联的学习参数来进行检查。
本发明的实施例可以通过以下方式来实现：经由网络或存储介质向系统或设备提供实现上述实施例的一个或多个功能的程序，并且利用该系统或设备的计算机中的一个或多个处理器来读取并执行该程序。此外，本发明的实施例可以由实现一个或多个功能的电路(例如，专用集成电路(asic))来执行。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
1.一种信息处理设备，包括：
控制电路，其被配置为将第一学习参数设置或发送到用于进行基于学习参数的处理的判断装置，
其中，在所述判断装置所进行的判断的结果满足预定条件的情况下，所述控制电路将第二学习参数而不是所述第一学习参数设置或发送到所述判断装置，
所述第一学习参数是通过使用第一学习数据组进行机器学习而获得的学习参数，
所述第二学习参数是通过使用第二学习数据组进行机器学习而获得的学习参数，以及
所述第一学习数据组包含所述第二学习数据组，并且包括所述第二学习数据组中不包括的学习数据。
2.根据权利要求1所述的信息处理设备，
其中，在按顺序排列多个学习数据的情况下，所述第一学习数据组包括位于所述第二学习数据组之后的学习数据。
3.根据权利要求2所述的信息处理设备，
其中，所述多个学习数据是按获得各学习数据的顺序排列的。
4.根据权利要求2所述的信息处理设备，
其中，所述多个学习数据中的各个学习数据是根据拍摄图像生成的，并且所述多个学习数据是按拍摄与各个学习数据相对应的图像的顺序排列的。
5.根据权利要求1所述的信息处理设备，
其中，在重复进行了预先设置的多个基准次数中的基准次数的学习的情况下，所述控制电路使通过该学习所获得的学习参数与该基准次数相关联地存储在存储器中。
6.根据权利要求5所述的信息处理设备，
其中，所述第二学习参数是与比重复进行学习以获得所述第一学习参数的次数小的基准次数中的最大基准次数相关联的学习参数。
7.根据权利要求6所述的信息处理设备，
其中，在所述判断装置所进行的并且是基于与所述多个基准次数中的任何一个基准次数相关联的学习参数的判断的结果满足所述预定条件的情况下，所述控制电路将与次最大基准次数相关联的学习参数设置或发送到所述判断装置。
8.根据权利要求7所述的信息处理设备，
其中，在所述判断装置所进行的、并且是基于与所述多个基准次数相关联并通过按顺序选择包括所述第一学习数据组的多个学习数据重复进行学习所生成的任意学习参数的判断的结果满足所述预定条件的情况下，所述控制电路将在使用包括所述第一学习数据组的多个学习数据的学习之前进行的学习中所生成的学习参数设置或发送到所述判断装置。
9.根据权利要求1所述的信息处理设备，
其中，所述控制电路使所述判断装置基于学习参数来进行自动摄像和产品检查至少之一。
10.根据权利要求9所述的信息处理设备，
其中，所述预定条件是基于所述第一学习参数的自动摄像的频率低于阈值。
11.根据权利要求1所述的信息处理设备，
其中，所述判断装置使用神经网络，并且所述学习参数是用于设置所述神经网络的神经元之间的连接权重的值。
12.根据权利要求1所述的信息处理设备，还包括所述判断装置。
13.一种信息处理设备，包括：
存储器；以及
控制电路，其被配置为接收通过学习单元使用多个学习数据重复进行的学习所生成的学习参数，并且使所述存储器存储满足预定条件的多个学习参数，
其中，满足所述预定条件的多个学习参数至少是：
在学习次数达到多个基准值其中之一的情况下所生成的各学习参数，
在用于学习的学习数据的数量达到多个基准值其中之一的情况下所生成的各学习参数，或者
在多个基准定时其中之一所生成的各学习参数。
14.根据权利要求13所述的信息处理设备，其中，
所述控制电路使所述存储器除存储满足所述预定条件的多个学习参数之外，还存储通过重复进行学习而生成的最新学习参数，以及
响应于接收到新的学习参数，所述控制电路更新所述存储器中所存储的最新学习参数，但是不更新所述存储器中所存储的满足所述预定条件的多个学习参数。
15.根据权利要求14所述的信息处理设备，还包括：
通信单元，其被配置为将所述存储器中所存储的满足所述预定条件的多个学习参数中的任一个学习参数输出到其它设备。
16.一种摄像设备，包括：
摄像器件；
判断装置，其被配置为判断是否满足用于基于学习参数进行自动摄像的条件；以及
控制电路，其被配置为将第一学习参数设置到所述判断装置，
其中，在所述自动摄像的结果满足预定条件的情况下，所述控制电路将第二学习参数而不是所述第一学习参数设置到所述判断装置，
所述第一学习参数是通过使用第一学习数据组进行机器学习而获得的学习参数，
所述第二学习参数是通过使用第二学习数据组进行机器学习而获得的学习参数，以及
所述第一学习数据组包含所述第二学习数据组，并且包括所述第二学习数据组中不包括的学习数据。
17.一种信息处理设备的控制方法，所述控制方法包括：
将第一学习参数设置或发送到用于进行基于学习参数的处理的判断装置；以及
在所述判断装置所进行的判断的结果满足预定条件的情况下，将第二学习参数而不是所述第一学习参数设置或发送到所述判断装置，
其中，所述第一学习参数是通过使用第一学习数据组进行机器学习而获得的学习参数，
所述第二学习参数是通过使用第二学习数据组进行机器学习而获得的学习参数，以及
所述第一学习数据组包含所述第二学习数据组，并且包括所述第二学习数据组中不包括的学习数据。
18.一种用于存储程序的非暂时性存储介质，所述程序能够由处理器执行，其中，所述程序在由所述处理器执行时使所述处理器执行图像处理方法，所述图像处理方法包括：
将第一学习参数设置或发送到用于进行基于学习参数的处理的判断装置；以及
在所述判断装置所进行的判断的结果满足预定条件的情况下，将第二学习参数而不是所述第一学习参数设置或发送到所述判断装置，
其中，所述第一学习参数是通过使用第一学习数据组进行机器学习而获得的学习参数，
所述第二学习参数是通过使用第二学习数据组进行机器学习而获得的学习参数，以及
所述第一学习数据组包含所述第二学习数据组，并且包括所述第二学习数据组中不包括的学习数据。
技术总结