本发明大体上涉及监视系统。
背景技术:
用于家庭及企业的照相机正成为流行的消费产品。照相机可能是一种经济高效的以相对较低的价格拥有监视系统的方式。
现有照相机系统可能具有不希望的技术缺陷。某些相机系统可能会根据误报或类似情况开启以记录无关紧要的事件。举例来说,当没有人或物体移动时,运动激活的照相机可能会开启。这可能会导致照相机系统浪费电力。
技术实现要素:
本发明的一个实施例涉及一种监视系统。所述监视系统包括:红外传感器系统,其经耦合以响应于接收红外光而输出红外信号;音频记录系统,其经耦合以响应于记录声音而输出音频信号;图像传感器系统,其经耦合以响应于接收图像光而输出图像信号;及控制器,其耦合到所述红外传感器系统、所述音频记录系统及所述图像传感器系统,其中所述控制器包含逻辑,所述逻辑在由所述控制器执行时使所述监视系统执行操作,所述操作包含:从所述红外传感器系统接收所述红外信号;响应于接收所述红外信号,激活所述音频记录系统以记录所述声音;以及激活所述图像传感器系统以输出所述图像信号。
本发明的另一实施例涉及一种方法。所述方法包括:用控制器从红外传感器系统接收红外信号,其中所述红外传感器系统经耦合以响应于接收红外光而输出所述红外信号;响应于接收所述红外信号,激活音频记录系统,其中所述音频记录系统耦合到所述控制器以响应于记录声音而输出音频信号;以及激活图像传感器系统以输出图像信号,其中所述图像传感器系统耦合到所述控制器以响应于接收图像光而输出所述图像信号。
附图说明
参考以下诸图描述本发明的非限制性及非穷尽实例,其中相似参考数字贯穿各种视图指代相似部分,除非另有规定。
图1说明根据本发明的实例的监视系统。
图2a说明根据本发明的实例的包含在图1的监视系统中的红外传感器系统。
图2b说明根据本发明的实例的包含在图1的监视系统中的音频记录系统。
图2c说明根据本发明的实例的包含在图1的监视系统中的图像传感器系统。
图3a到3d说明根据本发明的实例的操作图1的监视系统的方法。
图4说明根据本发明的实例的操作图1的监视系统的方法。
对应参考字符贯穿附图的若干视图指示对应组件。所属领域的技术人员应了解,图式中的元件出于简单及清楚的目的而说明,且未必是按比例绘制。举例来说,图式中一些元件的尺寸相对于其它元件可被夸大以帮助提高对本发明的各种实施例的理解。此外,为了促进对本发明的这些各种实施例的更容易的观察,通常不描绘在商业上可行的实施例中有用的或必需的常见但众所周知的元件。
具体实施方式
本文描述用于减少监视系统中的虚假警报的系统及方法的实例。在以下描述中,阐述众多特定细节以提供对所述实例的透彻理解。然而,所属领域的技术人员将认识到,能够在不具有一或多个特定细节的情况下或配合其它方法、组件、材料等等实践本文所描述的技术。在其它情况下,未展示或详细地描述众所周知的结构、材料或操作以避免混淆某些方面。
贯穿本说明书的对“一个实例”或“一个实施例”的参考意指结合实例所描述的特定特征、结构或特性包含于本发明的至少一个实例中。因此,贯穿本说明书的各种地方的短语“在一个实例中”或“在一个实施例中”的出现未必皆是指同一实例。此外,特定特征、结构或特性可以任何合适方式组合于一或多个实例中。
本文的揭示内容涉及通过减小系统的控制器使用率来减小监视系统的功耗(参见图1的红外监视系统100)。为减少功耗,可在与音频编解码器功能耦合的数字集成电路中实施声学活动检测器(参见下文图1的音频记录系统103)。这可减少监视系统注意到的虚假警报的数目。在无源红外(ir)运动传感器感测ir光之后,激活声学活动检测器。一旦系统被唤醒,声学活动检测器便可激活在控制器上运行的复杂计算机视觉算法。
监视系统的此分层激活可防止在虚假警报的情况下打开整个系统。举例来说,如果仅使用ir传感器,那么过多阳光可能会导致安全系统打开并耗尽电池。因此,本文揭示的监视系统中的每一者可逐渐使用更多电力来验证安全事件实际上是真实的(例如,人员、交通工具或动物激活所述系统)。
由于移动物体产生运动及声音活动两者,因此人类能够通过分析视觉及听觉信息两者来确定是否有人在其附近行走。本文的装置使用这些生物系统的机器类似物来防止误报。此处的电子装置实现声学活动检测(aad)电路,并且aad可使用数字电路来延长类似门铃照相机的便携式装置的电池寿命。使用运动及声学传感器仅在红外传感器电路(例如,系统的眼睛)检测到运动以及声学检测电路(例如,系统的耳朵)检测到活动的情况下才允许触发控制器(例如,系统的大脑)。
在一些实例中,提出一种用于监测视觉及音频信号的综合检测系统,所述系统可在节省电力的同时避免虚假警报。第一级检测系统(始终处于唤醒状态)采用超低电力无源ir感测(其可能易于产生虚假警报)。第二级检测系统(其可由第一级检测系统唤醒)使用基于低电力噪声的声学活动检测(例如,采用无限脉冲响应滤波器电路)来“检查”第一级系统并防止虚假警报。第三级检测系统采用正常电力高级声音监测,其可在基于ba-22处理器的数字信号处理器(dsp)上运行。并且第四级检测系统可包含在高性能处理器上运行的高电力计算机视觉算法(例如,具有中央处理单元及/或视觉处理单元)。多个检测级有助于避免虚假警报,并且所述级按等级布置,更高级(但耗电)的检测定位在更下游。这可用于节省电池供电的门铃安全系统或类似者中的电力。
下文描述论述上文论述的实例以及与图式相关的其它实例。
图1说明监视系统100,其包含红外传感器101、音频记录系统103、按钮105、图像传感器系统107、壳体109、控制器111、电力电路113、通信电路115及存储器117。在所说明实例中,所描绘的所有组件(以及此处未描绘的组件)可经由总线及类似者电耦合在一起。
如所展示,红外(ir)传感器系统101经耦合以响应于接收红外光而输出红外信号,并且音频记录系统103经耦合以响应于记录声音而输出音频信号。图像传感器系统107经耦合以响应于接收图像光(例如,来自例如人员、动物或交通工具的图像对象的光)而输出图像信号。控制器111(其可包含中央处理单元(cpu)、视觉处理单元(vpu),并且可为分布式系统的一部分或类似者)耦合到红外传感器系统101、音频记录系统103、按钮105及成像系统107。控制器111包含逻辑,所述逻辑在由控制器111执行时使监视系统100执行各种操作。举例来说,操作可包含:从红外传感器系统101接收红外信号;激活音频记录系统103(响应于接收红外信号)以记录声音;以及激活图像传感器系统107以响应于记录特定声音配置文件而接收图像光并输出图像信号。在一些实例中,控制器111可耦合到通信电路113(例如,wifi、rfid、8p8c兼容电路或类似者)以在音频记录系统103记录声音之后将通知输出到一或多个外部装置(例如,网络上的一或多个计算机/服务器、手机、平板计算机或类似者)。在一些实例中,可在将图像信号从图像传感器系统107输出到控制器之后输出通知。通知可包含文本消息、视频馈送、电话呼叫、声音通知或类似者中的至少一者。
在所描绘实例中,存储器117(例如,ram、rom或类似者)可包含在(或耦合到)控制器111中,并且存储器117经耦合以存储红外信号、音频信号及图像信号。类似地,电力电路113(例如,电池、切换模式电力供应器、电力转换器或类似者)被经耦合以将电力供应到红外传感器系统101、音频记录系统103、图像传感器系统107及控制器111。如所展示,红外传感器系统101、音频记录系统103、图像传感器系统107、控制器111、存储器117及电力电路113安置在单个壳体109中。此处描绘的壳体109可定位在家庭或企业的入口处,以观察及控制进出建筑物。壳体可耦合到建筑物电力供应器、电池或类似者。按钮105可用作门铃以通知建筑物内的人(或经由智能手机或类似者的远程通知个人)有人在门口。按下按钮105可使从监视系统100发送通知。控制器111可接收按下信号,并且按下信号使控制器执行例如激活上文描述的组件中的任一者或发送通知的操作。
在一些实例中,控制器111可使用安置在控制器111中的逻辑中的计算机视觉算法来辨识来自图像传感器系统107的图像信号中的人员或动物中的至少一者。这可向来自监视系统100的外部装置(例如,房主的智能电话或类似者)提示人员或动物在房屋附近的通知。在一些实例中,使用包含在通信电路115中的无线路由器将通知输出到无线因特网网络。
图2a说明包含在图1的监视系统中的红外传感器系统201。如所说明,红外传感器225经耦合以响应于接收红外光而输出红外信号。如所展示,菲涅耳透镜221经定位以将红外光通过ir滤光片223引导到红外传感器225中。放大器227耦合到红外传感器225以放大红外信号,并且比较器229经耦合以比较红外信号(在红外信号被放大之后)与阈值。当红外信号大于或等于阈值时,比较器229将红外信号输出到控制器。在所描绘实例中,第一电阻器耦合在红外传感器225的输入及输出端子之间。晶体管的栅极端子耦合到红外传感器225的端子,并且晶体管的第一端子耦合到电力轨且晶体管的第二端子耦合到放大器227及第二电阻器。
图2b说明包含在图1的监视系统中的音频记录系统203。在所描绘实例中,麦克风241经耦合以响应于记录声音而输出音频信号。在所描绘实例中,麦克风241耦合到可编程门阵列243以放大麦克风241的输出。可编程门阵列243耦合到模/数转换器245以将放大模拟信号转换成数字信号。麦克风241耦合到声学活动检测(aad)电路(即基于信噪(snr))以接收音频信号。adc245的输出被发送到信号跟踪滤波器电路251及噪声跟踪滤波器电路253。滤波器电路251及滤波器电路253的输出耦合到信噪计算器255,其经耦合以接收可编程阈值信噪比(snr)值257。在所描绘实例中,阈值为10db。
图2c说明包含在图1的监视系统中的成像系统207(或更具体来说图像传感器系统)。成像系统207包含像素阵列205、控制电路221、读出电路211及功能逻辑215。在一个实例中,像素阵列205是光电二极管或图像传感器像素(例如,像素p1、p2…、pn)的二维(2d)阵列。如所说明,光电二极管布置成行(例如,行r1到ry)及列(例如,列c1到cx)以获取人员、位置、对象等等的图像数据,所述图像数据可随后用于呈现人员、位置、对象等等的2d图像。然而,行及列不一定必须是线性的,并且可根据使用情况采用其它形状。
在一个实例中,在像素阵列205中的每一图像传感器光电二极管/像素已获取其图像数据或图像电荷之后,所述图像数据由读出电路211读出且随后被转移到功能逻辑215。读出电路211可经耦合以从像素阵列205中的多个光电二极管读出图像数据。在各种实例中,读出电路211可包含放大电路、模/数(adc)转换电路或其它电路。功能逻辑215可仅存储图像数据或甚至通过应用后图像效果(例如,裁剪、旋转、移除红眼、调整亮度、调整对比度或以其它方式)更改/操纵图像数据。在一个实例中,读出电路211可沿读出列线一次读出一行图像数据(已说明)或可使用各种其它技术读出图像数据(未说明),例如,串行读出或同时完全并行读出全部像素。
在一个实例中,控制电路221耦合到像素阵列205以控制像素阵列205中的多个光电二极管的操作。控制电路221可经配置以控制像素阵列205的操作。举例来说,控制电路221可产生用于控制图像获取的快门信号。在一个实例中,所述快门信号是全局快门信号,其用于同时启用像素阵列205内的所有像素以在单个获取窗口期间同时获取其相应图像数据。在另一实例中,所述快门信号是滚动快门信号,使得像素的每一行、每一列或每一群组在连续获取窗口期间循序启用。在另一实例中,图像获取与照明效果(例如闪光)同步。
图3a到3c说明操作图1的监视系统的方法。如上文描述,根据本发明的教示,这些技术中的任何者可用于操作图1的监视系统的硬件。所属领域的一般技术人员将了解,方法300a到300d中描绘的框可以任何顺序发生,甚至可并行发生,并且为说明的简单性起见,可省略步骤及特征。此外,根据本发明的教示,可将额外框添加到方法300a到300d或从方法300a到300d移除。
图3a描绘用于操作监视系统的第一方法300a。框301展示借助于红外传感器系统的第一测量无源ir光。在此实例中,ir传感器系统可将红外信号输出到系统控制器。在所描绘实例中,ir传感器系统可消耗0.35ma的电力。
框303说明响应于接收红外信号(例如,当ir传感器接收阈值量的ir辐射时—例如,亮度阈值、持续时间阈值及类似者),激活音频记录系统,其中音频记录系统经耦合以响应于记录声音而将音频信号输出到控制器。在所描绘实例中,音频记录系统可能消耗01到1.5ma的电力。
框305说明激活图像传感器系统以接收图像光,其中图像传感器系统耦合到控制器以输出图像信号。在所描绘实例中,响应于音频记录系统记录具有特定阈值特性(例如,音量、持续时间、波形或类似者)的声音并将音频信号输出到控制器,来激活图像传感器系统。在所描绘实例中,图像传感器系统可能消耗100到300ma的电力。
图3b描绘用于操作监视系统的第二方法300b。类似于图3a,框301说明借助于红外传感器系统测量无源ir光。这可通过接收由菲涅耳透镜聚焦并穿过红外滤光片的红外光来实现,其中红外传感器经耦合以输出红外信号。
框303描绘激活有源音频检测系统。这可用于确定ir光干扰(导致系统启动激活序列)是不是值得唤醒其它组件并使用额外能量进行记录的事件,或者所述事件是否仅仅是虚假警报(例如,ir传感器获得过多阳光)。
框305描绘如果低电力有源音频检测系统注意到具有阈值特征(例如,音量、持续时间或类似者)的声音,那么激活高级声音监测。高级声音监测电路比有源声音检测电路要消耗更多的电力,并且可具有额外功能性(例如,检查声音的波形以查看声音是不是事件的特性,例如脚步声、说话或类似者)。高级声音监测可采用机器学习算法(例如神经网络或类似者)来特性化声音。激活音频记录系统可包含在相同或不同时间先激活有源声音检测电路,然后激活高级声音监测电路。
框307展示激活图像传感器系统以接收图像光并输出图像数据。在一些实例中,响应于用控制器接收图像信号,控制器可使用安置在逻辑中的计算机视觉算法来辨识图像信号中的人员或动物中的至少一者。在一些实例中,例如卷积神经网络或类似者的机器学习算法可用于分析图像数据并确定图像的内容。应了解,虽然此处的控制器被描述为离散装置,但是所述控制器可为分布式系统,其中一些处理在本地发生(例如,跨越许多件硬件),及/或一些处理在远程发生(例如,在许多远程服务器上),或类似者。
图3c描绘用于操作监视系统的第三种方法300c。在所描绘实例中,框301展示测量无源ir光。与其它实例不同,框303展示在确定使用无源ir传感器发生的事件之后立即开始高级声音监测(例如,更高电力计算)。类似于其它实例,框305展示在经由声音处理验证安全干扰之后激活计算机视觉。
图3d描绘用于操作监视系统的第四种方法300d。在所描绘实例中,框301展示测量无源ir光。然而,框303及305展示图像传感器系统与音频记录系统同时被激活。因此,在一些实例中,可并行使用这些系统来确定安全干扰是“真实的”。
图4说明操作图1的监视系统的(更详细)方法400。所属领域的一般技术人员将了解,方法400中描绘的框可以任何顺序发生,甚至可并行发生,并且为说明的简单性起见,可省略步骤及特征。此外,根据本发明的教示,可将额外框添加到方法400或从方法400移除。
框401展示系统休眠。在此状态下,系统可能处于非常低的电力模式,只有无源ir(pir)传感器系统开启。
框403展示无源地计算由ir传感器系统接收的ir光的数量。当系统“休眠”时可能会发生此情况。
框405展示确定所接收的ir光是否大于ir光的阈值量。如果接收的红外光量小于阈值,那么系统保持在休眠模式。
框407描绘如果ir光大于阈值,那么系统接着开启音频记录系统,并通过记录及收听声音来开始有源音频检测(aad)。
框409描绘系统计算所记录的声音是否超过某个阈值(例如,音量阈值、持续时间阈值或类似者)。如果答案为否,那么系统可返回到休眠状态以节省电力。
如果所记录的声音超过某个阈值,那么框411说明唤醒系统。
框413说明使用图像传感器(及安置在逻辑中的计算机视觉)来确定图像数据是否含有某个阈值条件(例如,人员或动物的存在)。如果图像不含有阈值条件,那么系统可能会恢复到休眠状态。
在框415中,如果图像数据确实含有阈值条件,那么系统可使用运行计算机视觉的cpu/vpu来产生置信度分数:如果置信度分数高于某个阈值,那么系统可保持唤醒;如果置信度分数低于某个阈值,那么系统可重新进入休眠模式。
系统可多次重复方法400。此外,可以预定频率或动态频率(例如,基于用户输入、电力水平或类似者)来检查各种阈值条件。
不希望本发明的所说明的实例的以上描述(包含摘要中所描述的内容)为穷尽性或将本发明限于所揭示的具体形式。尽管本文描述本发明的特定实例是出于说明性目的,但所属领域的技术人员将认识到,在本发明范围内各种修改是可能的。
依据以上详细描述可对本发明做出这些修改。所附权利要求书中使用的术语不应解释为将本发明限于本说明书中所揭示的特定实例。而是,本发明的范围全部由所附权利要求书确定,所附权利要求书应根据权利要求解释的既定原则来解释。
1.一种监视系统,其包括:
红外传感器系统,其经耦合以响应于接收红外光而输出红外信号;
音频记录系统,其经耦合以响应于记录声音而输出音频信号;
图像传感器系统,其经耦合以响应于接收图像光而输出图像信号;及
控制器,其耦合到所述红外传感器系统、所述音频记录系统及所述图像传感器系统,其中所述控制器包含逻辑,所述逻辑在由所述控制器执行时使所述监视系统执行操作,所述操作包含:
从所述红外传感器系统接收所述红外信号;
响应于接收所述红外信号,激活所述音频记录系统以记录所述声音;以及
激活所述图像传感器系统以输出所述图像信号。
2.根据权利要求1所述的监视系统,其进一步包括通信电路,所述通信电路耦合到所述控制器以与一或多个外部装置通信,且其中所述控制器进一步包含逻辑,所述逻辑在由所述控制器执行时使所述监视系统执行操作,所述操作包含:
在所述音频记录系统记录所述声音之后,用所述通信电路将通知输出到所述一或多个外部装置。
3.根据权利要求1所述的监视系统,其中所述控制器进一步包含逻辑,所述逻辑在由所述控制器执行时使所述监视系统执行操作,所述操作包含:
响应于用所述控制器接收所述图像信号,使用安置在所述逻辑中的计算机视觉算法辨识所述图像信号中的人员或动物中的至少一者。
4.根据权利要求1所述的监视系统,其中所述红外传感器系统包含:
红外传感器,其经耦合以响应于接收所述红外光而输出所述红外信号;
菲涅耳透镜,其经定位以将所述红外光引导到所述红外传感器中;
放大器,其耦合到所述红外传感器以放大所述红外信号;及
比较器,其经耦合以在所述红外信号被放大之后将所述红外信号与阈值进行比较,并且当所述红外信号大于或等于所述阈值时,所述比较器将所述红外信号输出到所述控制器。
5.根据权利要求1所述的监视系统,其中所述音频记录系统包含:
一或多个麦克风,其经耦合以响应于记录所述声音而输出所述音频信号;及
声学活动检测电路,其经耦合以接收所述音频信号。
6.根据权利要求1所述的监视系统,其中所述图像传感器系统包含:
图像传感器,其包含多个光电二极管;
控制电路,其耦合到所述多个光电二极管以控制所述多个光电二极管的操作;及
读出电路,其经耦合以读出所述图像信号。
7.根据权利要求1所述的监视系统,其中响应于所述红外信号,所述图像传感器系统与所述音频记录系统同时被激活。
8.根据权利要求1所述的监视系统,其中响应于所述音频记录系统记录所述声音,激活所述图像传感器系统。
9.根据权利要求1所述的监视系统,其中所述音频记录系统包含有源声音检测电路及高级声音监测电路,其中所述高级声音监测电路比所述有源声音检测电路消耗更多的电力,且其中激活所述音频记录系统包含先激活所述有源声音检测电路,然后再激活所述高级声音监测电路。
10.根据权利要求1所述的监视系统,其进一步包括:
存储器,其耦合到所述控制器,并且经耦合以存储所述红外信号、所述音频信号及所述图像信号;及
电力电路,其经耦合以向所述红外传感器系统、所述音频记录系统及所述图像传感器系统供应电力。
11.根据权利要求10所述的监视系统,其中所述红外传感器系统、所述音频记录系统、所述图像传感器系统、所述控制器、所述存储器及所述电力电路安置在单个壳体中。
12.一种方法,其包括:
用控制器从红外传感器系统接收红外信号,其中所述红外传感器系统经耦合以响应于接收红外光而输出所述红外信号;
响应于接收所述红外信号,激活音频记录系统,其中所述音频记录系统耦合到所述控制器以响应于记录声音而输出音频信号;以及
激活图像传感器系统以输出图像信号,其中所述图像传感器系统耦合到所述控制器以响应于接收图像光而输出所述图像信号。
13.根据权利要求12所述的方法,其进一步包括在所述音频记录系统记录所述声音之后,用耦合到所述控制器的通信电路将通知输出到所述一或多个外部装置。
14.根据权利要求13所述的方法,其中使用包含在所述通信电路中的无线路由器将通知输出到无线因特网网络。
15.根据权利要求12所述的方法,其中响应于所述音频记录系统记录所述声音并将音频信号输出到所述控制器而激活所述图像传感器系统。
16.根据权利要求12所述的方法,其进一步包括:响应于用所述控制器接收所述图像信号,使用安置在所述控制器中的逻辑中的计算机视觉算法来辨识所述图像信号中的人员或动物中的至少一者。
17.根据权利要求12所述的方法,其中激活音频记录系统包含:
激活有源声音检测电路;以及
激活高级声音监测电路,其中所述高级声音监测电路比所述有源声音检测电路消耗更多的电力,且其中激活所述音频记录系统包含先激活所述有源声音检测电路,然后再激活所述高级声音监测电路。
18.根据权利要求12所述的方法,其中接收红外光包含用经耦合以输出所述红外信号的红外传感器接收穿过菲涅耳透镜及红外滤光片的红外光。
19.根据权利要求12所述的方法,其中用所述音频记录系统记录声音包含使用一或多个麦克风及经耦合以接收所述音频信号的声学活动检测电路。
20.根据权利要求12所述的方法,其进一步包括:
响应于按钮被按下,用所述控制器从所述按钮接收按下信号,以及
响应于所述按钮被按下,激活所述图像传感器系统。
技术总结