本发明实施例涉及监控技术领域,尤其涉及一种机器人的监控方法、系统、设备及存储介质。
背景技术:
在智慧化建筑工程中,可以使用建筑机器人完成建筑工程的施工作业。在建筑机器人作业的过程中,需要监控机器人的作业状态,以到达及时发现问题并改正的目的。
然而现有的建筑机器人的监控系统,大多通过一个固定的摄像头进行建筑机器人的监控,监控范围受到限制,监控画面不够全面,从而无法有效地发现机器人存在的问题。
技术实现要素:
本发明实施例公开了一种机器人的监控方法、系统、设备及存储介质,实现了机器人的实时、全面监控。
第一方面,本发明实施例提供了一种机器人的监控方法,该方法包括:
获取摄像头阵列中各摄像头发送的监控目标的拍摄信息,其中,所述摄像头阵列包括预设数量的摄像头,各所述摄像头的位置信息不同并基于不同拍摄角度采集所述监控目标的拍摄信息;
根据各个所述摄像头的位置信息及采集的拍摄信息,确定所述监控目标的位姿参数,其中,所述位姿参数包括所述监控目标的机器人角度和机器人位置中的至少一项。
第二方面,本发明实施例还提供了一种机器人的监控系统,该系统包括:摄像头阵列和监控调度中心,其中,所述摄像头阵列中包括预设数量的摄像头,各所述摄像头基于不同拍摄角度采集所述监控目标的拍摄信息;
所述监控调度中心,与各所述摄像头通信连接,执行如本发明任意实施例提供的机器人的监控方法。
第三方面,本发明实施例还提供了一种机器人的监控设备,该设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例提供的机器人的监控方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例提供的机器人的监控方法。
本发明实施例的技术方案,通过在监控目标周围设置多个位置和角度不同的摄像头进行监控,进行监控目标的全方位监控,并根据将各个摄像头采集的拍摄信息和位置确定监控目标的位姿参数,实现了机器人的多角度、全方位监控,提高了机器人监控的范围,提高了机器人工作问题发现的及时性,保证了机器人的正常运转。
附图说明
图1是本发明实施例一中的一种机器人的监控方法的流程图;
图2是本发明实施例二中的一种机器人的监控方法的流程图;
图3a是本发明实施例三中的一种机器人的监控系统的结构示意图;
图3b是本发明实施例三中的一种摄像头阵列的结构示意图;
图4是本发明实施例四中的一种机器人的监控设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种机器人的监控方法的流程图,本实施例可适用于对机器人进行监控的情况,该方法可以由机器人的监控系统来执行,如图1所示,该方法具体包括如下步骤:
步骤110、获取摄像头阵列中各摄像头发送的监控目标的拍摄信息。
其中,所述摄像头阵列包括预设数量的摄像头,各所述摄像头的位置信息不同并基于不同拍摄角度采集所述监控目标的拍摄信息。监控目标可以是处于作业状态的机器人,具体的可以是建筑机器人、工业机器人、服务业机器人等。
具体的,摄像头阵列中各个摄像头可以实时监控该监控目标,并生成拍摄信息,可以是图片或者视频,实时将各个拍摄信息发送至下一环节进行处理,即实时获取像头阵列中各个摄像头发送的监控目标的拍摄信息。当然,还可以按照设定周期获取各个摄像头发送的监控目标的拍摄信息,其中,设定周期可以是1min、5min或者其他数值。
进一步地,摄像头阵列中的摄像头的个数,即预设数量,可以根据摄像头的视野范围以及监控目标的作业范围确定。
示例性的,假设监控目标的作业范围为360°,各个摄像头的视野范围均为45°,同时为了更全面的监控监控目标,获取全方位的信息,可以进行冗余采集,同时考虑监控成本,那么摄像头的数量即预设数量可以是10~12个。
具体的,还可以是当检测到获取拍摄信息指令时,则获取摄像头阵列中各摄像头发送的监控目标的拍摄信息。
进一步地,各个摄像头的拍摄信息可以是相同时刻的,或者按照设定时间间隔顺序拍摄的拍摄信息,即各个摄像头所采集的拍摄信息对应的时刻不同,存在时间差。
步骤120、根据各个所述摄像头的位置信息及采集的拍摄信息,确定所述监控目标的位姿参数。
其中,所述位姿参数包括所述监控目标的机器人角度和机器人位置中的至少一项。机器人位置即该监控目标的地理位置,可以采用三维坐标进行表示,机器人位置还可以是该监控目标位于其工作场地的位置信息。机器人角度包括机器人各个部位的角度。摄像头的位置信息可以是摄像头与监控目标的相对位置信息。拍摄信息可以是图片或者视频,还可以包括摄像头编号。
具体的,根据摄像头的位置信息确定各个摄像头的拍摄角度和距离,并结合各个摄像头的拍摄参数,如焦距,以及拍摄信息确定监控目标的位姿参数,以便于相关人员根据该位姿参数判断该监控目标的工作状态是否正常。
进一步地,对于每个拍摄信息,可以基于坐标变换将图像坐标转换为世界坐标,进而根据目标识别确定监控目标的地理位置,进而根据各个摄像头的位置信息和监控目标的地理位置确定监控目标的角度信息。
具体的,可以预先生成各个摄像头的摄像头编号和位置信息的对应关系,进而,根据各个摄像头采集的拍摄信息中的摄像头编号以及对应关系确定各个摄像头的位置信息,接着,根据各个摄像头的位置信息及采集的拍摄信息计算所述监控目标的机器人角度、位置信息等。
可选的,根据各个所述摄像头的位置信息及采集的拍摄信息,确定所述监控目标的位姿参数,包括:
接收各个所述摄像头的拍摄信息,并根据所述拍摄信息确定其对应的摄像头的位置信息;根据所述摄像头的拍摄信息及位置信息,确定所述摄像头相对于所述监控目标的拍摄角度;根据各个所述摄像头的拍摄信息和拍摄角度,确定所述监控目标的位姿参数。
具体的,该拍摄信息中可以包括摄像头编码,拍摄信息可以是图片或者视频,摄像头编码可以位于图片或者视频的右上角、左上角或者其他位置,摄像头编码还可以设置于拍摄信息的命名中,当然还可以以其他形式存储摄像头编码,进而可以根据摄像头编码以及预先保存的摄像头编码、摄像头以及位置信息的对应关系确定摄像头的位置信息。
可选的,该机器人的监控方法,在获取摄像头阵列中各摄像头发送的监控目标的拍摄信息之前,获取确定监控目标的位姿参数之后,还包括:
向各所述摄像头发送拍摄指令,以控制所述摄像头根据所述拍摄指令采集所述监控目标的拍摄信息,其中,所述拍摄指令中包括所述摄像头的拍摄时间。
其中,拍摄指令指的是指示摄像头阵列中的各个摄像头按照指令中包含的拍摄时间和拍摄方式进行拍摄,拍摄方式包括拍摄图像或者视频,以及摄像头拍摄时所采用的焦距、分辨率等参数。
具体的,各个摄像头对应的拍摄时间可以不同,如相邻摄像头的拍摄时间间隔1s,那么,便可以根据各个拍摄信息及其对应的位置信息和拍摄时间,计算监控目标的各个工作状态相关的参数,如位置、运动轨迹、各个部位的角度信息、工作臂作业曲线等。
本发明实施例的技术方案,通过在监控目标周围设置多个位置和角度不同的摄像头进行监控,进行监控目标的全方位监控,并根据将各个摄像头采集的拍摄信息和位置确定监控目标的位姿参数,实现了机器人的多角度、全方位监控,提高了机器人监控的范围,提高了机器人工作问题发现的及时性,保证了机器人的正常运转。
实施例二
图2为本发明实施例二提供的一种机器人的监控方法的流程图,本实施例是对上一实施例的进一步细化和补充,本发明实施例提供的机器人的监控方法还包括:根据各个所述摄像头的拍摄信息、拍摄时间段及位置信息,生成所述监控目标的仿真数字模型并显示;接收仿真数字模型的操控指令;根据所述操控指令调整所述仿真数字模型的角度;根据所述操控指令调整所述摄像头的拍摄参数,其中,所述拍摄参数包括拍摄模式、拍摄时间、拍摄顺序、拍摄角度中的至少一项。
如图2所示,该机器人的监控方法包括如下步骤:
步骤210、获取摄像头阵列中各摄像头发送的监控目标的拍摄信息。
其中,所述摄像头阵列包括预设数量的摄像头,各所述摄像头的位置信息不同并基于不同拍摄角度采集所述监控目标的拍摄信息。拍摄信息的拍摄时间可以不同。
步骤220、接收各个所述摄像头的拍摄信息,并根据所述拍摄信息确定其对应的摄像头的位置信息。
其中,所述拍摄信息中包括摄像头编码,根据摄像头编码可以确定摄像头的位置信息。
步骤230、根据所述摄像头的拍摄信息及位置信息,确定所述摄像头相对于所述监控目标的拍摄角度和拍摄距离。
具体的,根据拍摄信息可以识别出监控目标的机器人位置,进而根据摄像头的位置信息确定拍摄距离,其中,可以基于现有的任意一种图像识别算法识别监控目标。拍摄角度则可以根据摄像头的位置信息进行确定。具体的,可以预先存储各个摄像头的位置信息、摄像头编码、拍摄角度等之间的对应关系,进而根据摄像头编码或位置信息确定拍摄角度。
步骤240、根据各个所述摄像头的拍摄信息、拍摄角度和拍摄距离,确定所述监控目标的位姿参数。
其中,所述位姿参数包括所述监控目标的机器人角度和机器人位置中的至少一项。
步骤250、根据各个所述摄像头的拍摄信息、拍摄时间段及位置信息,生成所述监控目标的仿真数字模型并显示。
其中,仿真数字模型即该监控目标的虚拟模型,用于描述监控目标的工作状态。
具体的,拍摄信息为拍摄图像或视频,首先确定各个拍摄信息的拍摄时间,按照时间顺序对各个拍摄信息进行拼接或合成,在拼接或者合成时,可以根据相邻拍摄图像或视频的重复特征以及摄像头的拍摄角度,进行图像对准和拼接,通过将各个摄像头拍摄的各个时间的拍摄图像或者视频进行拼接或合成,便形成了该监控目标的一段时间的监控影像,该监控影响即为上述仿真数字模型,其中包括监控目标的拍摄时间段内各个拍摄时间对应的状态。
具体的,该仿真数字模型可以是以视频、动态网页、移动终端应用或者其他形式进行展示。
具体的,假设摄像头的可视范围及其安装位置是固定的,那么可以直接根据摄像头编码确定摄像头的位置信息,根据位置信息对各个摄像头采集的拍摄信息进行拼接从而生成该监控目标的仿真数字模型并显示。
示例性的,假设监控目标为建筑机器人,其作业范围为360°,摄像头阵列包括6个以建筑机器人为中心周向均匀分布的摄像头,即各个摄像头与建筑机器人的直线距离相同,每个摄像头的视野范围为90°,相邻两个摄像头的视野会存在15°的重复区域,假设各个摄像头的摄像编号分别为01、02、03、04、05和06,拍摄顺序为由01摄像头先拍摄一张建筑机器人的监控图像(拍摄信息),1s后由02摄像头进行拍摄,按顺序分别间隔1s进行监控图像拍摄,则可以获取6张位置、角度和拍摄时间均不相同的监控图像。接下来,便可以根据各个监控图像中的摄像头编号、各个摄像头安装的位置以及拍摄时间,将该6张监控图像合成为该建筑机器人的仿真数字模型。具体过程为:首先获取01和02摄像头的监控图像,根据两者之间的位置关系以及15°重复视野,将两张监控图像进行拼接,当然也可以根据图像识别确定相同特征,根据相同特征将两张图像对准和拼接,依次类推,将全部监控图像拼接完成后,便可以得到全方位的6s的监控仿真模型。
步骤260、接收仿真数字模型的操控指令。
其中,操控指令可以包括旋转指令、放大指令、缩小指令、平移指令以及改变拍摄参数指令等,操控指令主要用于改变仿真数字模型的显示画面以及控制摄像头的拍摄参数。
具体的,该操控指令可以是通过键盘或鼠标进行输入,或者通过触摸屏进行输入、还可以语音、手势等形式进行输入,本发明实施例对操控指令的输入方式不进行限定。
示例性的,操控指令可以是通过触摸屏输入,如上下左右滑动,则表示进行上下左右平移,双击可以对应放大指令。当然还可以是语音指令,如“旋转90°”旋转指令或者其他指令。还可以是代码形式进行输入,以控制仿真模型的显示界面以及摄像头的拍摄参数,如焦距、曝光功率、分辨率等。
步骤270、根据所述操控指令调整所述仿真数字模型的角度。
步骤280、根据所述操控指令调整所述摄像头的拍摄参数。
其中,所述拍摄参数包括拍摄模式、拍摄时间、拍摄顺序、拍摄角度中的至少一项。
本发明实施例的技术方案,通过拍摄位置、角度和时间均不相同的摄像头阵列采集监控目标的监控图像,并根据各个时间和位置拍摄的监控图像进行合成或拼接,计算监控目标的位姿参数,同时生成仿真数字模型,以便于从各个角度查看监控目标的工作状态,实现了机器人的多角度、全方位监控,提高了机器人监控的范围,采用仿真数字模型进行显示,直观、形象,便于获悉机器人的工作状态和及时发现机器人存在的问题,提高了机器人工作的安全性。
实施例三
图3a是本发明实施例三提供的一种机器人的监控系统的结构示意图,如图3a所示,该系统包括:摄像头阵列310和监控调度中心320。
其中,摄像头阵列310中包括预设数量的摄像头,各所述摄像头基于不同拍摄角度采集所述监控目标的拍摄信息;监控调度中心320,与各个摄像头通信连接,执行本发明任意实施例所提供的机器人的监控方法。
本发明实施例的技术方案,通过在监控目标周围设置多个位置和角度不同的摄像头进行监控,进行监控目标的全方位监控,并根据将各个摄像头采集的拍摄信息和位置确定监控目标的位姿参数,实现了机器人的多角度、全方位监控,提高了机器人监控的范围,提高了机器人工作问题发现的及时性,保证了机器人的正常运转。
具体的,监控调度中心320可以通过有线或者无线网络与摄像头阵列310的各个摄像头通信连接。
可选的,摄像头阵列310中的摄像头以所述监控目标为中心周向均匀分布。
示例性的,图3b是本发明实施例三中的一种摄像头阵列的结构示意图,如图3b所示,该监控系统的摄像头阵列由12个摄像头311组成,该12个摄像头均匀分布于监控目标330的周围,同时与监控目标330的直线距离相同。
可选的,摄像头阵列310中的摄像头数量由所述监控目标的拍摄角度范围和各摄像头的拍摄范围确定。
可选的,摄像头阵列310,还用于:
接收来自监控调度中心的拍摄指令,根据所述拍摄指令采集所述监控目标的拍摄信息,其中,所述拍摄指令中包括所述摄像头的拍摄时间。
可选的,监控调度中心320,还用于:
生成拍摄指令,并将所述拍摄指令发送至摄像头阵列。
可选的,监控调度中心320,包括:
位置信息确定模块,用于接收各个所述摄像头的拍摄信息,并根据所述拍摄信息确定其对应的摄像头的位置信息;拍摄角度和距离确定模块,用于根据所述摄像头的拍摄信息及位置信息,确定所述摄像头相对于所述监控目标的拍摄角度和拍摄距离;机器人位姿确定模块,用于根据各个所述摄像头的拍摄信息、拍摄角度和拍摄距离,确定所述监控目标的位姿参数。
可选的,监控调度中心320,还包括:
仿真模型生成模块,用于根据各个所述摄像头的拍摄信息、拍摄时间段及位置信息,生成所述监控目标的仿真数字模型并显示。
可选的,监控调度中心320,还用于:
接收仿真数字模型的操控指令;
根据所述操控指令调整所述仿真数字模型的角度;和/或,
根据所述操控指令调整所述摄像头的拍摄参数,其中,所述拍摄参数包括拍摄模式、拍摄时间、拍摄顺序、拍摄角度中的至少一项。
本发明实施例所提供的机器人的监控系统可执行本发明任意实施例所提供的机器人的监控方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种机器人的监控设备的结构示意图,如图4所示,该设备包括处理器410、存储器420、输入装置430和输出装置440;设备处理器410的数量可以是一个或多个,图4中以一个处理器410为例;设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的机器人的监控方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的机器人的监控方法。
存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种机器人的监控方法,该方法包括:
获取摄像头阵列中各摄像头发送的监控目标的拍摄信息,其中,所述摄像头阵列包括预设数量的摄像头,各所述摄像头的位置信息不同并基于不同拍摄角度采集所述监控目标的拍摄信息;
根据各个所述摄像头的位置信息及采集的拍摄信息,确定所述监控目标的位姿参数,其中,所述位姿参数包括所述监控目标的机器人角度和机器人位置中的至少一项。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的机器人的监控方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明实施例的技术方案可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述机器人的监控系统的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
1.一种机器人的监控方法,其特征在于,包括:
获取摄像头阵列中各摄像头发送的监控目标的拍摄信息,其中,所述摄像头阵列包括预设数量的摄像头,各所述摄像头的位置信息不同并基于不同拍摄角度采集所述监控目标的拍摄信息;
根据各个所述摄像头的位置信息及采集的拍摄信息,确定所述监控目标的位姿参数,其中,所述位姿参数包括所述监控目标的机器人角度和机器人位置中的至少一项。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向各所述摄像头发送拍摄指令,以控制所述摄像头根据所述拍摄指令采集所述监控目标的拍摄信息,其中,所述拍摄指令中包括所述摄像头的拍摄时间。
3.根据权利要求1所述的方法,其特征在于,根据各个所述摄像头的位置信息及采集的拍摄信息,确定所述监控目标的位姿参数,包括:
接收各个所述摄像头的拍摄信息,并根据所述拍摄信息确定其对应的摄像头的位置信息;
根据所述摄像头的拍摄信息及位置信息,确定所述摄像头相对于所述监控目标的拍摄角度和拍摄距离;
根据各个所述摄像头的拍摄信息、拍摄角度和拍摄距离,确定所述监控目标的位姿参数。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据各个所述摄像头的拍摄信息、拍摄时间段及位置信息,生成所述监控目标的仿真数字模型并显示。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
接收仿真数字模型的操控指令;
根据所述操控指令调整所述仿真数字模型的角度;和/或,
根据所述操控指令调整所述摄像头的拍摄参数,其中,所述拍摄参数包括拍摄模式、拍摄时间、拍摄顺序、拍摄角度中的至少一项。
6.一种机器人的监控系统,其特征在于,摄像头阵列和监控调度中心,其中,所述摄像头阵列中包括预设数量的摄像头,各所述摄像头基于不同拍摄角度采集所述监控目标的拍摄信息;
所述监控调度中心,与各所述摄像头通信连接,执行如权利要求1-5任一所述的方法。
7.根据权利要求6所述的系统,其特征在于,所述摄像头阵列中的摄像头以所述监控目标为中心周向均匀分布。
8.根据权利要求6所述的系统,其特征在于,所述摄像头阵列中的摄像头数量由所述监控目标的拍摄角度范围和各摄像头的拍摄范围确定。
9.一种机器人的监控设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5所述的机器人的监控方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5所述的机器人的监控方法。
技术总结