目标物体检测方法、计算机设备和存储介质与流程

专利2022-06-29  62


本申请涉及计算机技术领域,特别是涉及一种目标物体检测方法、计算机设备和存储介质。



背景技术:

一般银行网点外部都会设置醒目的门楣标牌,用以树立银行网点的良好形象,而门楣标牌一般都处于外界,经过长时间的风吹日晒难免会出现损坏等现象,因此这就需要对银行的门楣标牌进行定期检查。

相关技术中,在对门楣标牌进行检查时,大多是每隔一段时间,银行工作人员通过肉眼仔细观察门楣标牌的外观,并根据经验判断出门楣标牌是否完好无损。然而,上述技术存在耗费人力的问题。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种目标物体检测方法、装置、计算机设备和存储介质。

一种目标物体检测方法,该方法包括:

获取目标场所的外观图像;

对外观图像进行截取处理,得到目标框图像,该目标框图像包括目标场所外的目标物体;

将目标框图像输入至分类模型中,得到概率信息,该概率信息包括第一概率,第一概率用于指示目标物体损坏的概率。

在其中一个实施例中,上述概率信息还包括第二概率,第二概率用于指示目标物体的损坏程度;上述方法还包括:

若目标物体损坏的概率大于预设的损坏概率,则根据目标物体的损坏程度输出提示消息;该提示消息用于指示是否需要对目标物体进行修复。

在其中一个实施例中,上述根据目标物体的损坏程度输出提示消息,包括:

将目标物体的损坏程度和损坏程度阈值进行对比;

若目标物体的损坏程度大于损坏程度阈值,则输出第一提示消息;该第一提示消息用于指示需要对目标物体进行修复;

若目标物体的损坏程度不大于损坏程度阈值,则输出第二提示消息;该第二提示消息用于指示不需要对目标物体进行修复。

在其中一个实施例中,上述方法还包括:

获取目标物体的使用时长;

将目标物体的使用时长和预设的使用时长进行对比;

若目标物体的使用时长大于预设的使用时长,且目标物体损坏的概率不大于预设的损坏概率,则输出复检消息;该复检消息用于指示对目标物体进行复检。

在其中一个实施例中,上述对外观图像进行截取处理,得到目标框图像,包括:

将外观图像输入至检测模型,得到检测模型输出的目标框位置信息,该目标框位置信息用于指示外观图像中包含有目标物体的图像框的位置;

基于目标框位置信息,从外观图像中截取目标框图像。

在其中一个实施例中,上述将外观图像输入至检测模型,得到检测模型输出的目标框位置信息,包括:

将外观图像输入至检测模型,获取外观图像中各个候选图像框的张量数据;每个候选图像框的张量数据包括候选图像框的框位置信息、候选图像框的置信度以及候选图像框的类别量化值,该置信度用于表征候选图像框中是否存在目标物体,该类别量化值用于表征候选图像框中的物体属于目标物体的概率;

基于各个候选图像框的张量数据对各个候选图像框进行筛选,得到目标候选图像框,该目标候选图像框中包含有目标物体;

将目标候选图像框的框位置信息作为目标框位置信息,并输出目标框位置信息。

在其中一个实施例中,上述基于各个候选图像框的张量数据对各个候选图像框进行筛选,得到目标候选图像框,包括:

将各候选图像框中置信度小于置信度阈值的候选图像框筛选掉,得到经过第一次筛选的多个候选图像框;

根据第一次筛选的多个候选图像框的类别量化值,对第一次筛选的多个候选图像框进行第二次筛选,得到目标候选图像框。

在其中一个实施例中,上述目标场所为银行,上述目标物体为门楣。

一种目标物体检测装置,该装置包括:

获取模块,用于获取目标场所的外观图像;

检测模块,用于对外观图像进行截取处理,得到目标框图像,该目标框图像包括目标场所外的目标物体;

分类模块,用于将目标框图像输入至分类模型中,得到概率信息,该概率信息包括第一概率,第一概率用于指示目标物体损坏的概率。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取目标场所的外观图像;

对外观图像进行截取处理,得到目标框图像,该目标框图像包括目标场所外的目标物体;

将目标框图像输入至分类模型中,得到概率信息,该概率信息包括第一概率,第一概率用于指示目标物体损坏的概率。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取目标场所的外观图像;

对外观图像进行截取处理,得到目标框图像,该目标框图像包括目标场所外的目标物体;

将目标框图像输入至分类模型中,得到概率信息,该概率信息包括第一概率,第一概率用于指示目标物体损坏的概率。

上述目标物体检测方法、装置、计算机设备和存储介质,通过对获取的目标场所的外观图像进行截取处理,得到包含目标物体的目标框图像,并将目标框图像输入至分类模型中,得到概率信息,该概率信息中的第一概率用于指示目标物体损坏的概率。在该方法中,由于可以对目标场所的外观图像进行截取处理,并利用分类模型对截取的目标框图像进行分类,就可以得到目标物体是否损坏的结果,而不需要采用人工巡视的方式去检查目标物体是否完好无损,因此,该方法可以节省人力成本;同时采用分类模型确定目标物体是否损坏,相比人工确定方法,得到的结果也会更加准确。

附图说明

图1为一个实施例中目标物体检测方法的应用环境示意图;

图2为一个实施例中目标物体检测方法的流程示意图;

图3为另一个实施例中目标物体检测方法的流程示意图;

图4为另一个实施例中目标物体检测方法的流程示意图;

图5为一个实施例中目标物体检测装置的结构框图;

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的目标物体检测方法,可以应用于如图1所示的应用环境中。其中,图像获取设备102可以与计算机设备104进行通信。其中,图像获取设备102可以但不限于是各种监控设备、相机、摄像机、抓拍机和包含摄像模块的电子装置,计算机设备104可以是终端、智能手机、可穿戴设备等等。其中,计算机设备104可以通过图像获取设备102获取目标场所外部的监控图像。

需要说明的是,本实施例的执行主体可以是计算机设备,也可以是目标物体检测装置,本申请下述实施例将以计算机设备为执行主体进行说明。

在一个实施例中,提供了一种目标物体检测方法,本实施例涉及的是如何通过对目标场所的外观图像进行截取和分类处理,得到目标场所中的目标物体是否损坏的结果。如图2所示,该方法可以包括以下步骤:

s202,获取目标场所的外观图像。

在本步骤中,可以通过目标场所外部的摄像机、抓拍机等对目标场所的外观进行拍摄,就可以得到目标场所的外观图像,可选的,目标场所为银行。

具体的,可以通过银行外部的摄像机等来对银行外部进行拍摄,就可以得到银行的外观图像,并将该外观图像传输给与摄像机等相连的计算机设备,计算机设备就可以得到银行的外观图像。

s204,对外观图像进行截取处理,得到目标框图像,该目标框图像包括目标场所外的目标物体。

在本步骤中,银行外部包括目标物体,可选的,该目标物体为门楣,在摄像机拍摄银行外部时,一般也可以对银行门楣进行拍摄,这样就可以得到包含银行门楣的外观图像。

具体的,在得到银行的外观图像后,可以对银行的外观图像中的目标物体进行检测,并将检测到的目标物体从相应的外观图像上截取出来,得到目标物体所在的框图像,记为目标框图像。在对目标物体进行检测时,可以采用目标检测算法进行目标检测,目标检测算法可以是yolov3算法等。

s206,将目标框图像输入至分类模型中,得到概率信息,该概率信息包括第一概率,第一概率用于指示目标物体损坏的概率。

其中,分类模型可以是神经网络模型,例如可以是卷积神经网络模型等,优选地,分类模型可以是resnet模型。

在利用分类模型对目标框图像进行分类之前,还可以预先对分类模型进行训练,在训练时,可以先获取多个银行门楣的框图像,这里的多个银行门楣的框图像均已标注类别,然后将该多个银行门楣的框图像输入初始的分类模型,得到每个银行门楣的框图像的预测类别,接着计算每个银行门楣的预测类别和已标注类别之间的损失,并将损失作为损失函数的值,利用损失函数的值反向传播对初始分类模型进行参数调整,直至损失函数的值达到预设的值或者稳定不再变化时,就可以认为分类模型已经训练好,此时就可以得到训练好的分类模型。其中,这里多个银行门楣的框图像可以是不同银行的门楣的框图像,可以包括门楣损坏的框图像,也可以包括门楣无损的框图像,同时这里的已标注类别可以是损坏或者无损,或者在类别是损坏时,类别还可以分为损坏程度低和损坏程度高等。另外,在将银行门楣的框图像输入初始的分类模型后,得到银行门楣的框图像属于各个类别的预测概率,然后将各个类别的预测概率中的最大预测概率所对应的类别作为银行门楣的框图像的预测类别。

在得到训练好的分类模型之后,就可以将上述得到的目标框图像输入至该训练好的分类模型中,得到目标框图像属于各个类别的概率,记为概率信息,该概率信息中包括第一概率,该第一概率可以指示门楣损坏的概率,然后将各个类别的概率中的最大概率对应的类别作为目标框图像的类别。示例地,假设目标框图像有两个类别,分别是损坏和无损,在将目标框图像输入至分类模型后,可以得到两个类别的概率,分别为80%和20%,假设80%对应的类别为损坏,20%对应的类别为无损,那么就可以确定目标框图像的类别为损坏,也就是说,目标物体(即银行门楣)损坏了,那么就可以通知银行维修人员进行后续工作。

上述目标物体检测方法中,通过对获取的目标场所的外观图像进行截取处理,得到包含目标物体的目标框图像,并将目标框图像输入至分类模型中,得到概率信息,该概率信息中的第一概率用于指示目标物体损坏的概率。在该方法中,由于可以对目标场所的外观图像进行截取处理,并利用分类模型对截取的目标框图像进行分类,就可以得到目标物体是否损坏的结果,而不需要采用人工巡视的方式去检查目标物体是否完好无损,因此,该方法可以节省人力成本;同时采用分类模型确定目标物体是否损坏,相比人工确定方法,得到的结果也会更加准确。

在另一个实施例中,提供了另一种目标物体检测方法,本实施例涉及的是若上述概率信息还包括第二概率,第二概率用于指示目标物体的损坏程度,那么如何根据目标物体的损坏程度输出提示消息。在上述实施例的基础上,上述方法还可以包括以下步骤a:

步骤a,若目标物体损坏的概率大于预设的损坏概率,则根据目标物体的损坏程度输出提示消息;该提示消息用于指示是否需要对目标物体进行修复。

在本步骤中,预设的损坏概率可以是根据实际情况而定的一个概率,例如可以是60%、70%等等。上述分类模型在输出概率信息时,可以是每个类别输出两个概率信息,一个用来表征目标物体损坏的概率,为第一概率,另一个用来表征目标物体的损坏程度,为第二概率,第一概率和第二概率总体代表了目标框图像的类别,然后可以将第一概率和预设的损坏概率进行对比,若第一概率小于等于预设的损坏概率,则可以说明目标物体没有损坏,是完好的,那么也就不需要通知银行维修人员;若第一概率不小于(即大于或者等于)预设的损坏概率,那么可以确定目标物体损坏了,那么可以再根据目标物体的损坏程度(即第二概率)的大小输出相应的提示消息,可选的,上述步骤a中的根据目标物体的损坏程度输出提示消息可以包括以下步骤a1-a3:

a1,将目标物体的损坏程度和损坏程度阈值进行对比。

a2,若目标物体的损坏程度大于损坏程度阈值,则输出第一提示消息;该第一提示消息用于指示需要对目标物体进行修复。

a3,若目标物体的损坏程度不大于损坏程度阈值,则输出第二提示消息;该第二提示消息用于指示不需要对目标物体进行修复。

在步骤a1-a3中,损坏程度阈值也可以是根据实际情况而设定的一个阈值,例如可以是80%、85%等等,在确定目标框图像为损坏时,可以将分类模型输出的第二概率与损坏程度阈值进行对比,得到对比结果。若对比结果为第二概率大于损坏程度阈值,那么就可以确定目标物体严重损坏,那么就可以通知银行维修人员需要对该目标物体进行修复;若对比结果为第二概率不大于损坏程度阈值,那么就可以确定目标物体损坏不严重,即轻微损坏,那么可以通知银行维修人员暂时不需要对该目标物体进行修复。

本实施例提供的目标物体检测方法,若上述概率信息还还包括第二概率,第二概率用于指示目标物体的损坏程度,那么可以将目标物体损坏的概率和预设的损坏概率进行对比,若目标物体损坏的概率大于预设的损坏概率,则根据目标物体的损坏程度输出提示消息,该提示消息用于指示是否需要对目标物体进行修复。在本实施例中,由于在确定目标物体损坏时,还会根据目标物体的损坏程度确定是否需要维修,因此本实施例的方法可以合理安排对目标物体的维修,避免一些不必要的维修带来的人力成本增加的问题,从而可以进一步节省人力成本。

在另一个实施例中,提供了另一种目标物体检测方法,本实施例涉及的是如何根据目标物体的使用时长和预设的使用时长确定是否对目标物体进行复检的具体过程。在上述实施例的基础上,如图3所示,上述方法还可以包括以下步骤:

s302,获取目标物体的使用时长。

s304,将目标物体的使用时长和预设的使用时长进行对比。

s306,若目标物体的使用时长大于预设的使用时长,且目标物体损坏的概率不大于预设的损坏概率,则输出复检消息;该复检消息用于指示对目标物体进行复检。

其中,以目标物体为银行门楣进行说明,预设的使用时长可以是通过统计各不同银行的门楣的历史使用时长(即寿命使用时长),得到多个历史使用时长,并对多个历史使用时长进行取均值运算处理,得到多个门楣的平均使用时长,并将该平均使用时长作为预设的使用时长。

具体的,若上述目标物体的损坏概率不大于(即小于等于)预设的损坏概率,那么可以认为目标物体(即门楣)没有损坏,是完好的;同时也可以统计银行从安装门楣开始到当前时刻为止门楣的使用时长,然后将门楣的使用时长和上述平均使用时长进行对比,若门楣的使用时长不大于(即小于等于)平均使用时长,即门楣的使用时长没有超过平均使用时长,且门楣还没有损坏,那么可以确定门楣确实没有损坏;若门楣的使用时长大于平均使用时长,即门楣的使用时长超过平均使用时长,且门楣还没有损坏,那么可能说明该门楣的检查出现异常,就可以输出复检消息,以便通知银行维修人员对该门楣进行再次检查,确定门楣是否真的没有损坏。

本实施例提供的目标物体检测方法,通过将获取目标物体的使用时长和预设的使用时长进行对比,若目标物体的使用时长大于预设的使用时长,且目标物体损坏的概率不大于预设的损坏概率,则输出复检消息,该复检消息用于指示对目标物体进行复检。在本实施例中,由于在目标物体的使用时长超过预设使用时长且还没有损坏时,还可以对该目标物体进行复检,以便确定目标物体是否真的没有损坏,因此,利用本实施例的方法确定的目标物体的损坏结果更加准确,从而在根据该损坏结果确定是否需要维修人员对目标物体进行修复时,得到的确定结果更加准确,进而可以进一步节省人力。

在另一个实施例中,提供了另一种目标物体检测方法,本实施例涉及的是如何对外观图像进行截取处理,得到目标框图像的具体过程。在上述实施例的基础上,如图4所示,上述s204可以包括以下步骤:

s402,将外观图像输入至检测模型,得到检测模型输出的目标框位置信息,该目标框位置信息用于指示外观图像中包含有目标物体的图像框的位置。

在本步骤中,在使用检测模型对外观图像进行检测之前,还可以对检测模型进行训练,在训练时,可以按照如下步骤对检测模型进行训练,如下s1-s6:

s1,获取外观图像集,该外观图像集包括多个外观图像,并将多个外观图像分为训练集和测试集,然后利用标注工具对训练集中每个外观图像中目标所在的图像框的类别和框位置信息进行标注。

s2,对训练集中每个外观图像进行尺寸归一化,例如归一化为608×608×3。

s3,将s2中得到的归一化后的外观图像输入检测模型得到三种不同尺寸大小的特征图;具体包括:首先将归一化后的外观图像输入检测模型进行下采样处理,即将归一化后的外观图像依次经过两个3×3的卷积、一个残差块、两个3×3的卷积和八个残差块处理后,得到第一尺寸的特征图,尺寸为76×76×256,此特征图负责检测小目标;之后该76×76×256的特征图再经过一个3×3的卷积和八个残差块处理后,得到第二尺寸的特征图,尺寸为38×38×512,此特征图负责检测中等大小的目标;之后该38×38×512的特征图再经过一个3×3的卷积和四个残差块处理后,得到第三尺寸的特征图,尺寸为19×19×1024,此特征图拥有最大的感受野,负责检测大目标;其中,在得到第一尺寸的特征图时,可以是将归一化后的外观图像经过两个3×3的卷积后尺寸减半,得到304×304×64的特征图,再经过一个残差块后尺寸不变,再经过一个3×3卷积后,尺寸缩小一半,通道数增大一倍,即152×152×128,再经过3×3卷积后,尺寸变为76×76×256,再经过8个残差块后,最终得到76×76×256的第一尺寸的特征图;残差块是指依次经过一个1×1卷积、一个3×3的卷积和残差操作的运算过程。

s4,将第一尺寸对应的特征图、第二尺寸对应的特征图及第三尺寸对应的特征图进行上采样和特征融合,得到第一尺寸对应的第一张量数据、第二尺寸对应的第二张量数据及第三尺寸对应的第三张量数据,分别如下:

第一,在s3中得到的第三尺寸19×19×1024的特征图上初始生成三种不同尺寸的锚点框,大小为:116×90、156×198、373×326,每种尺寸的锚点框个数为19×19,随后按顺序经过1个3×3卷积、1个conv模块得到19×19×512的特征图,然后19×19×512的特征图依次经过一个3×3卷积、一个1×1卷积进行处理,用以修正锚点框以及对锚点框内包含的目标进行分类,输出第三尺寸对应的第三张量数据,大小为19×19×24,该第三张量数据包括修正后的多个图像框以及各图像框的框位置信息、置信度、类别量化值,各图像框的框位置信息可以包括各图像框的中心坐标、宽度及高度;

第二,对上述得到的19×19×512的特征图,将其经过一个1×1卷积后得到19×19×256的特征图,并对19×19×256的特征图进行上采样得到38×38×256的特征图,与s3中得到的第二尺寸的38×38×512特征图进行跳层连接和特征融合,得到38×38×768的特征图,之后可以在该38×38×768的特征图上生成三种不同尺寸的锚点框,大小为:30×61、62×45、59×119,每种锚点框个数为38×38个,然后将38×38×768的特征图再经过一个conv模块、一个3×3卷积、一个1×1卷积进行处理,用以修正锚点框以及对锚点框内包含的目标进行分类,输出第二尺寸对应的第二张量数据,大小为38×38×24,该第二张量数据同样包括修正后的多个图像框以及各图像框的框位置信息、置信度、类别量化值,各图像框的框位置信息可以包括各图像框的中心坐标、宽度及高度;

第三,将上述得到的38×38×768的特征图经过一个conv模块得到38×38×256的特征图,再经过1×1卷积后得到38×38×128的特征图,对该特征图进行上采样得到76×76×128的特征图,再与上述s3中得到的第一尺寸的76×76×256特征图进行跳层连接和特征融合,得到76×76×384的特征图,随后在该特征图上生成3种锚点框,大小为:10×13、16×30、33×23,每种锚点框的个数为76×76个,然后将76×76×384的特征图再一次经过一个conv模块、一个3×3卷积、一个1×1卷积进行处理,用以修正锚点框以及对锚点框内包含的目标进行分类,输出第一尺寸对应的第一张量数据,大小为376×76×24,该第一张量数据同样包括修正后的多个图像框以及各图像框的框位置信息、置信度、类别量化值,各图像框的框位置信息可以包括各图像框的中心坐标、宽度及高度;上述的conv模块是指依次经过1×1卷积、3×3卷积、1×1卷积、3×3卷积和1×1卷积的运算过程。

s5,通过损失函数计算每个预测的图像框的类别得分、图像框的框位置信息和已标注的图像框的类别、已标注的图像框的框位置信息之间的损失,并将损失作为损失函数的值,经过反向传播后求取梯度对检测模型进行权重更新,得到更新后的权重参数。同时在训练检测模型时,可以设置学习率,如下:迭代次数为0-1000时,学习率设置为0.1,迭代次数为1000-5000时,学习率设置为0.01,迭代次数为5000-15000时,学习率设置为0.001,迭代次数为15000-20000时,学习率设置为0.0001,在迭代次数达到20000次时检测模型收敛,训练停止,得到最终迭代到20000次的训练模型。

s6,在训练检测模型时,因为迭代次数设置的不同会得到多个检测模型,那么可以采用上述测试集中的各个外观图像对这多个检测模型进行测试,在测试时,可以将测试集中的各外观图像分别标注类别和框位置信息,然后将各外观图像分别输入至每个检测模型,得到每个检测模型输出的预测类别和预测框位置信息,并利用每个检测模型输出的预测类别和预测框位置信息和已标注类别和框位置信息计算损失,得到每个检测模型的损失,即得到多个损失,并将这多个损失中最小损失所对应的检测模型作为最终训练好的检测模型。

在得到训练好的检测模型之后,就可以利用该检测模型对实际的目标场所外部的目标物体进行检测,首先是利用摄像机等采集到目标场所的外观图像,在将外观图像输入至检测模型之前,还可以对外观图像进行归一化处理,然后再将归一化后的外观图像输入检测模型,这里的检测模型可以是yolov3目标检测模型,当然也可以是其他检测模型,本实施例主要以yolov3目标检测模型进行说明,可选的,上述s402步骤可以包括以下步骤b1-b3:

步骤b1,将外观图像输入至检测模型,获取外观图像中各个候选图像框的张量数据;每个候选图像框的张量数据包括候选图像框的框位置信息、候选图像框的置信度以及候选图像框的类别量化值,该置信度用于表征候选图像框中是否存在目标物体,该类别量化值用于表征候选图像框中的物体属于目标物体的概率。

步骤b2,基于各个候选图像框的张量数据对各个候选图像框进行筛选,得到目标候选图像框,该目标候选图像框中包含有目标物体。

步骤b3,将目标候选图像框的框位置信息作为目标框位置信息,并输出目标框位置信息。

在步骤b1-b3中,与上述检测模型的训练过程相同,归一化后外观图像输入至检测模型之后,检测模型可以输出三种不同尺寸的张量数据,每种尺寸下的张量数据均包括多个候选图像框的框位置信息、置信度、类别量化值;这里的候选图像框指的就是外观图像上检测到的多个图像框,类别量化值也可以称为类别的得分,即检测模型在输出每个候选图像框时,还会同时输出每个候选图像框属于该类别的得分,置信度在这里还可以表示候选图像框中的目标物体属于该类别的可信程度。

在得到多个候选图像框的张量数据之后,可选的,可以采用如下步骤b21和b22对各候选图像框进行筛选,如下:

步骤b21,将各候选图像框中置信度小于置信度阈值的候选图像框筛选掉,得到经过第一次筛选的多个候选图像框。

步骤b22,根据第一次筛选的多个候选图像框的类别量化值,对第一次筛选的多个候选图像框进行第二次筛选,得到目标候选图像框。

具体的,可以将各个候选图像框的置信度分别和预设的置信度阈值进行对比,得到多个比较结果,并将多个比较结果中置信度小于置信度阈值的筛除,得到置信度大于等于置信度阈值的多个候选图像框。示例地,置信度阈值可以是0.5、0.6等等,当然还可以是其他根据实际情况而设定的值。

在得到多个置信度大于等于置信度阈值的候选图像框之后,可以采用非极大值抑制算法对这多个候选图像框进行第二次筛选处理,即,将这多个候选图像框放入第一集合中,将这多个候选图像框的类别量化值从大到小或从小到大进行排序,将其中最大类别量化值对应的候选图像框取出,放入第二集合中,并计算第一集合中剩余的各候选图像框和最大类别量化值的候选图像框的交并比(interectionoverunion,iou),将得到的多个交并比和交并比阈值进行对比,若交并比大于交并比阈值,则认为该候选图像框与最大类别量化值的候选图像框重叠,可以将该候选图像框从第一集合中去掉,然后返回执行将这多个候选图像框的类别量化值从大到小或从小到大进行排序,将其中最大类别量化值对应的候选图像框取出,放入第二集合中的步骤,直至第一集合为空,那么最终第二集合中得到的就是目标候选图像框。这里目标候选图像框可以是一个,也可以是多个。

在得到目标候选图像框之后,将目标候选图像框的框位置信息作为目标框位置信息,并输出,这里如果得到的是多个目标候选图像框,那么可以将这多个目标候选图像框对应的目标框位置信息均输出。

s404,基于目标框位置信息,从外观图像中截取目标框图像。

具体的,在得到目标框位置信息之后,就可以按照目标框位置信息在外观图像上截取该目标框位置信息所在的图像,得到目标框图像,并对目标框图像进行分类。

本实施例提供的目标物体检测方法,可以将外观图像输入至检测模型,得到检测模型输出的目标框位置信息,该目标框位置信息用于指示外观图像中包含有目标物体的图像框的位置,并基于目标框位置信息,从外观图像中截取目标框图像。在本实施例的方法中,由于可以采用检测模型得到外观图像中目标物体的框位置信息,相比于人工得到目标物体的框位置信息会更加准确,从而在利用该准确的框位置信息去截取目标框图像时,得到的目标框图像也会更加准确,进而在后续利用该准确的目标框图像进行分类时,得到的目标物体是否损坏的分类结果也会更加准确。

在另一个实施例中,可以在目标物体上安装可伸缩自动擦洗装置(以目标物体为门楣为例,可以在门楣最左边安装一个自动擦洗机械臂,在门楣最右边安装一个自动擦洗机械臂),然后可以检测目标物体表面是否干净,并在检测到目标物体表面不干净时,计算出不干净区域的面积,若不干净区域的面积大于目标物体整体面积的三分之一时,可以启动该自动擦洗装置对不干净的区域进行擦洗。可选的,在检测到目标物体表面不干净时,可以在启动该自动擦洗装置之前,给用户输出提醒消息,用于指示该目标物体需要擦洗。另外,可选的,可以进一步在目标物体底部安装遮挡板,遮挡板在关闭状态下收缩于目标物体背面,在开启状态下与目标物体呈锐角,在执行自动擦洗工作之前开启遮挡板,可以隔离因擦洗造成的水渍滴落导致落到用户身上的情况,在该可伸缩自动擦此装置对不干净的区域进行自动擦洗完毕后,自动收缩遮挡板。

应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图5所示,提供了一种目标物体检测装置,包括:获取模块10、检测模块11和分类模块12,其中:

获取模块10,用于获取目标场所的外观图像;

检测模块11,用于对外观图像进行截取处理,得到目标框图像,该目标框图像包括目标场所外的目标物体;

分类模块12,用于将目标框图像输入至分类模型中,得到概率信息,该概率信息包括第一概率,第一概率用于指示目标物体损坏的概率。

可选的,上述目标场所为银行,上述目标物体为门楣。

关于目标物体检测装置的具体限定可以参见上文中对于目标物体检测方法的限定,在此不再赘述。

在另一个实施例中,上述分类模块12中的概率信息还包括第二概率,第二概率用于指示目标物体的损坏程度,则上述装置还可以包括:比较输出模块,该比较输出模块用于若目标物体损坏的概率大于预设的损坏概率,则根据目标物体的损坏程度输出提示消息;该提示消息用于指示是否需要对目标物体进行修复。

可选的,上述比较输出模块具体用于,将目标物体的损坏程度和损坏程度阈值进行对比;若目标物体的损坏程度大于损坏程度阈值,则输出第一提示消息;该第一提示消息用于指示需要对目标物体进行修复;若目标物体的损坏程度不大于损坏程度阈值,则输出第二提示消息;该第二提示消息用于指示不需要对目标物体进行修复。

在另一个实施例中,在上述实施例的基础上,上述装置还可以包括:复检模块,该复检模块,用于获取目标物体的使用时长;将目标物体的使用时长和预设的使用时长进行对比;若目标物体的使用时长大于预设的使用时长,且目标物体损坏的概率不大于预设的损坏概率,则输出复检消息;该复检消息用于指示对目标物体进行复检。

在另一个实施例中,在上述实施例的基础上,上述检测模块11可以包括检测单元和截取单元,其中:

检测单元,用于将外观图像输入至检测模型,得到检测模型输出的目标框位置信息,该目标框位置信息用于指示外观图像中包含有目标物体的图像框的位置;

截取单元,用于基于目标框位置信息,从外观图像中截取目标框图像。

可选的,上述检测单元具体可以包括检测子单元、筛选子单元和输出子单元,其中:

检测子单元,用于将外观图像输入至检测模型,获取外观图像中各个候选图像框的张量数据;每个候选图像框的张量数据包括候选图像框的框位置信息、候选图像框的置信度以及候选图像框的类别量化值,该置信度用于表征候选图像框中是否存在目标物体,该类别量化值用于表征候选图像框中的物体属于目标物体的概率;

筛选子单元,用于基于各个候选图像框的张量数据对各个候选图像框进行筛选,得到目标候选图像框,该目标候选图像框中包含有目标物体;

输出子单元,用于将目标候选图像框的框位置信息作为目标框位置信息,并输出目标框位置信息。

可选的,上述筛选子单元,具体用于将各候选图像框中置信度小于置信度阈值的候选图像框筛选掉,得到经过第一次筛选的多个候选图像框;

根据第一次筛选的多个候选图像框的类别量化值,对第一次筛选的多个候选图像框进行第二次筛选,得到目标候选图像框。

关于目标物体检测装置的具体限定可以参见上文中对于目标物体检测方法的限定,在此不再赘述。

上述目标物体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标物体检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:

获取目标场所的外观图像;

对外观图像进行截取处理,得到目标框图像,该目标框图像包括目标场所外的目标物体;

将目标框图像输入至分类模型中,得到概率信息,该概率信息包括第一概率,第一概率用于指示目标物体损坏的概率。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

若目标物体损坏的概率大于预设的损坏概率,则根据目标物体的损坏程度输出提示消息;该提示消息用于指示是否需要对目标物体进行修复。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将目标物体的损坏程度和损坏程度阈值进行对比;

若目标物体的损坏程度大于损坏程度阈值,则输出第一提示消息;该第一提示消息用于指示需要对目标物体进行修复;

若目标物体的损坏程度不大于损坏程度阈值,则输出第二提示消息;该第二提示消息用于指示不需要对目标物体进行修复。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取目标物体的使用时长;

将目标物体的使用时长和预设的使用时长进行对比;

若目标物体的使用时长大于预设的使用时长,且目标物体损坏的概率不大于预设的损坏概率,则输出复检消息;该复检消息用于指示对目标物体进行复检。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将外观图像输入至检测模型,得到检测模型输出的目标框位置信息,该目标框位置信息用于指示外观图像中包含有目标物体的图像框的位置;

基于目标框位置信息,从外观图像中截取目标框图像。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将外观图像输入至检测模型,获取外观图像中各个候选图像框的张量数据;每个候选图像框的张量数据包括候选图像框的框位置信息、候选图像框的置信度以及候选图像框的类别量化值,该置信度用于表征候选图像框中是否存在目标物体,该类别量化值用于表征候选图像框中的物体属于目标物体的概率;

基于各个候选图像框的张量数据对各个候选图像框进行筛选,得到目标候选图像框,该目标候选图像框中包含有目标物体;

将目标候选图像框的框位置信息作为目标框位置信息,并输出目标框位置信息。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将各候选图像框中置信度小于置信度阈值的候选图像框筛选掉,得到经过第一次筛选的多个候选图像框;

根据第一次筛选的多个候选图像框的类别量化值,对第一次筛选的多个候选图像框进行第二次筛选,得到目标候选图像框。

在一个实施例中,上述目标场所为银行,上述目标物体为门楣。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

获取目标场所的外观图像;

对外观图像进行截取处理,得到目标框图像,该目标框图像包括目标场所外的目标物体;

将目标框图像输入至分类模型中,得到概率信息,该概率信息包括第一概率,第一概率用于指示目标物体损坏的概率。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

若目标物体损坏的概率大于预设的损坏概率,则根据目标物体的损坏程度输出提示消息;该提示消息用于指示是否需要对目标物体进行修复。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将目标物体的损坏程度和损坏程度阈值进行对比;

若目标物体的损坏程度大于损坏程度阈值,则输出第一提示消息;该第一提示消息用于指示需要对目标物体进行修复;

若目标物体的损坏程度不大于损坏程度阈值,则输出第二提示消息;该第二提示消息用于指示不需要对目标物体进行修复。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取目标物体的使用时长;

将目标物体的使用时长和预设的使用时长进行对比;

若目标物体的使用时长大于预设的使用时长,且目标物体损坏的概率不大于预设的损坏概率,则输出复检消息;该复检消息用于指示对目标物体进行复检。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将外观图像输入至检测模型,得到检测模型输出的目标框位置信息,该目标框位置信息用于指示外观图像中包含有目标物体的图像框的位置;

基于目标框位置信息,从外观图像中截取目标框图像。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将外观图像输入至检测模型,获取外观图像中各个候选图像框的张量数据;每个候选图像框的张量数据包括候选图像框的框位置信息、候选图像框的置信度以及候选图像框的类别量化值,该置信度用于表征候选图像框中是否存在目标物体,该类别量化值用于表征候选图像框中的物体属于目标物体的概率;

基于各个候选图像框的张量数据对各个候选图像框进行筛选,得到目标候选图像框,该目标候选图像框中包含有目标物体;

将目标候选图像框的框位置信息作为目标框位置信息,并输出目标框位置信息。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将各候选图像框中置信度小于置信度阈值的候选图像框筛选掉,得到经过第一次筛选的多个候选图像框;

根据第一次筛选的多个候选图像框的类别量化值,对第一次筛选的多个候选图像框进行第二次筛选,得到目标候选图像框。

在一个实施例中,上述目标场所为银行,上述目标物体为门楣。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。


技术特征:

1.一种目标物体检测方法,其特征在于,所述方法包括:

获取目标场所的外观图像;

对所述外观图像进行截取处理,得到目标框图像,所述目标框图像包括所述目标场所外的目标物体;

将所述目标框图像输入至分类模型中,得到概率信息,所述概率信息包括第一概率,所述第一概率用于指示所述目标物体损坏的概率。

2.根据权利要求1所述的方法,其特征在于,所述概率信息还包括第二概率,所述第二概率用于指示所述目标物体的损坏程度;所述方法还包括:

若所述目标物体损坏的概率大于预设的损坏概率,则根据所述目标物体的损坏程度输出提示消息;所述提示消息用于指示是否需要对所述目标物体进行修复。

3.根据权利要求2所述的方法,其特征在于,所述根据所述目标物体的损坏程度输出提示消息,包括:

将所述目标物体的损坏程度和损坏程度阈值进行对比;

若所述目标物体的损坏程度大于损坏程度阈值,则输出第一提示消息;所述第一提示消息用于指示需要对所述目标物体进行修复;

若所述目标物体的损坏程度不大于所述损坏程度阈值,则输出第二提示消息;所述第二提示消息用于指示不需要对所述目标物体进行修复。

4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

获取所述目标物体的使用时长;

将所述目标物体的使用时长和预设的使用时长进行对比;

若所述目标物体的使用时长大于所述预设的使用时长,且所述目标物体损坏的概率不大于预设的损坏概率,则输出复检消息;所述复检消息用于指示对所述目标物体进行复检。

5.根据权利要求1所述的方法,其特征在于,所述对所述外观图像进行截取处理,得到目标框图像,包括:

将所述外观图像输入至检测模型,得到所述检测模型输出的目标框位置信息,所述目标框位置信息用于指示所述外观图像中包含有所述目标物体的图像框的位置;

基于所述目标框位置信息,从所述外观图像中截取所述目标框图像。

6.根据权利要求5所述的方法,其特征在于,所述将所述外观图像输入至检测模型,得到所述检测模型输出的目标框位置信息,包括:

将所述外观图像输入至所述检测模型,获取所述外观图像中各个候选图像框的张量数据;每个所述候选图像框的张量数据包括所述候选图像框的框位置信息、所述候选图像框的置信度以及所述候选图像框的类别量化值,所述置信度用于表征所述候选图像框中是否存在目标物体,所述类别量化值用于表征所述候选图像框中的物体属于所述目标物体的概率;

基于所述各个候选图像框的张量数据对所述各个候选图像框进行筛选,得到目标候选图像框,所述目标候选图像框中包含有所述目标物体;

将所述目标候选图像框的框位置信息作为所述目标框位置信息,并输出所述目标框位置信息。

7.根据权利要求6所述的方法,其特征在于,所述基于所述各个候选图像框的张量数据对所述各个候选图像框进行筛选,得到目标候选图像框,包括:

将各所述候选图像框中置信度小于置信度阈值的候选图像框筛选掉,得到经过第一次筛选的多个候选图像框;

根据所述第一次筛选的多个候选图像框的类别量化值,对所述第一次筛选的多个候选图像框进行第二次筛选,得到目标候选图像框。

8.根据权利要求1至所述的方法,所述目标场所为银行,所述目标物体为门楣。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本申请涉及一种目标物体检测方法、计算机设备和存储介质。所述方法包括:获取目标场所的外观图像;对所述外观图像进行截取处理,得到目标框图像,所述目标框图像包括所述目标场所外的目标物体;将所述目标框图像输入至分类模型中,得到概率信息,所述概率信息包括第一概率,所述第一概率用于指示所述目标物体损坏的概率。采用本方法能够节省人力成本。

技术研发人员:周康明;徐乐
受保护的技术使用者:上海眼控科技股份有限公司
技术研发日:2020.01.19
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-53665.html

最新回复(0)