图像检测方法、装置、计算机设备和存储介质与流程

专利2022-06-29  74


本申请涉及计算机技术领域,特别是涉及一种图像检测方法、装置、计算机设备和存储介质。



背景技术:

银行网点的外部环境(例如门窗、墙面等)作为银行网点的门面,一般需要保持干净、整洁等,这样会给用户带来一个良好的印象,从而有利于提升银行的整体形象,而银行网点的外部环境经过长时间的风吹日晒和各种人为等原因,难免出现污渍、设施损坏等不合规的现象,因此这就需要对银行的外部环境进行定期检查。

相关技术中,在对银行的外部环境进行检查时,大多是通过人工每隔一段时间去巡视银行外部,通过触摸、观察等方式确定银行的外部环境是否合规。

然而由于人工不可能时刻去巡视银行的外部环境,因此上述技术存在检查的实时性不高的问题。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种图像检测方法、装置、计算机设备和存储介质。

一种图像检测方法,该方法包括:

获取目标场所的外部环境的视频图像;

将视频图像输入至检测模型,得到外部环境的检测结果;该检测结果用于表征外部环境是否合规;

若检测结果为外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。

在其中一个实施例中,上述视频图像包括n个视频帧,上述将视频图像输入至检测模型,得到外部环境的检测结果,包括:

将n个视频帧输入至检测模型,得到每个视频帧对应的质量量化值;该质量量化值用于表征对应的视频帧中外部环境合规的概率;

将每个视频帧对应的质量量化值和预设的质量量化值阈值进行对比,得到对比结果;

根据对比结果确定检测结果。

在其中一个实施例中,上述根据对比结果确定检测结果,包括:

若n个视频帧中存在连续的m个第一视频帧时,确定检测结果为外部环境不合规;其中,第一视频帧为质量量化值小于质量量化值阈值的视频帧;m小于等于n。

在其中一个实施例中,上述视频图像包括n个视频帧,上述将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别,包括:

将n个视频帧输入至定位模型,得到每个视频帧的外部环境中不合规物体的位置和类别;

根据每个视频帧的外部环境中不合规物体的位置和类别,得到外部环境中不合规物体的位置和类别。

在其中一个实施例中,上述根据每个视频帧的外部环境中不合规物体的位置和类别,得到外部环境中不合规物体的位置和类别,包括:

若n个视频帧中存在连续的p个第二视频帧时,将任一第二视频帧的外部环境中不合规物体的位置和类别作为外部环境中不合规物体的位置和类别;每个第二视频帧中不合规物体的位置和类别均相同;p小于等于n。

在其中一个实施例中,上述检测模型的训练方法包括:

获取样本场所的外部环境的样本图像;

基于样本图像对初始的检测模型进行训练,得到检测模型。

在其中一个实施例中,上述获取样本场所的外部环境的样本图像,包括:

对样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像;第一图像包含的外部环境中存在不合规物体,第二图像包含的外部环境中不存在不合规物体;

对第一图像进行截取处理,得到不合规物体的图像;

将不合规物体的图像叠加至多个第二图像中的部分第二图像中,得到多个叠加图像;

将多个第一图像、多个叠加图像以及未叠加不合规物体的图像的第二图像作为样本图像。

一种图像检测装置,该装置包括:

获取模块,用于获取目标场所的外部环境的视频图像;

确定模块,用于将视频图像输入至检测模型,得到外部环境的检测结果;该检测结果用于表征外部环境是否合规;

定位模块,用于若检测结果为外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取目标场所的外部环境的视频图像;

将视频图像输入至检测模型,得到外部环境的检测结果;该检测结果用于表征外部环境是否合规;

若检测结果为外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取目标场所的外部环境的视频图像;

将视频图像输入至检测模型,得到外部环境的检测结果;该检测结果用于表征外部环境是否合规;

若检测结果为外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。

上述图像检测方法、装置、计算机设备和存储介质,通过将获取的目标场所的外部环境的视频图像输入至检测模型,得到外部环境的检测结果,该检测结果可以表征外部环境是否合规,若外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。在该方法中,由于可以实时地利用检测模型和定位模型对外部环境进行检测和定位,因此该方法可以提高对外部环境检查的实时性;另外,由于该方法中采用了检测模型和定位模型对外部环境进行检查,而不需要人工去检查外部环境,因此可以节省人力成本,同时也可以提高对外部环境的检查效率。

附图说明

图1为一个实施例中图像检测方法的应用环境图;

图2为一个实施例中图像检测方法的流程示意图;

图3为另一个实施例中图像检测方法的流程示意图;

图4为另一个实施例中图像检测方法的流程示意图;

图5为另一个实施例中图像检测方法的流程示意图;

图6为一个实施例中图像检测装置的结构框图;

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的图像检测方法,可以应用于如图1所示的应用环境中。其中,图像获取设备102可以与计算机设备104进行通信。其中,图像获取设备102可以但不限于是各种监控设备、相机、摄像机、抓拍机和包含摄像模块的电子装置,计算机设备104可以是终端、智能手机、可穿戴设备等等。其中,计算机设备104可以通过图像获取设备102获取目标场所外部的监控图像。

需要说明的是,本实施例的执行主体可以是计算机设备,也可以是图像检测装置,本申请下述实施例将以计算机设备为执行主体进行说明。

在一个实施例中,提供了一种图像检测方法,本实施例涉及的是如何通过检测模型和定位模型对外部环境进行检测和定位,得到外部环境中不合规物体的位置和类别的具体过程。如图2所示,该方法可以包括以下步骤:

s202,获取目标场所的外部环境的视频图像。

在本步骤中,可以通过目标场所外部的摄像机、抓拍机等对目标场所的外部环境进行拍摄,就可以得到目标场所的外部环境的图像。这里目标场所为银行,当然也可以是其他场所,例如,企事业单位,运营商营业厅、超市等等。另外,外部环境可以是目标场所外的门窗、墙面、停车位、堆放的物品、纸箱等等。

具体的,可以通过银行外部的摄像机等来对目标场所的外部环境进行拍摄,就可以得到银行的外部环境的视频图像,并将该视频图像传输给与摄像机等相连的计算机设备,计算机设备就可以得到目标场所的外部环境的视频图像。

s204,将视频图像输入至检测模型,得到外部环境的检测结果;该检测结果用于表征外部环境是否合规。

其中,检测模型可以是卷积神经网络(convolutionalneuralnetworks,cnn)模型、深度神经网络(deepneuralnetworks,dnn)模型、循环神经网络(recurrentneuralnetwork,rnn)模型、深信度网络(deepbeliefnetworks,dbf)模型,限制波尔兹曼机(restrictedboltzmannmachine,rbm)模型及自动编码器(autoencoder)等。在本实施例中,检测模型可以是基于深度神经网络的yolo(youonlylookonce)v3网络。

具体的,可以将上述得到的外部环境的视频图像输入至训练好的检测模型,该训练好的检测模型可以是对视频图像的全部视频帧进行处理,最终输出一个检测结果,还可以对视频图像的每个视频帧进行处理,得到每个视频帧的检测结果,并通过对每个视频帧的检测结果进行比较等处理,最终输出一个检测结果,这里的检测结果可以表征外部环境是否合规。示例地,这里的合规可以是外部环境中各个物体都按照规定摆放,且各个物体都干净整洁、没有污渍和损坏,不合规可以是外部环境中部分或全部物体不按照规定摆放,或部分或全部物体有污渍或损坏或张贴广告等。

s206,若检测结果为外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。

其中,定位模型可以和上述检测模型相同,可以是卷积神经网络模型、深度神经网络模型、循环神经网络模型、深信度网络模型,限制波尔兹曼机模型及自动编码器等。另外,不合规物体的位置可以是不合规物体所在的位置,示例地,不合规物体所在的位置可以包括不合规物体所在的框的中心坐标、框的长和宽等,不合规物体的类别可以包括张贴广告、有污渍、损坏、摆放不合理等等。

具体的,在上述得到外部环境是否合规的检测结果后,若检测结果表征的是外部环境不合规,那么就可以将外部环境的视频图像输入定位模型,通过该定位模型对外部环境的视频图像进行处理,输出外部环境上不合规物体的位置和类别,这里输出的不合规物体可以是一个或多个不同类别的不合规物体,也可以是一个或多个相同类别的不合规物体。若上述检测结果表征的是外部环境合规,那么可以不对外部环境的视频图像进行处理,继续采集和监控外部环境即可,当然也可以是将外部环境的视频图像同样输入至定位模型,该定位模型可以输出定位结果,该定位结果可以表征外部环境中没有不合规物体,也可以是外部环境中有小的不合规物体的位置和类别,不过该小的不合规物体对外部环境整体而言,不影响外部环境的整体质量,可以认为外部环境是合规的。

上述图像检测方法中,通过将获取的目标场所的外部环境的视频图像输入至检测模型,得到外部环境的检测结果,该检测结果可以表征外部环境是否合规,若外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。在该方法中,由于可以实时地利用检测模型和定位模型对外部环境进行检测和定位,因此该方法可以提高对外部环境检查的实时性;另外,由于该方法中采用了检测模型和定位模型对外部环境进行检查,而不需要人工去检查外部环境,因此可以节省人力成本,同时也可以提高对外部环境的检查效率。

在另一个实施例中,提供了另一种图像检测方法,本实施例涉及的是若视频图像包括n个视频帧,那么如何将每个视频帧输入至检测模型,得到外部环境的检测结果的具体过程。在上述实施例的基础上,如图3所示,上述s204可以包括以下步骤:

s302,将n个视频帧输入至检测模型,得到每个视频帧对应的质量量化值;该质量量化值用于表征对应的视频帧中外部环境合规的概率。

其中,n可以是根据实际情况而定的值,例如可以是10、100、1000等等,质量量化值也可以称为质量评分,可以是对外部环境中各个物体进行质量评分,并将各个物体的质量评分进行加权求和并取均值得到的一个质量评分。示例地,质量量化值可以是85.5、90.2、92等整数或小数,假设外部环境中有两项打分项,一项是污渍,另一项是张贴广告,污渍质量评分是80、张贴广告的质量评分是85等,可以将80和85作和并取均值,得到82.5,并将82.5作为该外部环境的质量量化值。

具体的,计算机设备在得到外部环境的视频图像后,可以将视频图像的每个视频帧都输入到检测模型中,得到检测模型对每个视频帧输出的质量量化值,每个视频帧的质量量化值都可以表征每个视频帧的外部环境合规的概率。示例地,以满分为100分为例,上述得到外部环境的质量量化值为82.5,那么就可以表征该外部环境合规的概率为82.5/100=82.5%。

s304,将每个视频帧对应的质量量化值和预设的质量量化值阈值进行对比,得到对比结果。

其中,质量量化值阈值可以是根据实际情况而定的一个值,可以是整数或小数,例如可以是80、85、88.5等。

具体的,计算机设备在得到每个视频帧的质量量化值之后,可以将每个视频帧的质量量化值分别和质量量化值阈值进行对比,得到每个视频帧的对比结果,每个视频帧的对比结果可以是其对应的质量量化值大于等于质量量化值阈值,或者其对应的质量量化值小于质量量化值阈值。

s306,根据对比结果确定检测结果。

在本步骤中,可以根据各个视频帧的对比结果确定最终的检测结果,也可以根据部分视频帧的对比结果确定最终的检测结果。

可选的,若n个视频帧中存在连续的m个第一视频帧时,确定检测结果为外部环境不合规;其中,第一视频帧为质量量化值小于质量量化值阈值的视频帧;m小于等于n。其中,m可以是2、3、4等整数值。也就是说,将n个视频帧输入至检测模型,得到n个对比结果,若n个对比结果中,连续m个视频帧的对比结果为质量量化值小于质量量化值阈值时,就可以认为外部环境不合规;若n个对比结果中,连续m个视频帧的对比结果中有任一个为质量量化值大于等于质量量化值阈值,那么就可以暂时外部环境合规,可以再继续质量量化值判断,得到最终外部环境是否合规的结果。

本实施例提供的图像检测方法,可以将外部环境的视频图像中的n个视频帧输入至检测模型,得到每个视频帧对应的质量量化值,该质量量化值用于表征对应的视频帧中外部环境合规的概率,将每个视频帧对应的质量量化值和预设的质量量化值阈值进行对比,并根据得到的对比结果确定检测结果。在本实施例中,由于可以根据每个视频帧的质量量化值来确定外部环境是否合规,可见该方法可以量化外部环境的质量,从而可以使根据质量量化值得到的外部环境是否合规的检测结果更加准确。

在另一个实施例中,提供了另一种图像检测方法,本实施例涉及的是若视频图像包括n个视频帧,那么如何将每个视频帧输入至定位模型,得到外部环境中不合规物体的位置和类别的具体过程。在上述实施例的基础上,如图4所示,上述s206可以包括以下步骤:

s402,将n个视频帧输入至定位模型,得到每个视频帧的外部环境中不合规物体的位置和类别。

其中,这里的n和上述s302一样,可以是根据实际情况而定的值,例如可以是10、100、1000等等。每个视频帧的外部环境中不合规的物体可以是一个或多个,当有多个不合规的物体时,可以是该多个不合规的物体属于同一类别,也可以属于不同类别。

具体的,计算机设备在得到外部环境不合规时,可以将外部环境的视频图像中每个视频帧都输入到定位模型中,得到定位模型对每个视频帧输出的定位结果,每个视频帧的定位结果包括每个视频帧的外部环境中不合规物体的位置和类别。

s404,根据每个视频帧的外部环境中不合规物体的位置和类别,得到外部环境中不合规物体的位置和类别。

在本步骤中,可以根据各个视频帧的定位结果确定外部环境最终的定位结果,也可以根据部分视频帧的定位结果确定外部环境最终的检测结果。

可选的,若n个视频帧中存在连续的p个第二视频帧时,将任一第二视频帧的外部环境中不合规物体的位置和类别作为外部环境中不合规物体的位置和类别;每个第二视频帧中不合规物体的位置和类别均相同;p小于等于n。其中,p可以和上述m的大小相同,也可以不相同,p的大小可以是2、3、4等整数值。也就是说,将n个视频帧输入至定位模型,得到n个定位结果,若n个定位结果中,连续p个视频帧的定位结果中的不合规物体的位置和类别均相同,那么就可以将该p个视频帧中任一个视频帧的定位结果作为最终的定位结果,即将这p个视频帧中任一视频帧的不合规物体的位置和类别作为最终外部环境中不合规物体的位置和类别。在实际检测中,一般不合规物体在短时间内是不会变的,所以一旦检测出连续几帧上不合规物体的位置和类别均相同,则可以认为外部环境中确实存在不合规物体,反之如果连续几帧上不合规物体的位置和类别不一定相同,那么可以认为外部环境中不一定存在不合规物体,可能是误检,那么就可以继续利用定位模型定位,直至得到最终的定位结果。

本实施例提供的图像检测方法,可以将n个视频帧输入至定位模型,得到每个视频帧的外部环境中不合规物体的位置和类别,根据每个视频帧的外部环境中不合规物体的位置和类别,得到外部环境中不合规物体的位置和类别。在本实施例中,由于可以根据各帧视频帧的定位结果确定最终的定位结果,因此,相比根据一帧视频帧的定位结果确定最终的定位结果,该方法得到的定位结果更加准确,从而也可以降低对外部环境检测时出现误检的概率。

在另一个实施例中,提供了另一种图像检测方法,本实施例涉及的是对检测模型进行训练的具体过程。在上述实施例的基础上,如图5所示,上述检测模型的训练过程可以包括以下步骤:

s502,获取样本场所的外部环境的样本图像。

在本步骤中,在获取外部环境的样本图像时,可选的,可以包括以下步骤a1-a4:

a1,对样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像;第一图像包含的外部环境中存在不合规物体,第二图像包含的外部环境中不存在不合规物体。

a2,对第一图像进行截取处理,得到不合规物体的图像。

a3,将不合规物体的图像叠加至多个第二图像中的部分第二图像中,得到多个叠加图像。

a4,将多个第一图像、多个叠加图像以及未叠加不合规物体的图像的第二图像作为样本图像。

其中,可以是在不同天气状况下的同一时间段对样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像,还可以是在同一天气状况下定时或不定时(即在不同时间段)对样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像,当然还可以是在不同天气状况下,定时或不定时对样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像。这里不同的天气状况可以是晴天、多云、大雨、小雨、大雾、大雪、小雪、冰雹、暴雨等,定时可以是每隔10分钟、15分钟、20分钟、半小时等等,样本场所可以是不同位置的同一类型的场所,还可以是相近位置的不同类型的场所,当然还可以是不同位置的不同类型的场所,样本场所可以是银行、运营商营业厅、企事业单位等等。以不合规物体为污渍为例,第一图像可以是包含污渍的外部环境图像,第二图像可以是没有污渍的外部环境图像。

在对第一图像截取处理时,可以是利用预设的提取方法对第一图像中的不合规物体进行提取,得到不合规物体,并将该不合规物体从对应的第一图像上截取出来,得到不合规物体的图像,预设的提取方法可以是采用神经网络模型进行提取的方法。

在得到不合规物体的图像之后,可以将不合规物体随机叠加至所有第二图像中,或者随机叠加至部分第二图像中,得到叠加不合规物体的叠加图像和没有叠加不合规物体的第二图像,并将第一图像和叠加不合规物体的叠加图像以及没有叠加不合规物体的第二图像一起作为样本图像。

s504,基于样本图像对初始的检测模型进行训练,得到检测模型。

其中,上述各样本图像均标注质量量化值,每帧样本图像均标注一个质量量化值。标注数据的命名方式为“图像原名称”_“分数值”.png,通过遍历标注后数据的根目录,生成标签文件list,标签文件list中每行代表一个图像,存放方式为:图像路径、空格、标签(即质量量化值)。同时在训练检测模型之前,也可以设置检测模型的相关参数,可以通过修改检测模型的solover.prototxt来进行,同时可以为检测模型设置学习率base_lr:0.0001,梯度下降中学习率变化方式为lr_policy:“inv”,gamma:0.0001,power:0.75,momentum:0.9,权重衰减系数weight_decay为:0.0002。设置好检测模型的相关参数之后,可以通过运行命令:/cafferoot/caffetrain--solver=./solver.prototxt-gpuall2>&1|tee./log/trainlog_date.log,对初始检测模型进行训练。

具体的,计算机设备在得到样本图像之后,可以先对各样本图像进行重采样,将各样本图像重采样到同一尺寸,例如可以是400×320像素,之后可以将每帧样本图像均输入至初始的检测模型,得到每帧样本图像对应的预测质量量化值,并计算每帧样本图像的预测质量量化值和对应的标注质量量化值之间的损失,并将损失作为损失函数的值,并利用该损失函数的值对初始检测模型进行训练,得到训练好的检测模型。其中,损失可以是预测质量量化值和标注质量量化值之间的误差、方差、范数等;在训练检测模型时,当检测模型的损失函数的值小于预设的阈值时,或者当损失函数的和值基本稳定时(即不再发生变化时),则可以确定检测模型已经训练好,否则还要继续训练,当训练好时可以固定检测模型的参数,便于下一步使用。

训练完毕后,通过查看log文件中验证集的情况,来挑选检测模型,并通过预先设置测试集,该测试集中包括多个样本图像,并利用该测试集验证检测模型的准确度,确定模型的泛化性能。

需要说明的是,在对上述定位模型进行训练时,可以获取样本场所的外部环境的样本图像,并基于样本图像对初始的定位模型进行训练,得到定位模型。这里定位模型的样本图像可以和上述检测模型的样本图像相同,在将样本图像输入至初始定位模型之前,也可以将各样本图像重采样到同一大小,例如可以是512×512像素,同时这里可以对各样本图像上的不合规物体所在的框位置信息和类别进行标注,标注后将生成对应的xml文件,标注中xml内记录了不合规物体的框位置信息和类别标签,并根据标注数据生成对应的lmdb数据,首先通过遍历原始图像文件夹,标注结果xml文件夹,获取到配对的原始图路径、标注结果图路径并进行保存,每一行代表一个图片,并按10:1的比例将数据集分为训练集和验证集;其次,配置lmdb脚本生成文件中的路径,调用caffe中的create_annoset.py生成lmdb图像文件;接着可以配置定位模型的相关参数,例如设置基本学习率率base_lr:0.001,权重衰减系数weight_decay=0.0005,梯度下降中学习率变化方式lr_policy:“step”,stepsize:10000,gamma:0.1,momentum:0.5,max_iter:200000;通过参照caffe中的ssd_pascal.py对相关参数进行修改,之后可以运行命令pythonssd_pascal.py即可对初始定位模型进行训练,训练后可以通过log文件来挑选效果好的模型,并在测试集上进行测试。

在具体训练定位模型时,可以将样本图像输入至初始定位模型,得到不合规物体的预测框位置信息和预测类别,并计算预测框位置信息和标注框位置信息之间的第一损失以及预测类别和标注类别之间的第二损失,并将第一损失作为第一损失函数的值,将第二损失作为第二损失函数的值,利用第一损失函数的值和第二损失函数的值的和值、均值、加权和值等对初始定位模型进行训练,得到训练好的定位模型。其中,这里的损失可以是预测框位置信息和标注框位置信息之间的误差、方差、范数等,以及可以是预测类别和标注类别之间的误差、方差、范数等;在训练定位模型时,当定位模型的损失函数的值小于预设的阈值时,或者当损失函数的和值基本稳定时(即不再发生变化时),则可以确定定位模型已经训练好,否则还要继续训练,当训练好时可以固定定位模型的参数,便于下一步使用。

另外,上述检测模型和定位模型的损失函数均可以是softmaxwithloss函数。上述通过在不同时间段和不同天气状况下采集样本图像,以及在不包含不合规格物体的样本图像上随机添加不合规物体,这样可以扩充样本图像,达到均衡样本图像的目的,从而可以使最终利用该均衡的样本图像训练的检测模型和定位模型更加准确。

本实施例提供的图像检测方法,可以获取样本场所的外部环境的样本图像,并基于样本图像对初始的检测模型进行训练,得到检测模型。在本实施例中,由于检测模型是利用已标注质量量化值的样本图像进行训练得到的,因此得到的检测模型是比较准确的,进而在利用该准确的检测模型对外部环境是否合规进行检测时,得到的检测结果也是比较准确的。

应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图6所示,提供了一种图像检测装置,包括:获取模块10、确定模块11和定位模块12,其中:

获取模块10,用于获取目标场所的外部环境的视频图像;

确定模块11,用于将视频图像输入至检测模型,得到外部环境的检测结果;该检测结果用于表征外部环境是否合规;

定位模块12,用于若检测结果为外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。

关于图像检测装置的具体限定可以参见上文中对于图像检测方法的限定,在此不再赘述。

在另一个实施例中,提供了另一种图像检测装置,上述视频图像包括n个视频帧,上述确定模块11可以包括检测单元、对比单元和第一确定单元,其中:

检测单元,用于将n个视频帧输入至检测模型,得到每个视频帧对应的质量量化值;该质量量化值用于表征对应的视频帧中外部环境合规的概率;

对比单元,用于将每个视频帧对应的质量量化值和预设的质量量化值阈值进行对比,得到对比结果;

第一确定单元,用于根据对比结果确定检测结果。

可选的,上述第一确定单元,具体用于若n个视频帧中存在连续的m个第一视频帧时,确定检测结果为外部环境不合规;其中,第一视频帧为质量量化值小于质量量化值阈值的视频帧;m小于等于n。

在另一个实施例中,提供了另一种图像检测装置,上述视频图像包括n个视频帧,上述定位模块12可以包括定位单元和第二确定单元,其中:

定位单元,用于将n个视频帧输入至定位模型,得到每个视频帧的外部环境中不合规物体的位置和类别;

第二确定单元,用于根据每个视频帧的外部环境中不合规物体的位置和类别,得到外部环境中不合规物体的位置和类别。

可选的,上述第二确定单元,具体用于若n个视频帧中存在连续的p个第二视频帧时,将任一第二视频帧的外部环境中不合规物体的位置和类别作为外部环境中不合规物体的位置和类别;每个第二视频帧中不合规物体的位置和类别均相同;p小于等于n。

在另一个实施例中,提供了另一种图像检测装置,在上述实施例的基础上,上述装置还可以包括训练模块,该训练模块包括获取单元和训练单元,其中:

获取单元,用于获取样本场所的外部环境的样本图像;

训练单元,用于基于样本图像对初始的检测模型进行训练,得到检测模型。

可选的,上述获取单元,具体用于对样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像;第一图像包含的外部环境中存在不合规物体,第二图像包含的外部环境中不存在不合规物体;对第一图像进行截取处理,得到不合规物体的图像;将不合规物体的图像叠加至多个第二图像中的部分第二图像中,得到多个叠加图像;将多个第一图像、多个叠加图像以及未叠加不合规物体的图像的第二图像作为样本图像。

关于图像检测装置的具体限定可以参见上文中对于图像检测方法的限定,在此不再赘述。

上述图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:

获取目标场所的外部环境的视频图像;

将视频图像输入至检测模型,得到外部环境的检测结果;该检测结果用于表征外部环境是否合规;

若检测结果为外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将n个视频帧输入至检测模型,得到每个视频帧对应的质量量化值;该质量量化值用于表征对应的视频帧中外部环境合规的概率;

将每个视频帧对应的质量量化值和预设的质量量化值阈值进行对比,得到对比结果;

根据对比结果确定检测结果。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

若n个视频帧中存在连续的m个第一视频帧时,确定检测结果为外部环境不合规;其中,第一视频帧为质量量化值小于质量量化值阈值的视频帧;m小于等于n。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将n个视频帧输入至定位模型,得到每个视频帧的外部环境中不合规物体的位置和类别;

根据每个视频帧的外部环境中不合规物体的位置和类别,得到外部环境中不合规物体的位置和类别。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

若n个视频帧中存在连续的p个第二视频帧时,将任一第二视频帧的外部环境中不合规物体的位置和类别作为外部环境中不合规物体的位置和类别;每个第二视频帧中不合规物体的位置和类别均相同;p小于等于n。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取样本场所的外部环境的样本图像;

基于样本图像对初始的检测模型进行训练,得到检测模型。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

对样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像;第一图像包含的外部环境中存在不合规物体,第二图像包含的外部环境中不存在不合规物体;

对第一图像进行截取处理,得到不合规物体的图像;

将不合规物体的图像叠加至多个第二图像中的部分第二图像中,得到多个叠加图像;

将多个第一图像、多个叠加图像以及未叠加不合规物体的图像的第二图像作为样本图像。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

获取目标场所的外部环境的视频图像;

将视频图像输入至检测模型,得到外部环境的检测结果;该检测结果用于表征外部环境是否合规;

若检测结果为外部环境不合规,则将外部环境的视频图像输入至定位模型,得到外部环境中不合规物体的位置和类别。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将n个视频帧输入至检测模型,得到每个视频帧对应的质量量化值;该质量量化值用于表征对应的视频帧中外部环境合规的概率;

将每个视频帧对应的质量量化值和预设的质量量化值阈值进行对比,得到对比结果;

根据对比结果确定检测结果。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

若n个视频帧中存在连续的m个第一视频帧时,确定检测结果为外部环境不合规;其中,第一视频帧为质量量化值小于质量量化值阈值的视频帧;m小于等于n。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将n个视频帧输入至定位模型,得到每个视频帧的外部环境中不合规物体的位置和类别;

根据每个视频帧的外部环境中不合规物体的位置和类别,得到外部环境中不合规物体的位置和类别。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

若n个视频帧中存在连续的p个第二视频帧时,将任一第二视频帧的外部环境中不合规物体的位置和类别作为外部环境中不合规物体的位置和类别;每个第二视频帧中不合规物体的位置和类别均相同;p小于等于n。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取样本场所的外部环境的样本图像;

基于样本图像对初始的检测模型进行训练,得到检测模型。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

对样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像;第一图像包含的外部环境中存在不合规物体,第二图像包含的外部环境中不存在不合规物体;

对第一图像进行截取处理,得到不合规物体的图像;

将不合规物体的图像叠加至多个第二图像中的部分第二图像中,得到多个叠加图像;

将多个第一图像、多个叠加图像以及未叠加不合规物体的图像的第二图像作为样本图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。


技术特征:

1.一种图像检测方法,其特征在于,所述方法包括:

获取目标场所的外部环境的视频图像;

将所述视频图像输入至检测模型,得到所述外部环境的检测结果;所述检测结果用于表征所述外部环境是否合规;

若所述检测结果为所述外部环境不合规,则将所述外部环境的视频图像输入至定位模型,得到所述外部环境中不合规物体的位置和类别。

2.根据权利要求1所述的方法,其特征在于,所述视频图像包括n个视频帧,所述将所述视频图像输入至检测模型,得到所述外部环境的检测结果,包括:

将所述n个视频帧输入至检测模型,得到每个所述视频帧对应的质量量化值;所述质量量化值用于表征对应的视频帧中所述外部环境合规的概率;

将每个所述视频帧对应的质量量化值和预设的质量量化值阈值进行对比,得到对比结果;

根据所述对比结果确定所述检测结果。

3.根据权利要求2所述的方法,其特征在于,所述根据所述对比结果确定所述检测结果,包括:

若所述n个视频帧中存在连续的m个第一视频帧时,确定所述检测结果为所述外部环境不合规;其中,所述第一视频帧为质量量化值小于所述质量量化值阈值的视频帧;所述m小于等于n。

4.根据权利要求1所述的方法,其特征在于,所述视频图像包括n个视频帧,所述将所述外部环境的视频图像输入至定位模型,得到所述外部环境中不合规物体的位置和类别,包括:

将所述n个视频帧输入至定位模型,得到每个所述视频帧的所述外部环境中不合规物体的位置和类别;

根据每个所述视频帧的所述外部环境中不合规物体的位置和类别,得到所述外部环境中不合规物体的位置和类别。

5.根据权利要求4所述的方法,其特征在于,所述根据每个所述视频帧的所述外部环境中不合规物体的位置和类别,得到所述外部环境中不合规物体的位置和类别,包括:

若所述n个视频帧中存在连续的p个第二视频帧时,将任一所述第二视频帧的外部环境中不合规物体的位置和类别作为所述外部环境中不合规物体的位置和类别;每个所述第二视频帧中不合规物体的位置和类别均相同;所述p小于等于n。

6.根据权利要求1所述的方法,其特征在于,所述检测模型的训练方法包括:

获取样本场所的外部环境的样本图像;

基于所述样本图像对初始的检测模型进行训练,得到所述检测模型。

7.根据权利要求6所述的方法,其特征在于,所述获取样本场所的外部环境的样本图像,包括:

对所述样本场所的外部环境进行图像采集,得到多个第一图像和多个第二图像;所述第一图像包含的外部环境中存在不合规物体,所述第二图像包含的外部环境中不存在不合规物体;

对所述第一图像进行截取处理,得到不合规物体的图像;

将所述不合规物体的图像叠加至所述多个第二图像中的部分第二图像中,得到多个叠加图像;

将所述多个第一图像、所述多个叠加图像以及未叠加所述不合规物体的图像的第二图像作为所述样本图像。

8.一种图像检测装置,其特征在于,所述装置包括:

获取模块,用于获取目标场所的外部环境的视频图像;

确定模块,用于将所述视频图像输入至检测模型,得到所述外部环境的检测结果;所述检测结果用于表征所述外部环境是否合规;

定位模块,用于若所述检测结果为所述外部环境不合规,则将所述外部环境的视频图像输入至定位模型,得到所述外部环境中不合规物体的位置和类别。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种图像检测方法、装置、计算机设备和存储介质。所述方法包括:获取目标场所的外部环境的视频图像;将所述视频图像输入至检测模型,得到所述外部环境的检测结果;所述检测结果用于表征所述外部环境是否合规;若所述检测结果为所述外部环境不合规,则将所述外部环境的视频图像输入至定位模型,得到所述外部环境中不合规物体的位置和类别。采用本方法能够提高对外部环境检查的实时性,也可以节省人力成本。

技术研发人员:周康明;王庆峰
受保护的技术使用者:上海眼控科技股份有限公司
技术研发日:2020.01.19
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-45810.html

最新回复(0)