图像处理方法、装置、图像处理设备及存储介质与流程

专利2022-06-29  63


本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、图像处理设备及存储介质。



背景技术:

随着人工智能的发展,图像识别技术作为人工智能的重要研究方向之一被广泛应用在图像处理领域中。比如车牌识别、无人机巡检项目中的自动判片等。在无人机巡检项目的自动判片是通过人工智能代替人工的方式读取无人机拍好上传的图像,并调用相应的图像检测模型来识别图像中的一些缺陷并进行分类和标记。

目前,在无人机的自动判片应用中,图像处理设备一般包括多个图像处理器,每个图像处理器指定运行一种检测模型,在图像处理设备初始化时,所有图像处理器对应的检测模型开始运行。当需要对待检测图像进行检测时,确定检测该待检测图像需要的检测模型,并将待检测图像传输至运行该检测模型的图像处理器以进行图像检测。这样一来,一旦某个图像处理器发生故障,则该图像处理器绑定的检测模型将停止运行,需要该检测模型检测的图像将不能被检测或者通过其他模型检测,如此降低了图像处理设备的容错性,从而导致图像处理准确度受到影响。因此,在图像处理领域中,如何准确地进行图像处理成为当今研究的热点问题。



技术实现要素:

本发明实施例提供了一种图像处理方法、装置、图像处理设备及存储介质,可以提高图像处理的准确性。

一方面,本发明实施例提供了一种图像处理方法,包括:

接收待检测图像,并获取所述待检测图像对应的目标检测模型;

在映射表中检测与所述目标检测模型绑定的目标图像处理器,所述映射表记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或者多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签训练得到的;

若检测得到目标图像处理器,则将所述待检测图像传输给所述目标图像处理器,以通过在所述目标图像处理器中运行所述目标检测模型对所述待检测图像进行缺陷检测。

一方面,本发明实施例提供了一种图像处理装置,包括:

接收单元,用于接收待检测图像;

获取单元,用于获取所述待检测图像对应的目标检测模型;

处理单元,用于在映射表中检测与所述目标检测模型绑定的目标图像处理器,所述映射表记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或者多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签训练得到的;

传输单元,用于若检测得到目标图像处理器,则将所述待检测图像传输给所述目标图像处理器,以通过在所述目标图像处理器中运行所述目标检测模型对所述待检测图像进行缺陷检测。

一方面,本发明实施例提供了一种图像处理设备,其特征在于,包括:处理器,适于实现一条或多条指令;以及,

计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如下步骤:

接收待检测图像,并获取所述待检测图像对应的目标检测模型;

在映射表中检测与所述目标检测模型绑定的目标图像处理器,所述映射表记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或者多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签训练得到的;

若检测得到目标图像处理器,则将所述待检测图像传输给所述目标图像处理器,以通过在所述目标图像处理器中运行所述目标检测模型对所述待检测图像进行缺陷检测。

一方面,本发明实施例提供了一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如上述图像处理方法。

本发明实施例中,当图像处理设备接收到待检测图像时,确定对待检测图像进行检测所需的目标检测模型,然后在映射表中查找与目标检测模型绑定的目标图像处理器,映射表中记录了多个图像处理器和多个检测模型的绑定关系,应当理解的,将图像处理器上运行的检测模型的情况记录到映射表中,可以节省查找与目标检测模型绑定的目标图像处理器的时间,从而可在一定程度上提高图像处理效率。在查找到目标图像处理器后,将待检测图像传输给目标图像处理器,由目标图像处理器通过运行目标检测模型对待检测图像进行缺陷检测。一个图像处理器中可运行任意一个检测模型,如此一来任意一个图像处理器发生故障,不会影响任意一个图像检测模型的运行,避免了待检测图像不能被识别或者被识别出错,提高了图像处理的准确性。

附图说明

为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理系统的结构示意图;

图2是本发明实施例提供的一种图像处理设备中各模块的交互示意图;

图3a是本发明实施例提供的一种动态调度目标检测模型的示意图;

图3b是本发明实施例提供的一种调度目标检测模型的示意图;

图3c是本发明实施例提供的一种动态调度目标检测模型的交互示意图;

图4是本发明实施例提供的一种图像处理方法的流程示意图;

图5是本发明实施例提供的另一种图像处理方法的流程示意图;

图6a是本发明实施例提供的一种确定目标检测模型的示意图;

图6b是本发明实施例提供的另一种确定目标检测模型的示意图;

图6c是本发明实施例提供的又一种确定目标检测模型的示意图;

图7是本发明实施例提供的一种图像处理装置的结构示意图;

图8是本发明实施例提供的一种图像处理设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例提供了一种图像处理方案,可以应用于智能制造业中的一些模型较多且每个模型的流量分布不均匀的应用场景中,比如无人机巡检场景。具体实现中,映射表中记录了多个图像处理器与多个检测模型之间的绑定关系,当图像处理设备接收到待检测图像时,获取所述待检测图像对应的目标检测模型;在映射表中检测与所述目标检测模型绑定的目标图像处理器,若检测到目标图像处理器,则将待检测图像传输给目标图像处理器,以通过在目标图像处理器中运行目标检测模型对所述待检测图像进行缺陷检测。一个图像处理器中可运行任意一个检测模型,如此一来任意一个图像处理器发生故障,不会影响任意一个图像检测模型的运行,避免了待检测图像不能被识别或者被识别出错,提高了图像处理的准确性。

基于上述的图像处理方案,本发明实施例提供了一种图像处理系统,参考图1,为本发明实施例提供的一种图像处理系统的结构示意图。图1所示的图像处理系统可包括图像采集设备101和图像处理设备102,其中,所述图像采集设备101用于采集待检测图像并将采集到的待检测图像传输给图像处理设备102。所述图像采集设备101可以独立的设备,也可以是配置于图像处理设备102中的设备。所述图像处理设备102用于接收图像采集设备101传输的待检测图像,并对所述待检测图像进行缺陷检测。

在一个实施例中,所述图像处理设备102中可存储有多个检测模型,每个检测模型用于检测一种或者多种缺陷,比如在无人机巡检应用中,一个检测模型可以用于检测以下缺陷中的一种或多种:输电通道危险源、输电线路铁塔的绝缘子爆裂、防震锤缺失、销钉缺失等。可选的,每个检测模型可以是基于相应的训练图像和所述训练图像对应的缺陷监督标签训练得到的。其中,由于每个检测模型能够检测的缺陷不尽相同,在对每个检测模型进行训练时,选择一些包括该模型能够检测出的缺陷的图像作为该检测模型相应的训练图像。比如一个检测模型用于检测输电线路铁塔的绝缘子爆裂缺陷,则选择一些存在绝缘子爆裂缺陷的图像作为该检测模型的训练图像;再如,一个检测模型用于检测输电通道危险源缺陷,则可以选择一些存在输电通道危险源缺陷的图像作为该检测模型对应的训练图像。

在一个实施例中,图1所示的图像处理系统可包括模型训练模块1021,该模型训练模块1021可以位于图像处理设备102中,也可以独立于图像处理设备102。本发明实施例中以模型训练模块1021位于图像处理设备102中为例。模型训练模块1021用于对各个检测模型进行训练,具体来说,模型训练模块1021基于每个检测模型对应的训练图像以及缺陷监督标签对每个检测模型进行训练,得到训练完成的检测模型。

在一个实施例中,所述图像处理设备102还可以包括人工智能管理模块1022,人工智能管理模块1022与模型训练模块1021连接。模型训练模块1021将训练完成的多个检测模型传输给人工智能管理模块1021,由工人智能管理模块1021管理和调度各个检测模型。

在一个实施例中,所述图像处理设备102中还可以包括多个图像处理器1023(也可以称为显卡),图像处理器是一种专门在个人电脑、游戏机和一些移动设备等设备上做图像和图形相关运算工作的微处理器,在本发明实施例中,每个图像处理器1023可以用于运行任意一种或多种检测模型,以通过运行检测模型实现缺陷检测。

在一个实施例中,所述图像处理设备102还包括数据收集模块1024,数据收集模块1024可以与图像采集设备101连接,图像处理设备102通过数据收集模块1024接收图像采集设备101传输的待检测图像。

在一个实施例中,所述图像处理设备102还可以包括匹配模块1025,所述匹配模块1025可以与数据收集模块1024连接,所述数据收集模块1024接收到待检测图像之后,可以将待检测图像传输至匹配模块1025,匹配模块1025可以基于图像采集设备采集所述待检测图像时的位置信息确定对检测图像进行检测所需的目标检测模型。

在一个实施例中,图像处理设备还可以包括图像处理器调度模块1026,图像处理器调度模块1026可以与人工智能模块1022和图像处理器1023相连接,

综上所述,上述图像处理系统包括的图像采集设备、图像处理设备以及图像处理设备包括的各个模块之间的交互可以参考图2所示,具体地:

模型训练模块1021训练得到多个检测模型,并将多个检测模块传输给人工智能管理模块1022;图像采集设备101采集到待检测图像后,传输给图像处理设备中的数据收集模块1024;数据收集模块1024将待检测图像传输至匹配模块1025,匹配模块1025对待检测图像进行匹配处理,得到待检测图像对应的目标检测模块,然后通知人工智能管理模块1022,由人工智能管理模块1022进行动态调度,将目标检测模型调度到目标图像处理器上运行以实现对待检测图像的缺陷检测。可选的,图像处理设备还可以包括图像缺陷类型分类模块,人工智能模块动态调度检测模型对待检测图像进行缺陷检测后,将检测结果传输给图像缺陷类型分类模块,以对图像进行分类整理。

在一个实施例中,人工智能模块1022在动态调度目标检测模型进行缺陷检测时的示意图可参考图3a所示,具体可包括:

在图3a中,图像处理设备102包括的匹配模块1025确定出目标检测模型之后,通知人工智能管理模块1022;人工智能模块1022首先查找映射表,检测映射表中是否存在与目标检测模型绑定的目标图像处理器;如有,则将待检测图像传输至目标图像处理器,以通过目标图像处理中运行的目标检测出模型对待检测图像进行缺陷检测;如果所述人工智能管理模块1022在映射表表中未查找到与目标检测模型绑定的目标图像处理器,则通知图像处理器调度模块1026根据各个图像处理器的运行情况,从多个图像处理器中选择与目标检测模型绑定的目标图像处理器,并将目标检测模块调度到目标图像处理器中运行;进一步地,将目标检测模型与目标图像处理器进行绑定,并将两者之间的绑定关系记录到映射表中,以便于如果有需要目标检测模型检测的新的待检测图像,则可以根据映射表中的记录直接将新的待检测图像传输至目标图像处理器中检测。

在现有技术中,预先固定了一个检测模型和一个图像处理器的绑定关系,在图像处理设备初始化时,将所有检测模型加载到其绑定的图像处理器中运行,当需要调用哪个检测模型进行缺陷检测时,就将待检测图像传输给哪个图像处理器。参考图3b,为现有技术中待检测图像的缺陷检测示意图。在图3b中,预先设定一个检测模型对应的一个图像处理器,比如图像处理器1上运行检测模型1,图像处理器上运行检测模型2,图像处理器3上运行检测模型3,目标图像处理器上运行目标检测模型;当确定出对待检测图像进行缺陷检测所需的目标检测模型后,将待检测图像传输给目标图像处理器。由于每个图像处理器上运行的检测模型是固定的,但是多个待检测图像所需的检测模型是不固定的,可能出现需要使用检测模型1检测的待检测图像为100个,需要检测模型2和检测模型3检测的图像远小于100。这样一来,导致资源使用不均衡,从而影响图像处理效率。并且上述图像处理方法也导致图像处理设备的容错性较差,比如绑定某个检测模型的图像处理器发生故障,将直接导致该检测模型不能继续使用,后续需要使用该检测模型进行检测的待检测图像将无法被检测或者检测出错,从而降低了图像处理器的准确性。

在一个实施例中,图3a中各个模块之间的交互图可参考图3c所示。人工智能管理模块1022如果在映射表中的检测结果为检测到目标检测模型绑定的目标图像处理器,该检测结果可以表示为如下“[映射表中存在与目标检测模块绑定的目标图像处理器==true]”,则找到该目标图像处理器,将待检测图像传输给该目标图像处理器;人工智能管理模块1022如果在映射表中的检测结果为未检测到目标检测模型绑定的目标图像处理器,该检测结果可以表示为“[映射表中存在与目标检测模块绑定的目标图像处理器==false]”,则人工智能管理模块1022通知图像处理器调度模块1026为目标检测模型分配目标图像处理器,分配完成后,将目标检测模型与目标图像处理器的绑定关系保存到映射表中。

经实践发现,现有技术与本发明实施例所示的图像处理方案发现:现有的固定图像处理器与检测模型的绑定关系下,图像处理器的数量与检测模型的总数量正相关,也即有多少个检测模型就需要多少图像处理器;本发明实施例所述的图像处理方法中,将图像处理器和检测模型进行动态绑定,使得图像处理器的数量与正在运行的检测模型的数量正相关,也就是说需要启动运行的图像处理器的数量说着正在运行的检测模型的数量变化而变化,无需将所有图像处理器均启动运行,减少了同时运行的图像处理器的数量,进一步减少图像处理设备的运行开销。

与现有技术相比,在本发明实施例的图像处理系统中,多个图像处理器和多个检测模型的动态绑定关系被记录在映射表中,当接收到待检测图像并确定出待检测图像对应的目标检测模型时,在映射表中检测与目标检测模型绑定的目标图像处理器;如果检测到目标图像处理器,则将待检测图像传输给目标图像处理器,以使得目标图像处理器通过运行目标检测模型对待检测图像进行缺陷检测。不固定图像处理器和某一个或多个检测模型之间的绑定关系,这样一来,即使其中任意一个图像处理器发生故障,所有的检测模型可以动态更换到与其他图像处理设备绑定,提升了图像处理设备的容错性。另外。由于图像处理器和检测模型是动态绑定的,避免了一个图像处理器运行较多检测模型,另外一个图像处理器空闲的情况出现,可在一定程度上均衡使用资源,提高图像处理效率。

基于上述的图像处理系统,本发明实施例提供了一种图像处理方法,参考图4,为本发明实施例提供的一种图像处理方法的流程示意图。图4所示的图像处理方法可由图像处理设备执行,所述图像处理设备可以是图1所示的图像处理系统中的图像处理设备,其可包括以下任意一个或多个模块:数据收集模块、匹配模块、人工智能管理模块、图像处理器调度模块、模型训练模块等。具体地,图4所示的图像处理方法可以由图像处理设备的处理器调度各个模块执行。图4所示的图像处理方法可包括如下步骤:

步骤s401、接收待检测图像,并获取所述待检测图像对应的目标检测模型。

其中,待检测图像是由图像采集设备采集到的需要进行缺陷检测的图像,所述图像采集设备可以是配置于图像处理设备中的设备比如图像采集设备为图像处理设备中的图像传感器;或者,所述图像采集设备也可以是独立于图像处理设备的任意一种设备,比如照相机或者摄像机等设备;又或者,所述图像采集设备还可以是配置于其他终端设置的中图像传感器,比如无人机中的图像传感器、无人驾驶车辆中的图像传感器等等。

在一个实施例中,待检测图像中可能存在的缺陷实际上是指待检测对象中拍摄对象可能存在的缺陷,比如待检测图像为无人机对两个信号塔之间的输电通道进行拍摄得到的,则拍摄对象为信号塔之间的输电通道,待检测图像可能存在的缺陷实际上是指两个信号塔之间的输电通道可能存在的缺陷,比如输电通道存在危险源(或者说存在危险障碍物,比如山火/危险车辆/异物识别等);再如,待检测图像为无人机对信号塔之间输电线路上的绝缘子进行拍摄得到的,则拍摄对象为绝缘子,待检测图像可能存在的缺陷可以包括绝缘子爆裂。

在一个实施例中,待检测图像对应的目标检测模型是指能够用于检测出待检测图像可能包括的缺陷的检测模型。图像处理设备中可存储了多个检测模型,每个检测模型可以用于检测一种或多种缺陷。每个检测模型都是基于训练图像集以及训练图像集中每张训练图像对应的缺陷监督标签训练得到的,其中,为了保证检测模型的准确性,训练图像集中包括的训练图像中可以包括存在缺陷的正样本训练图像和不存在缺陷的负样本训练图像,正样本训练图像对应的缺陷监督标签用于表示正样本训练图像中包括的缺陷,比如绝缘子爆裂、防震锤缺失等;负样本训练图像对应的缺陷标签为不存在缺陷。在其他实施例中,为了节省训练模型的成本,也可以只选用正样本训练图像来训练每个检测模型,也即每个检测模型对应的训练图像集中只包括正样本训练图像。应当理解的,每个检测模型能够检测的缺陷不同,因此,对每个检测模型进行训练时所使用的训练图像集也不相同。

可选的,步骤s401中所述获取待检测图像对应的目标检测模型,包括:预测待检测图像包括的缺陷类型;从多个检测模型中查找可检测该缺陷类型的检测模型作为目标检测模型。

其中,所述预测待检测图像包括的缺陷类型的实施方式可以是:确定拍摄所述待检测图像时图像采集设备所处的目标拍摄位置;根据预先设置的图像采集设备的拍摄位置和缺陷类型的对应关系获取所述目标拍摄位置对应的缺陷类型。比如,预先设置的图像采集设备的拍摄位置和缺陷类型的对应关系为:如果图像采集设备处于能够拍摄到信号塔的绝缘子的拍摄位置处,对应的缺陷可以为绝缘子爆裂;如果图像采集设备处于能够拍摄到信号塔之间的输电通道的拍摄位置处,对应的缺陷可以为输电通道危险源;如果图像采集设备处于能够拍摄到输电线路上防震锤的拍摄位置处,对应的缺陷可以为防震锤缺失。基于上述假设,如果检测到拍摄待检测图像时图像采集设备所处的目标拍摄位置能够拍摄到输电通道,则预测待检测图像包括的缺陷类型为输电通道危险源。

可选的,如果从多个检测模型中查找到一个可检测该缺陷类型的检测模型,则可直接将查找到的检测模型作为目标检测模型;如果从多个检测模型中查找到至少两个可检测该种缺陷类型的检测模型,则可以根据至少两个检测模型运行所需的运行资源或者至少两个检测模型能够检测的缺陷类型的数量从至少两个检测模型中选择一个目标检测模型。比如,从至少两个检测模型中选择所需运行资源最少的一个作为目标检测模型,这样可以节省图像处理设备的功耗开销;或者,从至少两个检测模型中选择能够检测的缺陷类型的数量最少的一个作为目标检测模型,这样可以提高缺陷检测的准确性。

步骤s402、在映射表中检测与目标检测模型绑定的目标图像处理器。

在一个实施例中,图像处理设备中存储的多个检测模型可以运行在多个图像处理器上,所述图像处理器是一种专门在个人电脑、游戏机和一些移动设备等设备上做图像和图形相关运算工作的微处理器。本发明实施例所述的多个图像处理器可以配置于图像处理设备中;或者,也可以是配置于独立于图像处理器设备的其他终端设备中;再或者,多个图像处理器中有一部分可以配置于图像处理设备中,另一部分配置于独立于图像处理设备的其他终端设备中。本发明实施例中在下面的描述中以多个图像处理器均配置于图像处理设备中为例进行描述。

任意一个图像处理器可以运行一个或多个检测模型,具体实现中,可以依据图像处理器的运行能力以及每个检测模型所需的运行能力来确定一个图像处理器上可同时运行哪些检测模型,并确定每个图像图像处理器上运行的检测模型和相应图像处理器是绑定关系,将各个图像处理器和检测模型的绑定关系存储至映射表中,以便于后续从映射表中查找任意一个检测模型对应的图像处理器。

本发明实施例中,在图像处理设备初始化时,每个图像处理器上均不运行任何一个检测模型,只有当图像处理设备接收到需要检测的图像时,才会确定需要检测的图像对应的检测模型,然后为该检测模型调度一个图像处理器进行绑定,以使得该检测模型在该图像处理器上运行,并且,将该检测模型与该图像处理器的绑定关系记录到映射表中,后续所有需要该检测模型检测的图像均会被传输至该图像处理器上。随着时间的推移,不断接收到待检测图像,图像处理设备的路由记录中记录了多个图像处理器和多个检测模型之间的绑定关系。

基于上述,图像处理设备在获取到待检测图像对应的目标检测模型之后,可先从映射表中查找是否映射表中已经记录了与目标检测模型绑定的目标图像处理器,所述目标图像处理器可以是多个图像处理器中与目标检测模型绑定的任意一个。如果映射表中已经记录了与目标检测模型绑定的目标图像处理器,则执行步骤s403,也即图像处理设备可以直接将接收到的待检测图像传输给目标图像处理器;如果映射表中未记录与目标检测模型绑定的目标图像处理器,则可以从多个图像处理器中依据各个图像处理器的模型绑定情况选择可以与目标检测模型绑定的目标图像处理器,然后将目标检测模型与目标图像处理器进行绑定,并将该绑定关系记录到映射表中。

其中,各个图像处理器的模型绑定情况可以包括相应图像处理器可以绑定检测模型的数量以及已经绑定的检测模型的数量。具体实现中,可以根据图像处理器的模型绑定情况确定各个图像处理器还可以绑定的检测模型的数量,选择还可以绑定的检测模型的数量最多的图像处理器作为目标检测模型对应的目标图像处理器。可选的,针对任意一个图像处理器来说,其可绑定的检测模型的数量与已经绑定的检测模型的数量之差即为该图像处理器还可以绑定的检测模型的数量。

步骤s403、若检测得到目标图像处理器,则将待检测图像传输给目标图像处理器,以通过在目标图像处理器中运行目标检测模型对待检测图像进行缺陷检测。

在一个实施例中,如果图像处理设备在映射表中查找到与目标检测模型匹配的目标图像处理器,则将待检测图像传输给目标图像处理器,由目标图像处理器运行目标检测模型来对待检测图像进行缺陷检测,并在检测完成后可以输出待检测图像对应的缺陷标签。可选的,图像处理设备可以依旧各个待检测图像对应的缺陷标签为待检测图像进行分类等后续处理。

本发明实施例中,当图像处理设备接收到待检测图像时,确定对待检测图像进行检测所需的目标检测模型,然后在映射表中查找与目标检测模型绑定的目标图像处理器,映射表中记录了多个图像处理器和多个检测模型的绑定关系,应当理解的,将图像处理器上运行的检测模型的情况记录到映射表中,可以节省查找与目标检测模型绑定的目标图像处理器的时间,从而可在一定程度上提高图像处理效率。在查找到目标图像处理器后,将待检测图像传输给目标图像处理器,由目标图像处理器通过运行目标检测模型对待检测图像进行缺陷检测。一个图像处理器中可运行任意一个检测模型,如此一来任意一个图像处理器发生故障,不会影响任意一个图像检测模型的运行,避免了待检测图像不能被识别或者被识别出错,提高了图像处理的准确性。

基于上述的图像处理方法,本发明实施例还提供了另外一种图像处理方法,参考图5,为本发明实施例提供的另一种图像处理方法的流程示意图。图5所示的流程示意图可由图像处理设备执行,所述图像处理设备可以为图1所示的图像处理系统中的图像处理设备,其可包括以下任意一个或多个模块:数据收集模块、匹配模块、人工智能管理模块、图像处理器调度模块、模型训练模块等。具体地,图5所示的图像处理方法可以由图像处理设备的处理器调度各个模块执行。图5所示的图像处理方法可包括如下步骤:

步骤s501、接收待检测图像,并获取待检测图像对应的目标拍摄位置。

在一个实施例中,步骤s501包括的一些可行的实施方式可参考图4实施例中相应步骤的描述,在此不再赘述。

步骤s502、根据目标拍摄位置确定待检测图像对应的目标检测模型。

在一个实施例中,在对某个拍摄对象进行拍摄得到待检测图像之前,可以预先确定该拍摄对象可能出现缺陷的部位,然后调整图像采集设备使其能够拍摄包括这些可能出现缺陷的部位的图像。这样一来,不用对拍摄对象的所有部位进行拍摄便可达到缺陷检测的目的,减少了需要检测的待检测图像的数量,从而减少了图像处理设备的功耗开销,并且可以提高缺陷检测效率。基于此,结合前述可知,每个检测模型用于识别一种或多种缺陷,步骤s502中所述图像处理设备根据目标拍摄位置确定待检测图像对应的目标检测模型,可包括:根据多个拍摄位置与多个缺陷类型的对应关系,获取所述目标拍摄位置对应的目标缺陷类型;从多个检测模型中选择与所述目标缺陷类型相匹配的检测模型作为目标检测模型。

举例来说,假设图像采集设备为无人机上的图像传感器,拍摄对象为多个输电线路的信号塔以及信号塔之间的输电通道。参考图6a,为本发明实施例提供的一种确定目标检测模型的示意图,在图6a中包括图像采集设备即无人机上的图像传感器,以及拍摄对象即多个信号塔以及信号塔之间的输电通道。假设预先确定了拍摄场景中信号塔的横担601、输电线上的防震锤602以及绝缘子603等部位容易出现缺陷,则可以预先设置图像采集设备能够拍摄到601、602、以及603的三个位置信息与缺陷类型的对应关系,具体实现中:拍摄位置a能够拍摄到601,601可能出现的缺陷为横担弯斜,横担弯斜对应的检测模型为模型a、拍摄位置b能够拍摄到602,602可能出现的缺陷为防震锤缺失,防震锤丢失对应的检测模型为模型b、拍摄位置c能够拍摄到603,603可能出现的缺陷为绝缘子爆裂,绝缘子爆裂对应的检测模型为模型c。在图6a中,如果目标拍摄位置为a,则根据上述拍摄位置与缺陷类型的对应关系,可得出目标待检测图像可能存在的缺陷为横担弯斜,则从多个检测模型中选择能够检测出横担弯斜的检测模型a作为目标检测模型。

在其他实施例中,在上述方法的基础上,图像处理设备还可以根据拍摄位置与缺陷类型的对应关系,以及缺陷类型与检测模型的对应关系,直接建立拍摄位置与检测模型之间的对应关系,这样一来,可以在一定程度上节省根据目标拍摄位置确定目标检测模型的时间。具体实现中,所述根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型,包括:遍历预设的多个检测模型与拍摄位置的对应关系;将与所述目标拍摄位置对应的检测模型确定为目标检测模型。

基于图6a中所述,图像处理设备根据拍摄位置与缺陷类型的对应关系,以及缺陷类型与检测模型的对应关系设置的拍摄位置与检测模型的对应关系可以为:拍摄位置a对应模型a、拍摄位置b对应模型b、拍摄位置c对应模型c;在获取到目标拍摄位置后,如果目标拍摄位置为a位置,则可根据上述的对应关系,快速地确定待检测图像对应的目标检测模型为模型a。

在上述两种实施方式中,可能会出现即使预先设置图像采集设备位于a、b或者c位置处进行拍摄,但是在拍摄过程中,由于外界因素的影响(比如大风)可能导致图像采集设备的位置与预先设置的位置有偏离,这样一来,采用上述的方法可能导致找不到与目标拍摄位置对应的目标检测模型,甚至导致缺陷检测失败。基于此,上述情况更适用于拍摄场景变化不大的场景中。

另一个实施例中,为了确保在更多的拍摄场景中进行缺陷检测,本发明实施例基于上述方法还提出了另一种根据目标拍摄位置确定待检测图像对应的目标检测模型的方式。具体实现中:预先存储多个拍摄位置范围与检测模型的对应关系,将所述目标拍摄位置与预设的拍摄位置范围进行匹配,得到相匹配的拍摄位置范围;根据拍摄位置范围与检测模型的对应关系,将所述相匹配的拍摄位置范围对应的检测模型确定为所述待检测图像对应的目标检测模型。其中,拍摄位置范围可以是根据图像采集设备的性能等因素设置的,所述拍摄位置范围可以是一个位置区间,也可以一个位置区域。简单来说,针对拍摄对象中可能出现缺陷的任意一个部位来说,设置图像采集设备在怎样的位置范围内能够拍摄到该部位,将这个位置范围作为该缺陷对应的拍摄位置范围;然后再基于检测该缺陷需要使用的检测模型,建立检测模型与拍摄位置范围之间的对应关系。

举例来说,参考图6b为本发明实施例提供的另一种确定目标检测模型的实施例,基于图6a中相同的假设,拍摄对象为输电线路的信号塔以及信号塔之间的输电通道,拍摄对象可能存在缺陷的部位可包括信号塔的横担601、输电线上的防震锤602以及绝缘子603等。假设经过预先测量和实验,确定出图像采集设备位于d位置到e位置之间的任意位置时,都可以采集到包括横担601的图像;同理的,图像采集设备位于f位置和g位置之间的任意位置时,都可以采集到包括输电线上的防震锤的图像,则可以设置拍摄位置范围(d,e)对应横担弯斜的检测模型(与上述相同,称为模型a),拍摄位置范围(f,g)对应防震锤丢失的检测模型(称为模型b)。此时,拍摄位置范围可以看做位置区间。

再如,假设图像采集设备位于包括d位置和e位置的一个半圆形区域内的任意位置都可以采集到包括横担的图像参考图6c中604所示,则可以设置半圆形区域604为一个拍摄位置范围,其对应的检测模型为模型a。此时,拍谁位置范围可以看做一个位置区域。

步骤s503、在映射表中检测与目标检测模型绑定的目标图像处理器。

在一个实施例中,映射表中记录每一个检测模型和图像处理器的绑定关系的形式可以为:{模型标记mtag,图像处理器地址addr,上一次调度时间time},其中,模型标记是用于标记模型的,可以是模型的名称或者模型的识别码等,上一次调度时间是指该模型最近一次被调度时间。

在一个实施例中,图像处理设备在确定出待检测图像对应的目标检测模型后,首先在映射表中查找目标图像处理器。可选的,图像处理设备在映射表中检测与目标检测模型绑定的目标处理器时遵循人工智能ai调度协议,所述ai调度协议包括了需要调度的目标检测模型的模型标记、当前调用时间以及调度超时时间,所述调度超时时间是指在映射表中查找了多长时间但仍为查找到目标图像处理器。比如,调度超时时间为5分钟,则指已经在映射表中查找了5分钟但仍未查找到目标图像处理器;在其他实施例中,图像处理设备也可以预先设置一个调度时间阈值,此时所谓调度超时时间是指已在路由记录中查找的时长与所述调度时间阈值之间的时长差,比如调度时间阈值为5分钟,已在映射表中查找的时长为8分钟,则超时调度时长即为3分钟。应当理解的,上述只是本发明实施例列举的两种调度超时时间的可能定义,在具体应用中,可以根据时间情况设置调度超时时间的定义。

在一个实施例中,ai调度协议可以表示为:{调度超时时间timeout,模型标记mtag,time:当前调用时间}。可选的,图像处理设备可以预先设置一个停止从映射表中调度目标图像处理器的截止时长,如果检测到ai调度协议中的调度超时时间大于或等于所述截止时长,则停止从所述映射表中查找目标图像处理器,此时可以从映射表中未检测到目标图像处理器。

步骤s504、若检测得到目标图像处理器,则将待检测图像传输给目标图像处理器,以通过在目标图像处理器中运行目标检测模型对待检测图像进行缺陷检测。

步骤s505、若在映射表中未检测得到目标图像处理器,则遍历每个图像处理器的模型绑定情况。

步骤s506、根据每个图像处理器的模型绑定情况从多个图像处理器中选择目标图像处理器,并将目标图像处理器与目标检测模型绑定。

步骤s507、将目标图像处理器与目标检测模型之间的绑定关系记录到映射表中。

在一个实施例中,图像处理器在执行步骤s506时可以依据图像处理器调配协议,所述图像处理器调配协议中可包括每个图像处理器绑定了多少个检测模型、各个图像处理器绑定的检测模型的超时时间以及图像处理器列表等中的一种或多种。其中,以各个图像处理器中的第一图像处理器为多个图像处理器中的任意一个,图像处理器调配协议中记录的第一图像传感器绑定的第一检测模型(第一检测模型可以为任意一个检测模型)的超时时间是指:当前时间与上一次调用第一图像传感器上绑定的检测模型进行缺陷检测的时间差。

可选的,图像处理器调配协议可以表示为如下形式:[mnum:各个图像处理器上绑定了多少个检测模型,list:图像处理器列表,time:各个图像处理器上绑定的检测模型的超时时间]。

在实际应用中可能会出现如下情况,一个图像处理器与一个检测模型建立了绑定关系后,在很长一段时间内图像处理设备未接收到需要该检测模型进行缺陷检测的图像,在这种情况下,为了避免该检测模型长时间占用该图像处理器,而导致其他检测模型可绑定的图像处理器选择较少,则可以设置一个时长阈值,如果根据图像处理器调配协议检测到任意一个图像处理器上绑定的检测模型的超时时间大于或等于该时长阈值时,则释放该图像处理器与检测模型的绑定关系。

在一个实施例中,图像处理设备在根据每个图像处理器的模型绑定情况从多个图像处理器中选择目标图像处理器的过程中,如果检测到某个图像处理器发生故障,则可以为该图像处理器添加故障标记,以便于后续在建立图像处理器和检测模型的绑定关系过程中,不遍历添加故障标记的图像处理器,可以提高建立绑定关系的效率。

在一个实施例中,对于步骤s504-步骤s507中包括的一些其他的可行的实施方式可参见图4实施例相关步骤的描述,在此不再赘述。

步骤s508、若检测到在时长阈值内未接收到与目标检测模型对应的新的待检测图像,则解除目标检测模型与所述目标图像处理器之间的绑定关系。

在一个实施例中,所述在时长阈值内未接收到与所述目标检测模型对应的新的待检测图像实际上可以认为目标图像处理器绑定的目标检测模型的超时时间大于或等于时长阈值,此时为了为其他检测模型在绑定图像处理器时提供更多的选择,可以释放目标图像处理器与目标检测模型之间的绑定关系。

本发明实施例中,当图像处理设备接收到待检测图像时,根据采集待检测图像时图像采集设备的目标拍摄位置确定对待检测图像进行检测所需的目标检测模型,然后在映射表中查找与目标检测模型绑定的目标图像处理器,映射表中记录了多个图像处理器和多个检测模型的绑定关系,应当理解的,将图像处理器上运行的检测模型的情况记录到映射表中,可以节省查找与目标检测模型绑定的目标图像处理器的时间,从而可在一定程度上提高图像处理效率。在查找到目标图像处理器后,将待检测图像传输给目标图像处理器,由目标图像处理器通过运行目标检测模型对待检测图像进行缺陷检测。如果未查找到目标处理器,则根据多个图像处理器的模型绑定情况从中选择一个目标图像处理器,并建立目标图像处理器与目标检测模型的绑定关系,将该绑定关系记录到映射表中,实现了动态更新映射表。同时,将待传输图像传输给目标图像处理器进行缺陷检测,一个图像处理器中可运行任意一个检测模型,如此一来任意一个图像处理器发生故障,不会影响任意一个图像检测模型的运行,避免了待检测图像不能被识别或者被识别出错,提高了图像处理的准确性。

基于上述的图像处理方法实施例的描述,本发明实施例还提供了一种图像处理方法的应用场景,下面以应用在无人机巡检的应用场景为例,应用场景图可如图6a所示,应用场景中包括图像采集设备和图像处理设备,假设图像采集设备为无人机,具体可以为无人机上的图像传感器。拍摄对象包括输电线路的信号塔以及信号塔之间的输电通道。假设图6a所述的拍摄对象包括的几个巡检点(也即前述的拍摄对象中可能存在缺陷的部位)可以为输电线路的信号塔上的横担601、输电线上的防震锤602以及绝缘子603。假设预先规定了拍摄位置与缺陷类型的对应关系,以及缺陷类型与检测模型的对应关系。具体地,在拍摄位置a对应的缺陷类型为横担弯斜、在拍摄位置b对应的缺陷类型为防震锤缺失、在拍摄位置c对应的缺陷类型为绝缘子爆裂;横担弯斜对应的检测模型为模型a、防震锤缺失对应的检测模型为模型b、绝缘子爆裂对应的检测模型为模型c。

假设图像采集设备在拍摄位置a点拍摄包括横担的待检测图像,并为待检测图像添加目标拍摄位置后传输给图像处理设备。图像处理设备获取待检测图像对应的目标拍摄位置,将目标拍摄位置与预先存储的多个拍摄位置与缺陷类型的对应关系进行匹配,确定目标拍摄位置与拍摄位置a相匹配,找到与拍摄位置a对应的缺陷类型为横担弯斜;进一步的,图像处理设备根据缺项类型与检测模型的对应关系确定出横担弯斜对应的检测模型为模型a,将模型a确定为与目标拍摄位置对应的目标检测模型,也可以说是与待检测图像对应的目标检测模型。

然后,图像处理设备在映射表中查找与目标检测模型绑定的目标图像处理器,如果查找到了目标图像处理器,则将待检测图像传输给目标图像处理器,以使得目标图像处理器运行目标检测模型来对待检测图像进行缺陷检测;如果为查找到目标图像处理器,则从多个图像处理器中选择一个图像处理器作为目标图像处理器,将其与目标检测模型进行绑定,并将待检测图像传输给目标图像处理器,以使得目标图像处理器运行目标检测模型来对待检测图像进行缺陷检测。最后,目标图像处理器对待检测图像进行缺陷检测后,可在图像处理设备的用户界面中输出待检测图像的缺陷标签。

本发明实施例中,当图像处理设备接收到待检测图像时,根据采集待检测图像时图像采集设备的目标拍摄位置确定对待检测图像进行检测所需的目标检测模型,然后在映射表中查找与目标检测模型绑定的目标图像处理器,映射表中记录了多个图像处理器和多个检测模型的绑定关系,应当理解的,将图像处理器上运行的检测模型的情况记录到映射表中,可以节省查找与目标检测模型绑定的目标图像处理器的时间,从而可在一定程度上提高图像处理效率。在查找到目标图像处理器后,将待检测图像传输给目标图像处理器,由目标图像处理器通过运行目标检测模型对待检测图像进行缺陷检测。如果未查找到目标处理器,则根据多个图像处理器的模型绑定情况从中选择一个目标图像处理器,并建立目标图像处理器与目标检测模型的绑定关系,将该绑定关系记录到映射表中,实现了动态更新映射表。同时,将待传输图像传输给目标图像处理器进行缺陷检测,一个图像处理器中可运行任意一个检测模型,如此一来任意一个图像处理器发生故障,不会影响任意一个图像检测模型的运行,避免了待检测图像不能被识别或者被识别出错,提高了图像处理的准确性。

基于上述图像处理方法的实施例,本发明实施例提供了一种图像处理装置。参考图7,为本发明实施例提供的一种图像处理装置的结构示意图,图7所示的图像处理装置可运行如下单元:

接收单元701,用于接收待检测图像;

获取单元702,用于获取所述待检测图像对应的目标检测模型;

处理单元703,用于在映射表中检测与所述目标检测模型绑定的目标图像处理器,所述映射表记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或者多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签训练得到的;

传输单元704,用于若检测得到目标图像处理器,则将所述待检测图像传输给所述目标图像处理器,以通过在所述目标图像处理器中运行所述目标检测模型对所述待检测图像进行缺陷检测。

在一个实施例中,所述处理单元703还用于:若在映射表中未检测得到目标图像处理器,则遍历每个图像处理器的模型绑定情况,所述模型绑定情况包括每个图像处理器上运行检测模型的数量阈值和已绑定的检测模型的数量;根据所述每个图像处理器的模型绑定情况从所述多个图像处理器中选择目标图像处理器,并将所述目标图像处理器与所述目标检测模型绑定;将所述目标图像处理器和所述目标检测模型之间的绑定关系记录到所述映射表中。

在一个实施例中,所述处理单元703还用于:若检测到在时长阈值内未接收到与所述目标检测模型对应的新的待检测图像,则解除所述目标检测模型与所述目标图像处理器之间的绑定关系。

在一个实施例中,所述获取单元702在获取所述待检测图像对应的目标检测模型时,执行如下操作:获取所述待检测图像对应的目标拍摄位置,所述目标拍摄位置用于表示图像采集设备在采集所述待检测图像时所处的位置;根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型。

在一个实施例中,所述多个检测模型中每个检测模型用于识别一种类型或多种类型的缺陷,所述获取单元702在根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型时,执行如下操作:根据多个拍摄位置与多个缺陷类型的对应关系,获取所述目标拍摄位置对应的目标缺陷类型;从多个检测模型中选择与所述目标缺陷类型相匹配的检测模型作为目标检测模型。

在一个实施例中,所述获取单元702在根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型时,执行如下操作:将所述目标拍摄位置与预设的拍摄位置范围进行匹配,得到相匹配的拍摄位置范围;根据多个拍摄位置范围与检测模型的对应关系,将所述相匹配的拍摄位置范围对应的检测模型确定为所述待检测图像对应的目标检测模型。

在一个实施例中,所述获取单元702在根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型时,执行如下操作:遍历预设的多个检测模型与拍摄位置的对应关系;将与所述目标拍摄位置对应的检测模型确定为目标检测模型。

根据本发明的一个实施例,图4和图5所示的图像处理方法所涉及各个步骤可以是由图7所示的图像处理装置中的各个单元来执行的。例如,图4所述的步骤s401可由图7中所述的图像处理装置中的接收单元701和获取单元702来执行,步骤s402可由图7中所述的图像处理装置中处理单元703来执行,步骤s403可由图7所示的图像处理装置中的传输单元704来执行;又如,图5中所示的步骤s501可由图7所示的图像处理装置中的接收单元701和获取单元702来执行,步骤s502可由图7所示的图像处理装置中的处理单元703来执行,步骤s503可由图7所示的图像处理装置中的处理单元703来执行,步骤s504可由图7所示的图像处理装置中的传输单元704来执行,步骤s505-步骤s508可由图7所示的图像处理装置中的处理单元703来执行。

根据本发明的另一个实施例,图7所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。

根据本发明的另一个实施例,可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图4或图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如7中所示的图像处理装置,以及来实现本发明实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。

本发明实施例中,当图像处理设备接收到待检测图像时,确定对待检测图像进行检测所需的目标检测模型,然后在映射表中查找与目标检测模型绑定的目标图像处理器,映射表中记录了多个图像处理器和多个检测模型的绑定关系,应当理解的,将图像处理器上运行的检测模型的情况记录到映射表中,可以节省查找与目标检测模型绑定的目标图像处理器的时间,从而可在一定程度上提高图像处理效率。在查找到目标图像处理器后,将待检测图像传输给目标图像处理器,由目标图像处理器通过运行目标检测模型对待检测图像进行缺陷检测。一个图像处理器中可运行任意一个检测模型,如此一来任意一个图像处理器发生故障,不会影响任意一个图像检测模型的运行,避免了待检测图像不能被识别或者被识别出错,提高了图像处理的准确性。

基于上述的图像处理方法和图像处理装置的实施例,本发明实施例还提供了一种图像处理设备。参考图8,为本发明实施例提供的一种图像处理设备的结构示意图。图8所示的终端中可至少包括处理器801、输入接口802、输出接口803以及计算机存储介质804。其中,处理器801、输入接口802、输出接口803以及计算机存储介质804可通过总线或其他方式连接。

计算机存储介质804可以存储在图像处理设备的存储器中,所述计算机存储介质804用于存储计算机程序,所述计算机程序包括程序指令,所述处理器801用于执行所述计算机存储介质804存储的程序指令。处理器801(或称cpu(centralprocessingunit,中央处理器))是终端的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本发明实施例所述的处理器801可用于执行:接收待检测图像,并获取所述待检测图像对应的目标检测模型;在映射表中检测与所述目标检测模型绑定的目标图像处理器,所述映射表记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或者多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签训练得到的;若检测得到目标图像处理器,则将所述待检测图像传输给所述目标图像处理器,以通过在所述目标图像处理器中运行所述目标检测模型对所述待检测图像进行缺陷检测。

本发明实施例还提供了一种计算机存储介质(memory),所述计算机存储介质是节点设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器1301加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速ram存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中,可由处理器801加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图4和图5所述的图像处理方法实施例中的方法的相应步骤,具体实现中,计算机存储介质中的一条或多条指令由处理器801加载并执行如下步骤:接收待检测图像,并获取所述待检测图像对应的目标检测模型;在映射表中检测与所述目标检测模型绑定的目标图像处理器,所述映射表记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或者多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签训练得到的;若检测得到目标图像处理器,则将所述待检测图像传输给所述目标图像处理器,以通过在所述目标图像处理器中运行所述目标检测模型对所述待检测图像进行缺陷检测。

在一个实施例中,计算机存储介质中的一条或多条指令由处理器801加载还执行如下步骤:若在映射表中未检测得到目标图像处理器,则遍历每个图像处理器的模型绑定情况,所述模型绑定情况包括每个图像处理器上运行检测模型的数量阈值和已绑定的检测模型的数量;根据所述每个图像处理器的模型绑定情况从所述多个图像处理器中选择目标图像处理器,并将所述目标图像处理器与所述目标检测模型绑定;将所述目标图像处理器和所述目标检测模型之间的绑定关系记录到所述映射表中。

在一个实施例中,计算机存储介质中的一条或多条指令由处理器801加载还执行如下步骤:若检测到在时长阈值内未接收到与所述目标检测模型对应的新的待检测图像,则解除所述目标检测模型与所述目标图像处理器之间的绑定关系。

在一个实施例中,所述处理器801在获取所述待检测图像对应的目标检测模型时,执行如下操作:获取所述待检测图像对应的目标拍摄位置,所述目标拍摄位置用于表示图像采集设备在采集所述待检测图像时所处的位置;根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型。

在一个实施例中,所述多个检测模型中每个检测模型用于识别一种类型或多种类型的缺陷,所述处理器801在根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型时,执行如下操作:根据多个拍摄位置与多个缺陷类型的对应关系,获取所述目标拍摄位置对应的目标缺陷类型;从多个检测模型中选择与所述目标缺陷类型相匹配的检测模型作为目标检测模型。

在一个实施例中,所述处理器801在根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型时,执行如下操作:将所述目标拍摄位置与预设的拍摄位置范围进行匹配,得到相匹配的拍摄位置范围;根据多个拍摄位置范围与检测模型的对应关系,将所述相匹配的拍摄位置范围对应的检测模型确定为所述待检测图像对应的目标检测模型。

在一个实施例中,所述处理器801在根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型时,执行如下操作:遍历预设的多个检测模型与拍摄位置的对应关系;将与所述目标拍摄位置对应的检测模型确定为目标检测模型。

本发明实施例中,当图像处理设备接收到待检测图像时,确定对待检测图像进行检测所需的目标检测模型,然后在映射表中查找与目标检测模型绑定的目标图像处理器,映射表中记录了多个图像处理器和多个检测模型的绑定关系,应当理解的,将图像处理器上运行的检测模型的情况记录到映射表中,可以节省查找与目标检测模型绑定的目标图像处理器的时间,从而可在一定程度上提高图像处理效率。在查找到目标图像处理器后,将待检测图像传输给目标图像处理器,由目标图像处理器通过运行目标检测模型对待检测图像进行缺陷检测。一个图像处理器中可运行任意一个检测模型,如此一来任意一个图像处理器发生故障,不会影响任意一个图像检测模型的运行,避免了待检测图像不能被识别或者被识别出错,提高了图像处理的准确性。

以上所揭露的仅为本发明部分实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。


技术特征:

1.一种图像处理方法,其特征在于,包括:

接收待检测图像,并获取所述待检测图像对应的目标检测模型;

在映射表中检测与所述目标检测模型绑定的目标图像处理器,所述映射表记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或者多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签训练得到的;

若检测得到目标图像处理器,则将所述待检测图像传输给所述目标图像处理器,以通过在所述目标图像处理器中运行所述目标检测模型对所述待检测图像进行缺陷检测。

2.如权利要求1所述的方法,其特征在于,所述方法还包括:

若在映射表中未检测得到目标图像处理器,则遍历每个图像处理器的模型绑定情况,所述模型绑定情况包括每个图像处理器上运行检测模型的数量阈值和已绑定的检测模型的数量;

根据所述每个图像处理器的模型绑定情况从所述多个图像处理器中选择目标图像处理器,并将所述目标图像处理器与所述目标检测模型绑定;

将所述目标图像处理器和所述目标检测模型之间的绑定关系记录到所述映射表中。

3.如权利要求2所述的方法,其特征在于,所述方法还包括:

若检测到在时长阈值内未接收到与所述目标检测模型对应的新的待检测图像,则解除所述目标检测模型与所述目标图像处理器之间的绑定关系。

4.如权利要求1所述的方法,其特征在于,所述获取所述待检测图像对应的目标检测模型,包括:

获取所述待检测图像对应的目标拍摄位置,所述目标拍摄位置用于表示图像采集设备在采集所述待检测图像时所处的位置;

根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型。

5.如权利要求4所述的方法,其特征在于,所述多个检测模型中每个检测模型用于识别一种类型或多种类型的缺陷,所述根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型,包括:

根据多个拍摄位置与多个缺陷类型的对应关系,获取所述目标拍摄位置对应的目标缺陷类型;

从多个检测模型中选择与所述目标缺陷类型相匹配的检测模型作为目标检测模型。

6.如权利要求4所述的方法,其特征在于,所述根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型,包括:

将所述目标拍摄位置与预设的拍摄位置范围进行匹配,得到相匹配的拍摄位置范围;

根据多个拍摄位置范围与检测模型的对应关系,将所述相匹配的拍摄位置范围对应的检测模型确定为所述待检测图像对应的目标检测模型。

7.如权利要求4所述的方法,其特征在于,所述根据所述目标拍摄位置确定所述待检测图像对应的目标检测模型,包括:

遍历预设的多个检测模型与拍摄位置的对应关系;

将与所述目标拍摄位置对应的检测模型确定为目标检测模型。

8.一种图像处理装置,其特征在于,包括:

接收单元,用于接收待检测图像;

获取单元,用于获取所述待检测图像对应的目标检测模型;

处理单元,用于在映射表中检测与所述目标检测模型绑定的目标图像处理器,所述映射表记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或者多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签训练得到的;

传输单元,用于若检测得到目标图像处理器,则将所述待检测图像传输给所述目标图像处理器,以通过在所述目标图像处理器中运行所述目标检测模型对所述待检测图像进行缺陷检测。

9.一种图像处理设备,其特征在于,包括:

处理器,适于实现一条或多条指令;以及,

计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-7任一项所述的图像处理方法。

10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如权利要求1-7任一项所述的图像处理方法。

技术总结
本发明实施例公开了一种图像处理方法、装置、图像处理设备及存储介质,其中方法包括:接收待检测图像,并获取待检测图像对应的目标检测模型;在映射表中检测与目标检测模型绑定的目标图像处理器,所述映射表中记录了多个图像处理器与多个检测模型之间的绑定关系,每个图像处理器用于运行一个或多个检测模型,每个检测模型是基于相应的训练图像以及所述训练图像对应的缺陷监督标签得到的;若检测得到目标图像处理器,则将待检测图像传输给目标图像处理器,以通过在目标图像处理器中运行目标检测模型对待检测图像进行缺陷检测。采用本发明实施例可以提高图像处理的准确性。

技术研发人员:黎少伟;江列琼;方超;艾义;殷年俊;龙建军;郑光文
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2020.01.22
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-49144.html

最新回复(0)