本发明涉及可疑物品自动检测领域，具体涉及一种可疑物品自动检测方法、终端设备、计算机设备及介质。
背景技术：
近年来，深度神经网络在图像目标检测领域发挥越来越重要的作用，具有端对端的特性，经过合适的训练，深度神经网络能够学习到可疑物品的深层次特征并给出输入图像中的可疑物品位置和属性。fasterrcnn作为目标检测方法的代表，对人体藏匿可疑物品有着优异的检测性能。深度神经网络的性能依赖于海量的训练数据。训练数据越多，覆盖范围越广，越能训练出性能优异的检测模型。然而，实际场景中，训练数据的采集需要大量的时间及人力成本，对物品的标注也需要高昂的费用。
目前安检领域的研究热点是基于毫米波进行检查，由于毫米波成像能够穿透衣物，且对人体无害，可以有效检测出藏匿在人体表层的可疑物品，如手枪、爆炸物、液体等。其中基于毫米波的主动式人体安检系统因其受环境因素影响小、图像信噪比高等优点而被广泛应用。
尽管如此，基于毫米波图像的可疑物品探测仍然存在问题。毫米波成像本身容易受到噪声的干扰，使得图像中出现明显的纹理、杂波等污染，给可疑物品探测增加困难，难以满足检测率和虚警率的高要求。同时，由于扫描硬件系统的原因，各安检系统之间，以及单个安检系统在不同环境下的成像风格(如明暗、对比度等)均会存在差异，从而引起检测性能的下降。
因此，需要提出一种新的可疑物品自动检测方法、终端设备、计算机设备及介质来解决以上一个或多个问题。
技术实现要素：
本发明的目的在于提供一种可疑物品自动检测方法、终端设备、计算机设备及介质，以解决现有技术中存在的问题中的至少一个；
为达到上述目的，本发明采用下述技术方案：
本发明第一方面提供一种可疑物品自动检测方法，包括：
将多张待测图像输入目标检测网络模型，得到可疑物品的候选框及置信度c；
融合所述待测图像中的可疑物品候选框，以确定对应于同一可疑物品的候选框个数；
累加所述待测图像中每个可疑物品分别对应的候选框置信度以计算每个可疑物品分别对应的加权置信度c’；
将每个可疑物品的加权置信度c’与预设门限阈值t进行比较，并在c’≥t时输出可疑物品对应的候选框。
可选地，在所述将待检测图像输入目标检测网络模型之前，该方法还包括：
获取毫米波圆柱扫描系统基于测试人员携带可疑物品生成的多张试验图像；
标注处理所述试验图像；
数据增强所述标注处理后的试验图像以生成多类训练图片；
基于所述多类训练图片生成目标检测网络模型。
可选地，所述数据增强所述标注处理后的试验图像以生成多类训练图片，进一步包括：
调节所述标注处理后的试验图像的对比度以生成多个不同对比度的第一类训练图片；
翻转所述标注处理后的试验图像以生成第二类训练图片；
加噪所述标注处理后的试验图像以生成第三类训练图片；
随机遮挡所述标注处理后的试验图像以生成第四类训练图片。
可选地，在所述将待检测图像输入目标检测网络模型之前，该方法还包括：对所述待测图像进行数据增强；
其中，对所述待测图像进行数据增强进一步包括：
调节所述待测图像的对比度以生成多个不同对比度的第一类待测图像；
翻转所述待测图像以生成第二类待测图像；
加噪所述待测图像以生成第三类待测图像；
随机遮挡所述待测图像以生成第四类待测图像。
可选地，可疑物品的候选框及置信度c可利用包括(x，y，w，h)表示，其中x表示候选框中心点的横坐标，y表示候选框中心点的纵坐标，w表示候选框的宽度，h表示候选框的高度。
本发明第二方面提供一种执行本发明第一方面提供的方法的终端设备，包括：
检测模块，用于将待检测图像输入目标检测网络模型，得到可疑物品候选框坐标及置信度；
融合模块，用于融合所述待测图像中的可疑物品候选框，以确定对应于同一可疑物品的候选框个数；
累加模块，用于累加所述待测图像中每个可疑物品分别对应的候选框置信度以计算每个可疑物品分别对应的加权置信度c’；
比较模块，用于将每个可疑物品的加权置信度c’与预设门限阈值t进行比较，并在c’≥t时输出可疑物品对应的候选框。
本发明第三方面提供一种执行本发明第一方面提供的方法的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现第一方面的方法。
本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面的方法。
本发明的有益效果如下：
本发明所述技术方案通过利用目标检测网络模型进行待测图像的可疑物品检测，具有较高的检测精度以及有效抑制虚警；本发明所述技术方案还通过对待测图像同样进行多方面的数据增强以更好匹配目标检测训练模型，进一步提高检测精度。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本实施例提供的可疑物品自动检测方法流程图；
图2示出本实施例提供的试验图像：
图3示出本实施例提供的标注后的试验图像；
图4示出本实施例提供的gamma变换后的试验图像；
图5示出本实施例提供的拉普拉斯变换后的试验图像；
图6示出本实施例提供的对数log变换后的试验图像；
图7示出本实施例提供的水平翻转后的试验图像；
图8示出本实施例提供的垂直翻转后的试验图像；
图9示出本实施例提供的加噪声图像后的试验图像；
图10示出本实施例提供的随机遮挡图像后的试验图像；
图11示出本实施例提供的目标检测网络模型示意图；
图12示出本实施例提供的不同对比度的待测图像；
图13示出本发明实施例提供的终端设备的结构示意图；
附图标记：特征提取网络31；区域选择网络32；兴趣区域池化层33；全连接层。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
如图1所示，本发明的一个实施例公开了一种基于毫米波图像的可疑物品自动检测方法，包括：
s1、将多张待测图像输入目标检测网络模型，得到可疑物品的候选框及置信度c；
s2、融合所述待测图像中的可疑物品候选框，以确定对应于同一可疑物品的候选框个数；
s3、累加所述待测图像中每个可疑物品分别对应的候选框置信度以计算每个可疑物品分别对应的加权置信度c’；
s4、将每个可疑物品的加权置信度c’与预设门限阈值t进行比较，并在c’≥t时输出可疑物品对应的候选框。
本发明所述技术方案通过利用目标检测网络模型进行待测图像的可疑物品检测，具有较高的检测精度以及有效抑制虚警。
在本实施例的一些可选地实现方式中，所述可疑物品候选框信息包括(x，y，w，h)，其中x表示候选框中心点的横坐标，y表示候选框中心点的纵坐标，w表示候选框的宽度，h表示候选框的高度。通过候选框对可疑物品进行标注，准确快速地确定可疑物品的位置，以便进行映射与寻找。
在一个具体示例中，根据所有映射到同一幅试验图像中的候选框的重叠区域(intersectionofunion，iou)，确认对应于同一可疑物品的候选框个数。作为映射图片的试验图像可以由用户指定，也可以通过映射模块随机选择。
在一个具体示例中，对每一可疑物品，将其在多张图中对应的候选框置信度进行累加(若某张图中无对应于该物品的候选框，则置信度置为0)，计算图像中每个被检测出的可疑物品的加权置信度c’；
比较每个可疑物品的加权置信度c’与预设门限阈值，并在c’≥t时输出可疑物品对应的候选框。
将每个被检测出可疑物品的加权置信度c’与预先设定好的门限t对比，若c’＞＝t，则认为该位置处存在可疑物品，输出可疑物品对应的检测框。若c’＜t，则认为该位置处不存在可疑物品。通过判断加权置信度c’与预设门限t的关系，有效判断待测可疑物品的准确性。
在步骤s1将待检测图像输入目标检测网络模型之前，该方法还包括：
获取测试人员携带可疑物品生成的多个试验图像；
标注处理所述试验图像；
数据增强所述标注处理后的试验图像以生成多类训练图片；
根据基于所述多类训练图片生成的目标检测网络模型以进行可疑物品检测。
在一个具体示例中，人站立于毫米波圆柱扫描系统内并保持静止，通过旋转的雷达扫描阵列发射宽带信号，接收人体反射回来的信号，进行一系列信号处理运算，可以合成人体三维成像结果。将三维成像结果投影到二维平面，这里选取同一三维成像结果在若干个不同角度下的人体二维成像图片，如图2所示。
为保证人体二维成像图片的形成的数据库信息充足，因此，需通过多次试验，得到大量的携带各类可疑物品的人体二维图像；建立数据库以便进行导入和下载。
在一个具体示例中，可利用矩形框在试验图像中标注可疑物品的位置和标注可疑物品的类别。
在一个具体示例中，可通过建立数据自动共享，或者人工导入的方式导入试验图像。
在一个具体示例中，标注可疑物品可以通过候选框的方式将可疑物品框出来；也可以通过绘图沿可疑物品外部轮廓自动生成可疑物品轮廓图像，将这些轮廓导入数据库以便进行匹配。
在一个具体示例中，可根据试验图像中显示的不同可疑物品的材质对应的不同颜色、或其形状轮廓对试验图像中的可疑物品进行分类，例如金属、液体。
通过对试验图像进行上述的处理，有效对二维成像图片中的可疑物品进行记录，以便后续步骤的应用。
在本实施例的一些可选地实现方式中，数据增强所述标注处理后的试验图像以生成多类训练图片，进一步包括：
调节所述标注处理后的试验图像的对比度以生成第一类训练图片；
在本实施例的一些可选地实现方式中，分别如图4-图6所示，可利用伽马变换、拉普拉斯变换或对数log变换等方法，选择多个参数典型值，对标注处理后的试验图像进行对比度调节。将调节后的试验图像加入训练集用于后续的目标网络模型的训练。要注意的是：调节后的试验图像中的可疑物品的标注框应与原始的试验图像中可疑物品的标注框位置大小等保持一致。
翻转所述标注处理后的试验图像以生成第二类训练图片；
在一个具体示例中，分别如图7和图8所示，对图像进行水平和垂直方向的翻转，将翻转后的试验图像加入训练集用于后续的目标网络模型的训练，要注意的是：翻转后的试验图像中的可疑物品的标注框也需要进行翻转。
s33、加噪所述标注处理后的试验图像以生成第三类训练图片；
s34、随机遮挡所述标注处理后的试验图像以生成第四类训练图片。
在一个具体示例中，加噪所述标注处理后的试验图像以生成第三类训练图片进一步包括；
获取试验图像标注处的信噪比；
比较所述试验图像标注处的信噪比是否满足预设信噪比阈值；舍弃不满足所述预设信噪比阈值时的所述试验图像的标注。
在一个具体示例中，给试验图像加入适当功率的高斯白噪声，并加入训练集用于后续的目标网络模型的训练，如图9所示，可以明显看出，加噪后的试验图像比原始图片更加清晰。由于加噪之后，信噪比较低的可疑物品会变得模糊，这个情况下可以选择舍弃该可疑物品标注框，即认为该位置处看不到物品。可通过对框内图像区域的峰值信噪比与预设定信噪比门限比较进一步来判断是否需要舍弃标注框。
在一个具体示例中随机遮挡所述标注处理后的试验图像以生成第四类训练图片进一步包括：
以固定像素值的遮挡区域的遮挡部分所述标注处理后的试验图像；
计算所述遮挡区域与所述试验图像标注处的标注区域的重叠区域；
比较所述重叠区域是否满足预设重叠区域阈值，舍弃不满足所述预设重叠区域阈值时的所述试验图像的标注。
在一个具体示例中，如图10所示，随机遮挡住图片中的一小块矩形区域，即用固定像素值填充矩形区域。若标注框与遮挡区域重叠区域50％以上，则标注框也舍弃，若重叠区域小于50％，则保留标注框。
通过上述步骤对试验图像进行多方面的数据增强，可利用采集到的有限的数据进行数据扩充增强，进而生成目标检测网络模型，有效提高目标检测网络模型性能以及检验精度。
在本实施例的一些可选地实现方式中，在所述将待检测图像输入目标检测网络模型之前，该方法还包括：对所述待测图像进行数据增强；
其中，对所述待测图像进行数据增强进一步包括：
调节所述待测图像的对比度以生成多个不同对比度的第一类待测图像；
翻转所述待测图像以生成第二类待测图像；
加噪所述待测图像以生成第三类待测图像；
随机遮挡所述待测图像以生成第四类待测图像。
为了防止某次待测图像风格与训练模型差异较大，对待检测图像同样进行与试验图像相同的数据增强，以及调整其对比度，得到不同对比度参数下和多方面数据增强后的多张待测图像，可以与目标网络模型更好的匹配以更有效地进行可疑物品检测，提高检测精度和准确性。
在一个具体示例中，同样可以利用伽马变换、拉普拉斯变换或对数log变换方法，调节所述待测图像。
在一个具体示例中，加噪所述待测图像以生成第三类待测图像进一步包括；
利用高斯白噪声加噪所述待测图像；
获取待测图像标注处的信噪比；
比较所述待测图像标注处的信噪比是否满足预设信噪比阈值；舍弃不满足所述预设信噪比阈值时的所述待测图像的标注。
在一个具体示例中，所述随机遮挡所述标注处理后的试验图像以生成第四类待测图像进一步包括：
以固定像素值的遮挡区域的遮挡部分所述标注处理后的待测图像；
计算所述遮挡区域与所述待测图像标注处的标注区域的重叠区域；
比较所述重叠区域是否满足预设重叠区域阈值，舍弃不满足所述预设重叠区域阈值时的所述待测图像的标注。
图12示出不同对比度参数下的4张待测图像，可以看出，不同对比度参数下，待测二维成像显示出不同的效果，因此生成多个不同对比度下的多张待测图像可有效提高识别精度，以避免漏检情况发生。
在一个具体示例中，目标检测网络模型包括：特征提取网络31、区域选择网络32、兴趣区域池化层33以及全连接层34。在一个具体示例中，可采用典型网络更快速区域卷积神经网络(fasterrcnn)进行训练，图5是本实施例示出的目标检测网络模型的示意图；该目标检测网络模型可以包括四个基本模块：特征提取网络31、区域选择网络32(regionproposalnetwork，rpn)、兴趣区域池化层33(roipooling)以及分类及位置检测网络34；该网络模型可利用训练好的目标检测网络准确、有效、快速地确定待检测图像中的可疑物品类别及位置信息，根据这些信息以便进行可疑物品的监测与查找。
特征提取网络31通过其多个卷积层对待检测的二维成像图片进行特征提取，得到待检测二维成像图片的特征图像(featuremap)。区域生成网络32根据特征图像，生成多个候选区域。兴趣区域池化层33将多个候选区域转换为分辨率相同的特征图像。分类及位置检测网络34通过其多个全连接层(fullyconnection，fc)对多个候选区域的特征图像进行处理，确定人体二维图像中的可疑目标类别及位置信息。
本发明通过对试验图像进行多方面的数据增强进而生成目标检测网络模型，具有较高的检测精度以及有效抑制虚警；并通过对待测图像同样进行数据增强以更好匹配目标检测训练模型，进一步提高检测精度。
本发明的另一个实施例提供了一种终端设备，包括：
检测模块，用于将待检测图像输入目标检测网络模型，得到可疑物品候选框坐标及置信度；
融合模块，用于融合所述待测图像中的可疑物品候选框，以确定对应于同一可疑物品的候选框个数；
累加模块，用于累加所述待测图像中每个可疑物品分别对应的候选框置信度以计算每个可疑物品分别对应的加权置信度c’；
比较模块，用于将每个可疑物品的加权置信度c’与预设门限阈值t进行比较，并在c’≥t时输出可疑物品对应的候选框。
需要说明的是，本实施例提供的终端设备的原理及工作流程与上述可疑物品自动检测方法方法相似，相关之处可以参照上述说明，在此不再赘述。
如图13所示，适于用来实现本实施例提供的终端设备的计算机系统，包括中央处理模块(cpu)，其可以根据存储在只读存储器(rom)中的程序或者从存储部分加载到随机访问存储器(ram)中的程序而执行各种适当的动作和处理。在ram中，还存储有计算机系统操作所需的各种程序和数据。cpu、rom以及ram通过总线被此相连。输入/输入(i/o)接口也连接至总线。
以下部件连接至i/o接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(lcd)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至i/o接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括检测模块、融合模块、累加模块和比较模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。例如，检测模块还可以被描述为“测试模块”。
作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：将多张待测图像输入目标检测网络模型，得到可疑物品的候选框及置信度c；融合所述待测图像中的可疑物品候选框，以确定对应于同一可疑物品的候选框个数；累加所述待测图像中每个可疑物品分别对应的候选框置信度以计算每个可疑物品分别对应的加权置信度c’；将每个可疑物品的加权置信度c’与预设门限阈值t进行比较，并在c’≥t时输出可疑物品对应的候选框。
还需要说明的是，在本发明的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
1.一种可疑物品自动检测方法，其特征在于，包括：
将多张待测图像输入目标检测网络模型，得到可疑物品的候选框及置信度c；
融合所述待测图像中的可疑物品候选框，以确定对应于同一可疑物品的候选框个数；
累加所述待测图像中每个可疑物品分别对应的候选框置信度以计算每个可疑物品分别对应的加权置信度c’；
将每个可疑物品的加权置信度c’与预设门限阈值t进行比较，并在c’≥t时输出可疑物品对应的候选框。
2.根据权利要求1所述的方法，其特征在于，在所述将待检测图像输入目标检测网络模型之前，该方法还包括：
获取毫米波圆柱扫描系统基于测试人员携带可疑物品生成的多张试验图像；
标注处理所述试验图像；
数据增强所述标注处理后的试验图像以生成多类训练图片；
基于所述多类训练图片生成目标检测网络模型。
3.根据权利要求2所述的方法，其特征在于，所述数据增强所述标注处理后的试验图像以生成多类训练图片，进一步包括：
调节所述标注处理后的试验图像的对比度以生成多个不同对比度的第一类训练图片；
翻转所述标注处理后的试验图像以生成第二类训练图片；
加噪所述标注处理后的试验图像以生成第三类训练图片；
随机遮挡所述标注处理后的试验图像以生成第四类训练图片。
4.根据权利要求3所述的方法，其特征在于，在所述将待检测图像输入目标检测网络模型之前，该方法还包括：对所述待测图像进行数据增强；
其中，对所述待测图像进行数据增强进一步包括：
调节所述待测图像的对比度以生成多个不同对比度的第一类待测图像；
翻转所述待测图像以生成第二类待测图像；
加噪所述待测图像以生成第三类待测图像；
随机遮挡所述待测图像以生成第四类待测图像。
5.根据权利要求5所述的方法，其特征在于，可疑物品的候选框及置信度c可利用包括(x，y，w，h)表示，其中x表示候选框中心点的横坐标，y表示候选框中心点的纵坐标，w表示候选框的宽度，h表示候选框的高度。
6.一种用于执行权利要求1-5中任一项所述方法的终端设备，其特征在于，包括：
检测模块，用于将待检测图像输入目标检测网络模型，得到可疑物品候选框坐标及置信度；
融合模块，用于融合所述待测图像中的可疑物品候选框，以确定对应于同一可疑物品的候选框个数；
累加模块，用于累加所述待测图像中每个可疑物品分别对应的候选框置信度以计算每个可疑物品分别对应的加权置信度c’；
比较模块，用于将每个可疑物品的加权置信度c’与预设门限阈值t进行比较，并在c’≥t时输出可疑物品对应的候选框。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
技术总结