本发明涉及新型人工智能，具体涉及一种基于目标检测的人员持刀的识别方法。
背景技术：
1、现有的获取数据集的方法普遍都是拍摄视频或搜集各种与人员持刀相关的公开视频，在行人持刀数据集的采集过程中，由于拍摄视频数量有限，耗时耗力，因此数据集大多来源于网络，质量参差不齐，常常存在光照不均匀或背景近刀具等现象。该现象会影响模型对持刀的识别效果，影响连续监测的准确性，占用系统资源，从而造成漏检和误检的问题。因此，在数据集的质量上出现问题，将会极大影响后面算法优化和模型训练，模型对于光照和背景近刀具等现象的处理也会相应变差。对于使用场景的环境具有很大的限制。
2、现有的网络模型，对象周围往往存在复杂而丰富的上下文信息，网络对关键信息和不重要的背景信息的学习一视同仁。背景的迭代累积会形成大量冗余信息，从而淹没部分目标，导致检测准确率不高。
3、现有的网络模型，网络可能会倾向于更关注重叠度而忽略准确的位置信息。这可能导致网络定位不准确，边界框与目标之间存在一定的偏移，网络在定位准确性、小目标误检和漏检以及目标形状敏感性等方面存在缺点。因此，降维将会造成的通道信息缺失问题，模型不能更加精准地定位和识别到关键的目标。
4、现有的人员持刀识别中，网络模型可能倾向于更关注目标区域的重叠度而忽略准确的位置信息。giou_loss中增加了相交尺度的衡量方式，缓解了单纯iou_loss时预测框大小相同时iou也问题以及预测框与真实框不相交时iou＝0，iou_loss不能优化两个框不相交的情况。这可能导致网络在定位目标时不准确，导致边界框与目标之间存在一定的偏移。此外，现有的网络在定位准确性、对小目标的误检和漏检，以及对目标形状的敏感性等方面也存在一些缺陷。因此，原始网络定位目标时不准确，导致边界框与目标之间存在一定的偏移，网络检测精度低，并且在人员持刀检测的判断上始终有一些场景无法解决，导致多样场景下人员持刀检测误报严重的问题，会致使误检/漏检情况。
5、中国专利文献(cn111832450a)公开了一种基于图像识别的持刀检测方法，其主要包括训练出行人检测模型和注意力持刀分类模型，接着将监控视频解码为图片，通过行人检测模型获得图片上的人形的位置信息并对位置进行扩展，然后根据扩展的位置截取图片，得到采样图片；将采样图片送入注意力持刀分类模型，以识别当前行人有无持刀，若有则报警。该技术方案使用了深度学习计算机视觉领域的目标检测算法，其使用了yolov5自带的人员检测，通过行人检测模型获得图片上的人形的位置信息并对位置进行扩展，然后根据扩展的位置截取图片，得到采样图片；将采样图片送入注意力持刀分类模型。但该检测方法的准确率仍有待提升。
6、因此，提出一种基于目标检测的人员持刀的识别方法，有效提高了人员持刀检测的准确率和鲁棒性。
技术实现思路
1、本发明要解决的技术问题是提出一种基于目标检测的人员持刀的识别方法，在针对普通的深度学习算法检测时的缺点，有效提高了人员持刀检测的准确率和鲁棒性。
2、为了解决上述技术问题，本发明采用的技术方案是：该基于目标检测的人员持刀的识别方法，具体包括以下步骤：
3、s1：图像数据采集，获取每帧拍摄图像数据；训练yolov5的人员持刀检测模型；
4、s2：载入yolov5的人员持刀检测模型对增强处理后的当前拍摄图像进行行人持刀识别，获得当前拍摄图像中的人员持刀检测结果并分析检测结果；
5、s3：采用deepsort模型结合历史时间方向判断图像中人员的检测框是否存在与当前拍摄图像相邻且包含人员持刀检测框的上一帧图像，获得当前拍摄图像中历史时间方向的各幅当前人员持刀检测框；
6、s4：对连续各幅当前人员持刀检测框进行跟踪检测；基于当前拍摄图像中的各幅当前人员持刀检测框进行分别对应的跟踪标记，并判断所述跟踪标记所对应的人员是否处在持刀状态，从而实现人员的持刀行为的识别。
7、采用上述技术方案，采用自适应调节对比度的图像增强方法，保留了更多图像细节信息，减少了图像的颜色失真和光晕现象；同时改进了yolov5算法的网络模型，构建用于人员持刀检测模型，并结合deepsort模型实现连续人员持刀跟踪检测，最终实现人员持刀检测的准确性，有效提高了人员持刀检测的准确率和鲁棒性。
8、优选地，所述步骤s1的具体步骤为：
9、s11：采集数据，获得数据集，再采用基于retinex理论的自适应gamma图像增强方法对数据集进行预处理，并将预处理后的数据集划分为训练集和测试集；
10、s12：搭建yolov5算法模型，修改网络模型，输入数据并训练，得到算法模型权重，训练得到yolov5的人员持刀检测模型。
11、采用上述技术方案，改进cbam注意力机制的改进型yolov5网络结构，对损失函数进行优化，引入损失函数作为神经网络判断误检样本的依据，改善模型的收敛效果，从而提高网络检测精度，减少检测过程中小目标误检、漏检情况，解决复杂场景下人员持刀的检测和判断困难问题。
12、优选地，所述步骤s11中采用基于retinex理论的自适应gamma图像增强方法对数据集进行预处理，即采用基于retinex的自适应gamma增强算法根据图像区域的明暗程度进行自适应的矫正，具体为：通过融合图像的亮度len(x,y)和被分离后的反射分量rc(x,y)得到最终增强后的图像的亮度分量并恢复原来图像的颜色和细节，公式为：其中，表示rgb各个通道的亮度len(x,y)表示通过矫正后的亮度分量。
13、上述技术方案中，采用基于retinex的自适应gamma增强算法通过降低光照过强区域的图像亮度，提高光照过低区域的图像亮度，减弱图像处理过程中的过度增强问题，使图像具有较好对比度；通过自适应矫正处理后保留了更多图像的细节信息，减少图像的颜色失真和光晕现象。
14、优选地，在所述步骤s12中的模型训练过程中，对cbam注意力机制进行改进，选择了eca-net(efficient channel attention)模块作为cbam的通道域；在经过信道级的全局平均池化(global average pooling，gap)后，eca-net模块通过使用一维卷积来聚合通道特征，考量每个通道以及k个通道的相邻通道之间的交互信息；同时引入αcюu损失函数损失函数；从而获得了yolov5的人员持刀检测模型。
15、优选地，所述步骤s12中对cbam注意力机制进行改进时采用一维卷积核大小k表示局部交叉通道交互的范围，即涉及该通道的相邻邻居的数量，为了避免手动调整k的值，采用自适应方法来确定k的值，公式为：其中，通道数c的初始值为64，表示t，表示t的最近奇数，γ和b为常数。优选地，γ设置为2，b设置为1。通过该公式式能够避免手动调整参数并直接计算出最合适的k，从而充分融合通道之间的交互信息，优化了网络的检测性能，无需进行交叉验证。进而实际应用中，cbam注意力机制包括全局平均池化层、最大池化层、平均池化层、卷积层、sigmoid激活函数层、第一矩阵乘法模块、第二矩阵乘法模块，以及以特征图为输入、特征图所对应通道域注意特征图为输出的eca-net层，其中，全局平均池化层的输入端构成改进型cbam注意力机制的输入端，改进型cbam注意力机制的输入端用于接收特征图f，全局平均池化层的输出端对接eca-net层的输入端，由eca-net层对所接收特征图f进行处理，获得特征图f所对应的通道域注意特征图mc(f)进行输出；eca-net层的输出端、改进型cbam注意力机制的输入端对接第一矩阵乘法模块的输入端，由第一矩阵乘法模块针对通道域注意特征图mc(f)、特征图f进行矩阵乘法处理获得处理结果，第一矩阵乘法模块的输出端依次串联最大池化层、平均池化层、卷积模块、sigmoid激活函数层，获得特征图对应的空间注意力特征ms(f)，同时第一矩阵乘法模块的输出端、sigmoid激活函数层的输出端对接第二矩阵乘法模块的输入端，由第二矩阵乘法模块针对所接收空间注意力特征ms(f)、以及第一矩阵乘法模块输出的处理结果进行矩阵乘法处理获得更新后的特征图进行输出。
16、优选地，所述步骤s12中引入αcюu损失函数为：其中，p为样本图像中满足的人员持刀状态局部图像检测框的中心点位置，pgt为样本图像中满足的人员持刀状态局部图像真实框的中心点位置，d为样本图像中同时包含满足的人员持刀状态局部图像的真实框和检测框的最小矩形包围区域的对角线距离，iou表示样本图像中满足的人员持刀状态局部图像的检测框a与真实框b的交并比，α表示预设指数，iouα用于衡量样本图像中满足的人员持刀状态局部图像的检测框a和真实框b之间的重叠程度；w为样本图像中满足的人员持刀状态局部图像的检测框a的宽度，wgt为样本图像中满足的人员持刀状态局部图像的真实框b的宽度，h为样本图像中满足的人员持刀状态局部图像的检测框a的高度，hgt为样本图像中满足的人员持刀状态局部图像的真实框b的高度，γ表示样本图像中满足的人员持刀状态局部图像的检测框a的中心点与真实框b的中心点之间的欧式距离。
17、优选地，在所述步骤s2的具体步骤为：
18、s21：载入yolov5的人员持刀检测模型对增强处理后的当前拍摄图像进行行人持刀识别，获得当前拍摄图像中的人员持刀检测结果，人员持刀检测结果包括图像中是否存在满足人员持刀的疑似人物以及疑似人物在图像中的人员持刀检测框；
19、s22：分析检测结果，判断当前拍摄图像中人员持刀检测结果是否存在满足人员持刀的疑似人物，若是，则获得当前拍摄图像中各幅人员持刀检测框。
20、优选地，所述步骤s4采用深度学习deepsort目标追踪算法获得上一帧图像中各人员持刀检测框分别在当前拍摄图像中的人员持刀预测框，具体步骤为：
21、s41：采用卡尔曼滤波器预测轨迹；
22、s42：使用匈牙利算法将步骤s41中预测得到的轨迹和当前帧中的检测结果进行匹配；
23、s43：基于上一帧图像中各人员持刀检测框分别对应的跟踪标记，结合历史时间方向，根据该各跟踪标记分别对应的连续各人员持刀检测框，依次按特征匹配和检测框匹配的二级检测，针对当前拍摄图像中的各幅当前人员持刀检测框进行跟踪检测；
24、s44：根据跟踪检测结果判断各幅人员是否处在持刀状态。
25、优选地，所述步骤s44的具体步骤：
26、s441：针对成功跟踪的各幅当前人员持刀检测框，以成功跟踪的各跟踪标记对相应当前人员持刀检测框进行标注，构成该各幅当前人员持刀检测框分别所对应的跟踪标记；针对未成功跟踪的各幅当前人员持刀检测框，分别标注有别于已标注跟踪标记且彼此互不相同的跟踪标记，构成该各幅当前人员持刀检测框分别所对应的跟踪标记；
27、s442：分别针对各幅当前人员持刀检测框的跟踪标记，判断所述跟踪标记所对应的人员持刀检测框的数量是否达到预设的判定数量阈值，若达到，则判定所述跟踪标记所对应的人员处在持刀状态，即当前拍摄图像中该跟踪标记所对应的人员处在持刀状态，并产生告警，否则不作判定。
28、采用上述技术方案，通过改进yolov5网络模型，构建人员持刀的检测模型，并结合依次所进行特征匹配、检测框匹配的二级检测设计，实现连续人员持刀的跟踪检测，基于连续性，实现人员持刀的准确检测；有效提高了人员持刀检测的准确率和鲁棒性，在提高工作安全和企业效益方面具有广阔应用前景。
29、优选地，所述步骤s442中判定该人员处在持刀状态需要同时满足场景属性特征一、场景属性特征二和场景属性特征三，其中场景属性特征一为疑似人员持刀，场景属性特征二为历史方向有记录，场景属性特征三为检测框数量达到阈值。从场景角度出发区域内出现人员持刀需要满足以下三种特点：(1)当前图像中疑似人员满足人员持刀，获得当前图像中各幅当前疑似人员持刀框；(2)历史时间方向上存在与当前图像相邻、且包含疑似人员持刀框的上一帧图像；(3)分别针对该图像各跟踪标记，所对应疑似人员持刀框的数量达到预设判定数量阈值，判定该跟踪标记所对应的人物处在人员持刀状态，即当前图像中该跟踪标记所对应的人物处在人员持刀状态。
30、优选地，所述步骤s42中的匹配包括级联匹配和iou匹配。deepsort主要特点：在sort算法的基础上加入外观信息，借用了reid领域模型来提取外观特征(即标题中的deepassociation metric)，减少了id switch的次数；匹配机制从原来的基于iou成本矩阵的匹配变成了级联匹配和iou匹配。
31、与现有技术相比，本发明具有的有益效果为：
32、(1)增加了一种基于retinex(retina and cortex)理论改进的自适应调节对比度的图像增强方法，对获得每帧图像数据进行增强处理，提高图片的质量，对后续改进和训练模型，连续检测提供了基本保障；
33、(2)改进cbam(convolution block attention module)注意力机制的通道域，并将改进后的cbam加入到yolov5的骨干网络中，使模型更加精准地定位和识别到关键的目标；
34、(3)改进型yolov5网络结构，对iou损失函数进行优化，引入损失函数增强网络的定位能力，从而提高网络检测精度，减少检测过程中小目标误检、漏检情况；
35、(4)结合依次所进行特征匹配、检测框匹配的二级检测设计，实现连续人员持刀的跟踪检测，最终基于人员持刀的连续性，实现人员持刀的准确检测，完成复杂场景的算法开发，使检测效果更准确。
1.一种基于目标检测的人员持刀的识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于目标检测的人员持刀的识别方法，其特征在于，所述步骤s1的具体步骤为：
3.根据权利要求2所述的基于目标检测的人员持刀的识别方法，其特征在于，所述步骤s11中采用基于retinex理论的自适应gamma图像增强方法对数据集进行预处理，即采用基于retinex的自适应gamma增强算法根据图像区域的明暗程度进行自适应的矫正，具体为：通过融合图像的亮度len(x,y)和被分离后的反射分量rc(x,y)得到最终增强后的图像的亮度分量并恢复原来图像的颜色和细节，公式为：其中，表示rgb各个通道的亮度len(x,y)表示通过矫正后的亮度分量。
4.根据权利要求2所述的基于目标检测的人员持刀的识别方法，其特征在于，在所述步骤s12中的模型训练过程中，对cbam注意力机制进行改进，选择了eca-net模块作为cbam的通道域；在经过信道级的全局平均池化后，eca-net模块通过使用一维卷积来聚合通道特征，考量每个通道以及k个通道的相邻通道之间的交互信息；同时引入αcюu损失函数，从而获得了yolov5的人员持刀检测模型。
5.根据权利要求4所述的基于目标检测的人员持刀的识别方法，其特征在于，所述步骤s12中对cbam注意力机制进行改进时采用一维卷积核大小k表示局部交叉通道交互的范围，即涉及该通道的相邻邻居的数量，采用自适应方法来确定k的值，公式为：其中，通道数c的初始值为64，表示t，表示t的最近奇数，γ和b为常数。
6.根据权利要求5所述的基于目标检测的人员持刀的识别方法，其特征在于，所述步骤s12中引入αcюu损失函数为：其中，p为样本图像中满足的人员持刀状态局部图像检测框的中心点位置，pgt为样本图像中满足的人员持刀状态局部图像真实框的中心点位置，d为样本图像中同时包含满足的人员持刀状态局部图像的真实框和检测框的最小矩形包围区域的对角线距离，iou表示样本图像中满足的人员持刀状态局部图像的检测框a与真实框b的交并比，α表示预设指数，iouα用于衡量样本图像中满足的人员持刀状态局部图像的检测框a和真实框b之间的重叠程度；w为样本图像中满足的人员持刀状态局部图像的检测框a的宽度，wgt为样本图像中满足的人员持刀状态局部图像的真实框b的宽度，h为样本图像中满足的人员持刀状态局部图像的检测框a的高度，hgt为样本图像中满足的人员持刀状态局部图像的真实框b的高度，γ表示样本图像中满足的人员持刀状态局部图像的检测框a的中心点与真实框b的中心点之间的欧式距离。
7.根据权利要求6所述的基于目标检测的人员持刀的识别方法，其特征在于，在所述步骤s2的具体步骤为：
8.根据权利要求7所述的基于目标检测的人员持刀的识别方法，其特征在于，所述步骤s4采用深度学习deepsort目标追踪算法获得上一帧图像中各人员持刀检测框分别在当前拍摄图像中的人员持刀预测框，具体步骤为：
9.根据权利要求8所述的基于目标检测的人员持刀的识别方法，其特征在于，所述步骤s44的具体步骤：
10.根据权利要求8所述的基于目标检测的人员持刀的识别方法，其特征在于，所述步骤s442中判定该人员处在持刀状态需要同时满足场景属性特征一、场景属性特征二和场景属性特征三，其中场景属性特征一为疑似人员持刀，场景属性特征二为历史方向有记录，场景属性特征三为检测框数量达到阈值。
