本发明涉及判断乱扔垃圾及识别违法人员身份的技术领域，特别涉及一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法。
背景技术：
随着我国社会经济的快速发展，如何进一步提升城市品位，改善城市形象，美化城市环境等问题成为摆在政府面前的重大课题，提升环境和优化城市管理，树立城市新形象，提升城市品位，促进文明城市的活动全面开展。
随着城市化进程的不断加深，城市环境监测效率不足成为一个亟待解决的问题，生活垃圾作为影响城市环境的一个重要影响因素，随着城市生活水平的提升而大量产生，而垃圾的有效管控也越来越成为城市环保工作的一个重大课题，以往大量随意丢弃的垃圾已经对我们的水土资源造成了危害，直接威胁着我们的生存与发展；而环卫工作的信息采集处理和分析作为其中重要一环也还没有成熟的解决方案，通常仅是通过环卫工人的人为发现并制止，效率低下。这种情况下，原有的环境监测方式已经无法满足数字城市的实际需要，基于人工智能的综合高效的环境检测系统成为城市化发展的必然诉求。
然而，目前乱扔垃圾的不文明现象仍然比比皆是、履禁不止，很难进行有效的管控，全靠人们的自主意识。现有的人工智能算法模型在识别是否存在乱扔垃圾行为上，采用的是首先判断是否有人进入禁扔垃圾区域，然后进行语音播报提醒不可乱扔垃圾。
此种方法只能起到提醒的作用，实现效果取决于个人素质的高低，无法真正做到禁止乱扔垃圾的行为。
技术实现要素：
为解决上述背景技术中提及的现有技术中仅仅能够实现提醒禁止乱扔垃圾，无法对乱扔垃圾人员的身份进行确认的问题，本发明提供一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法,包括以下步骤：
s100、云端算例中心用基于regionproposal的深度学习目标检测算法的fasterrcnn框架进行原始数据算例模型学习；
s200、云端算例中心通过云计算的云卸载方式将fasterrcnn框架学习获得的原始数据算例模型分发到各个边缘计算节点；
s300、现场摄像头将采集到的扔垃圾的人员视频和图片传到边缘计算节点，边缘计算节点结合已有的算例模型进行计算并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒；
s400、所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看。
在上述方案的基础上，进一步地，所述原始数据算例模型通过以下步骤得到：
s110、构建人和扔垃圾行为识别的图像数据库并对图像进行模型深度模型训练标注形成源数据；
s120、基于源数据和fasterrcnn算法网络进行ai建模，生成原始数据算例模型。
在上述方案的基础上，进一步地，所述步骤s110包括以下步骤：
s111、获取包含人和扔垃圾行为的图片，作为数据源；
s112、将数据源进行模型深度模型训练标注并形成源数据，所述标注包括图像所在位置、图像名称、图像宽高、图像维度以及标注的物体的名称与bbox的xy坐标值。
在上述方案的基础上，进一步地，所述步骤s120包括以下步骤：
s121、原始图片经过多层卷积神经网络，提取出候选图像的featuremaps，所述featuremaps还可以被共享用于后续rpn网络和全连接层使用；
s122、所述featuremaps经过rpn层生成regionproposals，先生成一堆anchorbox，然后进行裁剪过滤，再通过softmax判断anchors属于前景还是后景，同时利用boundingboxregression修正anchorbox形成更为精确的proposal；
s123、所述proposal在roipooling层获得固定大小的proposalfeaturemap；
s124、所述proposalfeaturemap进行全连接操作，通过全连接层与softmax进行具体类别分类，并利用l1loss完成boundingboxregression回归操作获得物体的精确位置，从而生成原始数据算例模型。
在上述方案的基础上，进一步地，所述s122包括以下步骤：
所述fasterrcnn采用了spp-net中的spp层，引入了多任务损失函数，用于计算bbox回归和分类的损失。
在上述方案的基础上，进一步地，所述多任务损失函数为：
其中，所述pi为anchor预测为目标的概率，
在上述方案的基础上，进一步地，所述bbox回归和分类的损失的计算，使用思维向量(x,y,w,h)来表示,计算步骤如下：
1)、平移(δx,δy),δx＝pwdx(p),δy＝phdy(p)；
2)、尺度缩放(sw,sh),sw＝pwdw(p),sh＝phdh(p)；
其中，x，y，w，h分别表示图像的中心点坐标和宽高,pw为目标位置，ph为目标高度，dx(p)为目标横坐标，dy(p)为目标纵坐标，dw(p)为缩放大小，dh(p)为缩放高度，sw为目标缩放大小，sh为目标缩放高度。
在上述方案的基础上，进一步地，所述边缘计算节点采用的设备型号为va-tu-dl，优选为va-tu-edge-b01。
本发明提供的一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法与现有的技术相比，具有以下的技术效果：
本发明能快速准确的识别禁扔垃圾区域是否存在乱扔垃圾的行为，并且识别出乱扔垃圾人员的身份，帮助建立一套完整的禁乱扔垃圾系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于边缘ai的判断并识别乱扔垃圾人员身份的方法框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明提供一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法,包括以下步骤：
s100、云端算例中心用基于regionproposal的深度学习目标检测算法的fasterrcnn框架进行原始数据算例模型学习；
s200、云端算例中心通过云计算的云卸载方式将fasterrcnn框架学习获得的原始数据算例模型分发到各个边缘计算节点；
s300、现场摄像头将采集到的扔垃圾的人员视频和图片传到边缘计算节点，边缘计算节点结合已有的算例模型进行计算并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒；
s400、所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看。
具体实施时，如图1所示，包括以下步骤：
s100、云端算例中心用基于regionproposal的深度学习目标检测算法的fasterrcnn框架进行原始数据算例模型学习；
s200、云端算例中心通过云计算的云卸载方式将fasterrcnn框架学习获得的原始数据算例模型分发到各个边缘计算节点；
s300、现场摄像头将采集到的扔垃圾的人员视频和图片传到边缘计算节点，边缘计算节点结合已有的算例模型进行计算并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒。
其中，通过现场摄像头实时采集现场视频数据传送到边缘计算设备，边缘计算设备检测到手拿垃圾的人员进入到监控现场开始对手拿垃圾的人员及其手上的垃圾进行跟踪直至垃圾被扔出去，边缘计算设备会对垃圾从被扔出去的过程视频结合算例模型进行计算得出计算结果值并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，具体判断是否存在乱扔垃圾的违法行为则是通过算例模型根据结果的数值与设定的阈值进行比对，如果低于阈值则为乱扔垃圾；如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒，所述提醒可以为做播放语音或其它相关操作，诸如通过发声设备广播或者警铃等方式；
需要说明的是，不仅可以通过摄像头采集现场视频数据，本领域普通技术人员还可以通过其他图像或视频采集数据的设备进行实施，此处不再做过多赘述；
s400、所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看。
所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看，方便在识别违法人员身份的同时，由违法行为追溯到违法人员，有利于对乱扔垃圾的个体进行教育及建立责任体系。
本发明提供的一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法能快速准确的识别禁扔垃圾区域是否存在乱扔垃圾的行为，并且识别出乱扔垃圾人员的身份，帮助建立一套完整的禁乱扔垃圾系统。
优选地，所述原始数据算例模型通过以下步骤得到：
s110、构建人和扔垃圾行为识别的图像数据库并对图像进行模型深度模型训练标注形成源数据；
s120、基于源数据和fasterrcnn算法网络进行ai建模，生成原始数据算例模型。
优选地，所述原始数据算例模型通过以下步骤得到：
s110、构建人和扔垃圾行为识别的图像数据库并对图像进行模型深度模型训练标注形成源数据；
s120、基于源数据和fasterrcnn算法网络进行ai建模，生成原始数据算例模型。
具体实施时，其中，作为一种cnn网络目标检测方法，fasterrcnn使用卷积层 池化层方式来提取原始图像的featuremaps,为后续的rpn层和全连接层提供支撑；rpn网络主要用于生成regionproposals；
首先，任意大小的图片通过convlayers后，原始图像被裁剪为原来的1/16，然后featuremap进入intemediatelayer过滤最终产生anchorbox后，再通过softmax判断anchors属于前景或者后景即判断物体或不是物体，即在图像上生成mxn大小的矩阵，先做1x1的卷积输出wxhx18大小的图像，
然后通过softmax函数及reshapelayer最终得到是否为物体，同时boundingboxregression修正anchorbox形成较精确的proposal；
接着，利用rpn生成的proposals和vgg16最后一层得到的featuremap，最终获取固定大小的proposalfeaturemap,进入到后面可利用全连接操作来进行目标识别和定位；
最后，把roipooling层形成固定大小的featuremap进行全连接操作，利用softmax进行具体类别的分类，其中，所述featuremap通过softmax函数映射成为(0,1)的值，而这些值的累和为1满足概率的性质，这样就可以选取概率最大的作为预测目标，据此进行分类，再利用l1loss完成boundingboxregression回归操作获得物体的精确位置，即rpn_loss_bbox使用smoothl1计算函数，在rpn-data中对anchorbox进行预测标记并计算出与gt_boxes之间的偏移量；同时boundingboxregression获得每个regionproposal的位置偏移量bbox_pred，回归获得更加精确的目标检测位置，最终获取物体的精确位置；
最终，通过以上方式生成原始数据的算例模型。
优选地，所述步骤s110包括以下步骤：
s111、获取包含人和扔垃圾行为的图片，作为数据源；
s112、将数据源进行模型深度模型训练标注并形成源数据，所述标注包括图像所在位置、图像名称、图像宽高、图像维度以及标注的物体的名称与bbox的xy坐标值。
具体实施时，通过以下方法进行模型深度模型训练标注：
优选地，所述步骤s120包括以下步骤：
s121、原始图片经过多层卷积神经网络，提取出候选图像的featuremaps，所述featuremaps还可以被共享用于后续rpn网络和全连接层使用；
s122、所述featuremaps经过rpn层生成regionproposals，先生成一堆anchorbox，然后进行裁剪过滤，再通过softmax判断anchors属于前景还是后景，同时利用boundingboxregression修正anchorbox形成更为精确的proposal；
s123、所述proposal在roipooling层获得固定大小的proposalfeaturemap；
s124、所述proposalfeaturemap进行全连接操作，通过全连接层与softmax进行具体类别分类，并利用l1loss完成boundingboxregression回归操作获得物体的精确位置，从而生成原始数据算例模型。
优选地，所述s122包括以下步骤：
所述fasterrcnn采用了spp-net中的spp层，引入了多任务损失函数，用于计算bbox回归和分类的损失。
优选地，所述多任务损失函数为：
其中，所述pi为anchor预测为目标的概率，
优选地，所述bbox回归和分类的损失的计算，使用思维向量(x,y,w,h)来表示,计算步骤如下：
1)、平移(δx,δy),δx＝pwdx(p),δy＝phdy(p)；
2)、尺度缩放(sw,sh),sw＝pwdw(p),sh＝phdh(p)；
其中，x，y，w，h分别表示图像的中心点坐标和宽高,pw为目标位置，ph为目标高度，dx(p)为目标横坐标，dy(p)为目标纵坐标，dw(p)为缩放大小，dh(p)为缩放高度，sw为目标缩放大小，sh为目标缩放高度。
优选地，所述边缘计算节点采用的设备型号为va-tu-dl。
具体实施时，优选采用边缘设备型号为va-tu-edge-b01。
为检验本发明提供的基于边缘ai的判断并识别乱扔垃圾人员身份的方法在实际中的应用，现提供如下测试：
算例中心采集了100000张人脸图片和100000张扔垃圾行为的图片进行标注训练，建立人脸识别模型和扔垃圾识别模型。边缘设备安装人脸识别模型和扔垃圾识别模型，边缘设备摄像头每日约采集1500张人脸图片和1000张扔垃圾图片，模型对摄像头采集到的图片进行研判，并输出研判的结果。现场采集到的图片返回算例中心进行不断的标注训练，人脸识别模型准确率达98％，扔垃圾识别模型准确率达90％。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
1.一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法,其特征在于，包括以下步骤：
s100、云端算例中心用基于regionproposal的深度学习目标检测算法的fasterrcnn框架进行原始数据算例模型学习；
s200、云端算例中心通过云计算的云卸载方式将fasterrcnn框架学习获得的原始数据算例模型分发到各个边缘计算节点；
s300、现场摄像头将采集到的扔垃圾的人员视频和图片传到边缘计算节点，边缘计算节点结合已有的算例模型进行计算并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒；
s400、所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看。
2.根据权利要求1所述的基于边缘ai的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述原始数据算例模型通过以下步骤得到：
s110、构建人和扔垃圾行为识别的图像数据库并对图像进行模型深度模型训练标注形成源数据；
s120、基于源数据和fasterrcnn算法网络进行ai建模，生成原始数据算例模型。
3.根据权利要求2所述的基于边缘ai的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述步骤s110包括以下步骤：
s111、获取包含人和扔垃圾行为的图片，作为数据源；
s112、将数据源进行模型深度模型训练标注并形成源数据，所述标注包括图像所在位置、图像名称、图像宽高、图像维度以及标注的物体的名称与bbox的xy坐标值。
4.根据权利要求2所述的基于边缘ai的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述步骤s120包括以下步骤：
s121、原始图片经过多层卷积神经网络，提取出候选图像的featuremaps，所述featuremaps还可以被共享用于后续rpn网络和全连接层使用；
s122、所述featuremaps经过rpn层生成regionproposals，先生成一堆anchorbox，然后进行裁剪过滤，再通过softmax判断anchors属于前景还是后景，同时利用boundingboxregression修正anchorbox形成更为精确的proposal；
s123、所述proposal在roipooling层获得固定大小的proposalfeaturemap；
s124、所述proposalfeaturemap进行全连接操作，通过全连接层与softmax进行具体类别分类，并利用l1loss完成boundingboxregression回归操作获得物体的精确位置，从而生成原始数据算例模型。
5.根据权利要求4所述的基于边缘ai的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述s122包括以下步骤：
所述fasterrcnn采用了spp-net中的spp层，引入了多任务损失函数，用于计算bbox回归和分类的损失。
6.根据权利要求5所述的基于边缘ai的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述多任务损失函数为：
其中，所述pi为anchor预测为目标的概率，
7.根据权利要求5所述的基于边缘ai的判断并识别乱扔垃圾人员身份的方法，其特征在于：所述bbox回归和分类的损失的计算，使用思维向量(x,y,w,h)来表示,计算步骤如下：
1)、平移(δx,δy),δx＝pwdx(p),δy＝phdy(p)；
2)、尺度缩放(sw,sh),sw＝pwdw(p),sh＝phdh(p)；
其中，x，y，w，h分别表示图像的中心点坐标和宽高,pw为目标位置，ph为目标高度，dx(p)为目标横坐标，dy(p)为目标纵坐标，dw(p)为缩放大小，dh(p)为缩放高度，sw为目标缩放大小，sh为目标缩放高度。
8.根据权利要求1所述的基于边缘ai的判断并识别乱扔垃圾人员身份的方法，其特征在于：所述边缘计算节点采用的设备型号为va-tu-dl。
技术总结