本发明涉及车辆监控分析系统，具体为一种基于机器视觉的乡镇车辆监控分析系统。
背景技术：
1、目前乡镇道路由于地处偏僻使得交通管理困难，应用智能监控能够提升交通管理及时性，减少交通安全隐患。乡镇车辆监控分析系统，指对乡镇道路旁监控设备采集的数字图像、视频序列，通过机器视觉技术进行道路车辆、人员及其属性信息识别。
2、现有的基于机器视觉的车辆监控分析系统通常通常基于目标检测或图像识别技术为基础开发，基于目标检测方法的系统使用目标检测方法检测并识别图像中指定的所有目标，但目标检测在检测车载人员重叠时识别精度较差；基于图像识别的系统使用图像识别方法对图像信息进行识别判定，但由于图像识别结果与应用场景业务判别条件绑定，使得智能监控系统迁移性较弱。
技术实现思路
1、本发明的目的在于提供一种基于机器视觉的乡镇车辆监控分析系统，解决了目标检测在检测车载人员重叠时识别精度较差；基于图像识别的系统使用图像识别方法对图像信息进行识别判定，但由于图像识别结果与应用场景业务判别条件绑定，使得智能监控系统迁移性较弱的问题。
2、为实现上述目的，本发明提供如下技术方案：一种基于机器视觉的乡镇车辆监控分析系统，由原子能力处理模块与业务逻辑处理模块组成，共同完成对乡镇道路应用场景中的道路车辆监控分析任务，原子能力处理模块对各场景采集的道路车辆监控图像进行统一的图像算法处理，定位图像中监控目标并对定位区域进行人体实例分割，业务逻辑处理模块以原子能力处理模块格式化数据以及各场景业务需求为基础，设计适用于不同应用场景的业务逻辑与数据处理方法，完成对各监控场景中交通异常行为适配且精确的识别；
3、原子能力处理模块负责对各场景监控图像img进行交通监控目标的检测定位，进行部分交通目标的图像裁剪，并分别对人体区域裁剪图像利用实例分割模型进行车载人体分割及人数识别，对车牌区域图像利用数据增强及光学字符识别模型进行车牌信息识别；
4、交通目标检测过程中以yolov7目标检测算法为基础实现交通目标的检测，并对车辆、人体、车牌目标进行分类；
5、交通目标检测过程根据道路监控图像img、检测阈值thresh_detec与目标相交程度阈值thresh_nms为输入，对交管智能监控系统中的小型机动车、卡车、大巴车、摩托车、三轮车、车牌、人体、头盔监控目标进行检测定位，并根据检测阈值thresh_detec限制异常目标的检出，根据目标相交程度阈值thresh_nms限制车辆间、人体间的重叠检出程度，得到目标定位及分类信息列表obj_detec:[{pos1,cls1},{pos2,cls2},...,{posn,clsn}]，其中posi、clsi分别标识交通目标的定位信息与类别信息，posi形如{x,y,w,h}，表示定位坐标与区域大小；
6、1)车载人体分割
7、交通目标检测过程由载人区域实例分割与分割统计后处理两部分组成，通过对裁剪三轮车、摩托车辆的人体区域图像进行图像实例分割，并通过人体分割结果数据转换，完成对车载人数的统计；
8、2)车牌信息识别
9、车牌信息识别过程主要负责对不同种类车辆车牌进行车牌字符信息的提取，对目标检测结果obj_detec中的车牌目标，也即clsi为车牌类别的检测结果项，进行如下处理：
10、a.车牌区域扩充及裁剪：设置车辆扩充比例参数列表pad：[p1,p2,...,pc],根据车牌检测定位信息posi：{x0,y0,x1,y1}及车辆类型clsi，对posi进行比例pad[clsi]为的区域扩充，具体计算表示为：
11、
12、其中，pposi为扩充后的车牌字符识别区域，其内容为{px0,py0,px1,py1}组成的区域坐标信息，padx[clsi]、pady[clsi]分别表示车辆种类为clsi所对应的车辆扩充比例参数列表pad中的横向、纵向区域扩充比例；
13、在扩充区域计算处理后，根据扩充后的车牌字符识别区域pposi在道路监控图像img中裁剪获得车牌区域图像plate_area；
14、b.车牌字符识别：系统基于paddleocr中提供的ocr算法实现了对车牌字符信息的提取，paddleocr具有角度校正与良好的文本定位功能，同时在中文识别上也表现出良好的精度，能够对车牌图像进行高性能的字符信息的提取与组合，车牌字符识别结果txt格式为连续的字符串，在原子能力模块将其加入到了目标检测的结果obj_detec对应的车牌检测目标的信息中进行统一返回；
15、在车牌信息识别中，模块在流程a车牌区域扩充及裁剪之后，还加了可选的图像颜色增强能力，用于对图像清晰度较低、照明条件不满足要求的场景进行车牌区域图像的图像增强，提升车牌字符识别性能。
16、2.优选的，所述车载人体分割包括如下内容：
17、①载人区域图像实例分割
18、a.人体区域图像裁剪：根据目标检测结果obj_detec，对分类信息cls为人体类目标，或指定的图像区域位置，利用定位pos进行人体区域图像裁剪，得到人体区域图像person_area；
19、b.人体分割
20、该部分基于fastinst-d1图像实例分割算法实现对人体区域进行区域内各人体实例的分割，得益于fastinst-d1中的实例激活引导的查询、双路径更新策略和真值掩码引导学习关键设计，使得算法更加的关注模糊边界及区域差异，同时也使得像素解码器更加轻量，进而使得在分割目标边缘上更加精确、更加迅速；
21、通过将人体区域图像person_area经过简单的图像处理，如尺寸统一、对比度增强后，利用fastinst-d1实例分割算法对车载行人进行具体分割，得到人体分割结果字典person_seg：{mask:[m1,m2,...,mn],class:[c1,c2,...,cn],score:[s1,s2,...,sn]},其中mask、class、score分别表示人体及车辆的实例分割的掩膜、分类、置信度结果，mi、ci、si分别表示分割结果中实例i的掩膜图像、类别以及分类置信度；
22、②分割统计后处理：分割人数统计处理的主要工作是以人体分割结果字典为基础，对分割结果中每一个实例，通过实例掩膜图像像素信息计算实例包围框信息box，并对box尺度较小的实例进行删除，得到最终人体分割结果person_seg：{mask:[m1,m2,...,mk],class:[c1,c2,...,ck],score:[s1,s2,...,sk],box:[b1,b2,...,bk]}，其中k为筛选后分割结果中实例数目，bi表示实例i的包围框，人体分割结果person_seg处理完成后添加到目标检测结果obj_detec中对应的人体目标中进行统一返回。
23、优选的，所述业务逻辑处理模块负责根据不同业务的需求，按需调用原子能力模块中的监控目标检测、人体分割、车牌识别功能，并根据业务判断逻辑将各原子能力中结果进行组合为可直接判别的数据，进而实现各场景如未佩戴安全帽、骑乘超载、违规载人、车辆无牌照业务；
24、以下对系统中未佩戴安全帽、骑乘超载、车辆无牌照三个常见业务的逻辑处理流程进行示例说明，流程包括：头部目标与人体目标关联、车牌目标与车辆目标的关联、特殊车辆目标与人体目标的关联三项，进行业务逻辑处理模块的实现；
25、首先模块将调用原子能力模块中监控目标检测能力的识别结果进行按类别(小型机动车、大型机动车、摩托车、三轮车、车牌、人体、戴头盔头部、正常头部、戴帽子头部)分类为：车辆列表car_list(包含类别：小型机动车、大型机动车、摩托车、三轮车)、车牌列表plate_list、头部类列表head_list(包含类别：戴头盔头部、正常头部、戴帽子头部)、人体列表person_list。
26、优选的，所述头部目标与人体目标关联负责将检测到离散的头部目标与人体目标一一关联，对每一个人体，仅关联一个人头，具体处理如下：
27、对人体列表中每一个人体目标：
28、a.计算当前人体目标与头部类列表head_list中每一个头部目标的相交关系inter_flag及相交部分占头部目标面积比例inter_prop；
29、b.从与该人体存在框相交关系的所有头部目标中，选择相交比例inter_prop最高的作为关联结果，将该头部目标对于加入到人体检测目标的"head_info"字段中，并从head_list中剔除。
30、优选的，所述车牌目标与车辆目标的关联包含3部分：车牌关联车辆，与车牌信息识别、车牌不可见补充处理；
31、①车牌关联车辆：在当前阶段，默认车辆是没有车牌，也即设置"plate"字段为false，对于车辆列表car_list中每一个车辆目标，通过判断车牌定位区域与车辆定位区域的包含关系，将车牌纳入车辆的车牌信息字段"plate_info"字段中；
32、②车牌信息识别：即调用原子能力模块中车牌识别服务对车牌定位区域内图像信息进行识别的过程，这个识别过程中加入了如下处理条件：
33、a.车牌像素、车牌宽高比的限制
34、a1.限制车牌宽高比需要大于于prop_thresh,prop_thresh常设置为2；
35、a2.限制车牌区域面积大于于1800像素，通常1800以上就可以识别出英文与数字信息，但中文可能会错；
36、b.车牌ocr识别信息的结果处理；
37、对车牌区域面积像素低于像素限制阈值pix_thresh的，且识别车牌字符长度大于5的车牌信息处理包括：
38、a.筛除车牌信息中除中文、英文字母及数字之外的其他字符；
39、b.判断字符串首位是否为中文，否则车牌识别结果无效；
40、③车牌不可见补充处理：
41、a.是否靠近图像边缘：判断车辆定位区域是否接近监控图像的边缘，超过限制阈值，则默认为有车牌，即设置"plate"字段为true；
42、b.是否是横向：判断车辆定位区域的宽高比大于车辆定位区域宽高比阈值，则判断车辆为严重横向，则默认为有车牌；
43、c.默认车牌位置是否被遮挡：根据车辆定位区域生成默认的车牌定位区域，并判断车牌默认定位区域是否与检测到的其他目标存在相交关系，则默认为有车牌；
44、最后，通过对车辆列表car_list中所有车辆，判断其中"plate"字段，实现车辆有无牌照业务。
45、优选的，所述特殊车辆目标与人体目标的关联主要是将人体信息以及未被关联的头部信息与三轮车、摩托车关联，用于判断超载与未戴安全帽，逻辑处理分为人体关联车辆、未关联人体的头部关联车辆、载人区域人体分割3部分：
46、①人体关联车辆：利用人体框与车辆框的相交关系判断，存在相交则将人体检测信息纳入车辆的载人信息字段'person_info'中，具体为：
47、对于车辆列表中的每一个车辆目标，与人体列表中每一个如果相交，
48、a.对于摩托车类，限制人体需要位于车辆的上方(通过人体中心点y值小于摩托车中心点y值实现)；
49、b.对于三轮车类，需要三轮车定位区域大幅程度的包含人体目标的定位区域；
50、②未关联人体的头部关联车辆：对车辆根据三轮车与摩托车的种类区分，在纵向上对车辆区域进行向上扩充；对于每一个头部，如果与车辆扩充框相交，且包含头部的大部分时，则将头部检测信息纳入车辆的载人信息字段"person_info"中；
51、③载人区域人体分割；
52、对车辆列表中的三轮车、摩托车类别，利用②中车辆纵向扩充区域裁剪道路监控图像获得载人区域图像drive_area，调用原子能力模块中实例分割能力获得车辆人体分割信息，并纳入车辆的载人分割信息字段"person_seg"中；
53、最后，通过对车辆列表car_list中所有的三轮车、摩托车车辆，判断载人信息"person_info"字段中人体与头部信息中是否存在正常头部类别，实现特殊车辆是否佩戴安全帽业务；通过统计载人分割信息"person_seg"字段中人体框数量，实现特殊车辆是否骑乘超载业务。
54、与现有技术相比，本发明的有益效果如下：
55、1、以目标检测与实例分割能力为基础设计原子能力模型，利用yolo目标检测算法检测图像中人体、车辆、头盔、车牌目标，再利用实例分割算法将人体区域进行不同人体分割，进行具体的人体统计信息。
56、2、通过将原子能力模型与业务剥离，根据业务数据与业务逻辑将系统异常识别需求解耦，利用原子能力模型统一将业务数据处理为固定格式的抽象信息，并设计场景对应性业务逻辑处理抽象信息，完成不同应用场景下的异常识别需求。
57、3、系统将对场景图像中超载人体统计拆解为人体定位与人体分割统计过程，通过将人体区域图像单独提出进行实例分割，降低了人体实例分割周围环境的噪声影响，使得人体统计信息更加准确，实现了一个低冗余、高性能的智能监控系统。
1.一种基于机器视觉的乡镇车辆监控分析系统，其特征在于，由原子能力处理模块与业务逻辑处理模块组成，共同完成对乡镇道路应用场景中的道路车辆监控分析任务，原子能力处理模块对各场景采集的道路车辆监控图像进行统一的图像算法处理，定位图像中监控目标并对定位区域进行人体实例分割，业务逻辑处理模块以原子能力处理模块格式化数据以及各场景业务需求为基础，设计适用于不同应用场景的业务逻辑与数据处理方法，完成对各监控场景中交通异常行为适配且精确的识别；
2.根据权利要求1所述的一种基于机器视觉的乡镇车辆监控分析系统，其特征在于，所述车载人体分割包括如下内容：
3.根据权利要求1所述的一种基于机器视觉的乡镇车辆监控分析系统，其特征在于，所述业务逻辑处理模块负责根据不同业务的需求，按需调用原子能力模块中的监控目标检测、人体分割、车牌识别功能，并根据业务判断逻辑将各原子能力中结果进行组合为可直接判别的数据，进而实现各场景如未佩戴安全帽、骑乘超载、违规载人、车辆无牌照业务；
4.根据权利要求3所述的一种基于机器视觉的乡镇车辆监控分析系统，其特征在于，所述头部目标与人体目标关联负责将检测到离散的头部目标与人体目标一一关联，对每一个人体，仅关联一个人头，具体处理如下：
5.根据权利要求3所述的一种基于机器视觉的乡镇车辆监控分析系统，其特征在于，所述车牌目标与车辆目标的关联包含3部分：车牌关联车辆，与车牌信息识别、车牌不可见补充处理；
6.根据权利要求3所述的一种基于机器视觉的乡镇车辆监控分析系统，其特征在于，所述特殊车辆目标与人体目标的关联主要是将人体信息以及未被关联的头部信息与三轮车、摩托车关联，用于判断超载与未戴安全帽，逻辑处理分为人体关联车辆、未关联人体的头部关联车辆、载人区域人体分割3部分：
