本发明涉及信息技术领域，特别是指基于交通数据及街景数据的交通违法行为识别方法和系统。
背景技术：
传统的识别交通违法行为的方式是人通过肉眼去观察路口监控摄像头中的影像，判断视频或者图像中的车辆是否发生违法行为，这种方式比较直接，发生误判的可能性较低，但是这种方式效率十分低下，需要大量的人力成本，难以做到24小时实时监控。进一步地，对于闯红灯、超速等违法情况可以通过在地面实现铺设好线圈或者雷达检测触发监控摄像头进行抓拍，但是这种方法并不适用于违法转弯之类的行为，尤其是在车来车往的繁华路段，会受到多种因素的干扰，能起到的作用十分有限。而随着计算机科学的发展、尤其是计算机视觉、图像识别技术和数据挖掘技术的快速发展，通过计算机识别违法转弯驾驶行为的方法也越来越多的被应用于城市交通管理中。目前通过计算机识别违法转弯驾驶行为的方法主要有两类，一类是根据交通监控摄像头抓拍的图像或者视频，通过计算机视觉和图像视频处理技术识别出车辆的违章行为；另一类是基于交通轨迹数据挖掘和统计方法对路段上车辆的速度、方向等特征参数进行建模识别违法行为。然而前者高度依赖于监控摄像头的正常工作，而交通摄像头往往无法做到全面覆盖，比如许多偏僻的路段没有设置摄像头以及摄像头本身存在盲区等。除此之外，监控摄像头在损坏后的维修不及时也会对违法驾驶行为的识别造成影响；后者的模型参数的选取不具有普适性、在不同路段识别的准确率可能相差很大，且车辆本身的轨迹数据容易受到噪声干扰。
技术实现要素：
针对上述现有技术存在的不足问题，本发明提出了基于交通数据及街景数据的交通违法行为识别方法和系统，设计并建立了一个低成本、全覆盖的违法驾驶行为识别系统，将城市大规模交通轨迹数据与街景数据相结合，能够有效地识别城市中的交通违法行为。尤其是发生在一些之前未被关注的路口路段的违法驾驶行为，帮助城市交通管理部门对城市道路交通环境有更深入全面的理解与掌握，为交通管理部门进行交通整治提供决策支持。
基于交通数据及街景数据的交通违法行为识别方法，其特征在于，所述方法包括：
s1：获取大规模车辆gps轨迹数据，应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，提取驾驶行为，构建驾驶行为数据库；
s2：获取驾驶行为发生前后的车辆行驶方向变化及该驾驶行为发生的位置获取对应的街景图片序列；
s3：将对应的街景图片序列中通过目标检测算法检测其中的交通标志，判断交通标志的类型是否与驾驶行为相对应，从而判断驾驶行为是否违法。
s1中还包括，对所述大规模车辆gps轨迹数据预处理和清洗，包括冗余数据去重、异常数据剔除和轨迹重构。
s1中应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，具体包括：利用高性能的开源路线规划引擎osrm(opensourceroutingmachine)实现基于隐马尔可夫模型的地图匹配算法，将车辆gps轨迹点数据转化为路段序列轨迹，转化为路口序列数据、转向行为数据。
所述s2具体包括：
获取驾驶行为发生的前一个驾驶行为以及两个驾驶行为间的车辆轨迹数据；
利用所述车辆轨迹数据采用三次多项式回归的方法拟合出发生在该驾驶行为之前的车辆行驶轨迹曲线；
获取曲线点对应的街景图片数据。
所述s3具体包括：
采用yolov3目标检测模型，利用中国的交通标志公开数据集进行训练；
输入街景图片数据对模型进行微调，得到适用于街景图片的交通标志检测模型；
将获取的街景图片序列输入到交通标志检测模型进行检测，识别交通标志数据；
判断驾驶行为是否违法。
基于交通数据及街景数据的交通违法行为识别系统，所述系统包括：驾驶行为提取模块、驾驶行为上下文复原模块和交通违法行为识别模块；
驾驶行为提取模块：用于获取大规模车辆gps轨迹数据，应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，提取驾驶行为，构建驾驶行为数据库；
驾驶行为上下文复原模块：用于获取驾驶行为发生前后的车辆行驶方向变化及该驾驶行为发生的位置获取对应的街景图片序列；
交通违法行为识别模块：用于将对应的街景图片序列中通过目标检测算法检测其中的交通标志，判断交通标志的类型是否与驾驶行为相对应，从而判断驾驶行为是否违法。
所述驾驶行为提取模块还用于对所述大规模车辆gps轨迹数据预处理和清洗，包括冗余数据去重、异常数据剔除和轨迹重构。
所述驾驶行为提取模块还用于应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，具体包括：利用高性能的开源路线规划引擎osrm(opensourceroutingmachine)实现基于隐马尔可夫模型的地图匹配算法，将车辆gps轨迹点数据转化为路段序列轨迹，转化为路口序列数据、转向行为数据。
所述驾驶行为上下文复原模块还用于：
获取驾驶行为发生的前一个驾驶行为以及两个驾驶行为间的车辆轨迹数据；
利用所述车辆轨迹数据采用三次多项式回归的方法拟合出发生在该驾驶行为之前的车辆行驶轨迹曲线；
获取曲线点对应的街景图片数据。
所述交通违法行为识别模块还用于：
采用yolov3目标检测模型，利用中国的交通标志公开数据集进行训练；
输入街景图片数据对模型进行微调，得到适用于街景图片的交通标志检测模型；
将获取的街景图片序列输入到交通标志检测模型进行检测，识别交通标志数据；
判断驾驶行为是否违法。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)使用了地图匹配算法进行驾驶行为的提取，解决了直接从轨迹数据中提取转向等驾驶行为存在的各种弊端；方案将人工智能技术与大规模街景图片数据相结合，利用深度学习目标检测算法检测街景图片中的交通标志，为违法行为的识别提供依据；且通过将驾驶行为与街景图片相匹配，将轨迹数据转化为驾驶行为序列，再将驾驶行为序列转化为路段序列，极大地减少了所需要进行检测的街景图片数量，并能够将交通标志与驾驶行为相匹配，识别出对应的违法驾驶行为；
(2)设计并建立了一个低成本、全覆盖的违法驾驶行为识别系统，将城市大规模交通轨迹数据与街景数据相结合，能够有效地识别城市中的交通违法行为。尤其是发生在一些之前未被关注的路口路段的违法驾驶行为，帮助城市交通管理部门对城市道路交通环境有更深入全面的理解与掌握，为交通管理部门进行交通整治提供决策支持。
附图说明
图1为直接从轨迹中提取转向行为示意图(p1、p2、p3：三个轨迹点)；
图2为采样频率足够高的gps轨迹；
图3为地图匹配后的车辆轨迹(p1、p2、p3：三个轨迹点，r1、r2、r3：p1、p2、p3点对应的路段)；
图4为街景图片中的交通标志。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明公开了基于交通数据及街景数据的交通违法行为识别方法和系统，将城市大规模交通轨迹数据与街景数据相结合，能够有效地识别城市中的交通违法行为。
所公开的基于交通数据及街景数据的交通违法行为识别方法，其特征在于，所述方法包括：
s1：获取大规模车辆gps轨迹数据，应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，提取驾驶行为，构建驾驶行为数据库；
s2：获取驾驶行为发生前后的车辆行驶方向变化及该驾驶行为发生的位置获取对应的街景图片序列；
s3：将对应的街景图片序列中通过目标检测算法检测其中的交通标志，判断交通标志的类型是否与驾驶行为相对应，从而判断驾驶行为是否违法。
优选的，s1中还包括，对所述大规模车辆gps轨迹数据预处理和清洗，包括冗余数据去重、异常数据剔除和轨迹重构。
gps定位信息容易受到各种因素的干扰而产生误差，原始的gps轨迹数据中往往存在不少异常的记录，需要对其进行清洗处理，并对轨迹数据进行重构。冗余数据指原始的gps轨迹数据中存在同一辆车在同一个时间点有多条重复记录的情况，如果不进行处理，在后续构建驾驶行为数据库过程中会被误判为停车行为或者对地图匹配的结果产生干扰，此时需要将多余的记录删除，只留下一条记录。
由于gps误差、设备异常等原因，数据库中会有一些异常的数据不能用于地图匹配或静止点提取，需要将这些数据剔除。异常数据主要分为两种，一种是记录的经纬度数据异常，另一种是车辆的记录数异常。对于异常的经纬度数据，如经度超过180度或者纬度超过90度的记录，这些数据无法进行地图匹配也不能作为静止点提取，如果不做处理会对后续驾驶行为数据库的构建产生干扰，因此需要对其进行剔除；对于车辆的记录数异常，存在一些车辆的轨迹数据记录数量小于2的情况，在这种情况下gps的定位点无法构成车辆轨迹，对驾驶行为的获取没有意义，需要进行剔除。
而由于车辆搭载的gps定位工具的属性配置不一，不同车的轨迹点记录的疏密程度也存在差异。而对于某一辆车的轨迹记录的时间分布也不是均匀的，如果轨迹点之间的时间间隔太大，将会对地图匹配的精度产生影响。因此，对于某辆车的轨迹，将轨迹点之间时间间隔大于1分钟的记录断开，拆分成多条轨迹，分别进行下一步的地图匹配得到驾驶行为。
优选的，s1中应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，具体包括：利用高性能的开源路线规划引擎osrm(opensourceroutingmachine)实现基于隐马尔可夫模型的地图匹配算法，将车辆gps轨迹点数据转化为路段序列轨迹，转化为路口序列数据、转向行为数据。
目前，直接从从车辆轨迹数据中提取驾驶行为存在诸多弊端，首先是对轨迹点的采样频率要求严苛，如图1所示，对于车辆对于车辆gps轨迹p1→p2→p3，直接从轨迹中无法发现从p1点到p2点的右转行为，也无法发现从p2点到p3点的左转行为，而这就是gps点采样频率较低造成的。
然而就算gps点采样频率足够高，直接从车辆轨迹中提取转向行为仍然存在不少问题，如图2所示，车辆在行驶过程中由于超车、避让等操作即使是沿着同一条路直行其gps轨迹仍然会存在一些曲折，而这些曲折不结合路网的话很难判断是否是真的发生了转向行为还是只是如图中黑圈部分所示的其实本质让还是沿着同一条路直行。
除此之外，直接从轨迹中提取转向行为还会将道路自身存在的转弯也考虑进来，而本文所研究的转向行为是指车辆在路口处不受道路结构的限制，有左转、右转、掉头等多种驾驶行为中的两种及以上行为可以选择时，所做出的与该路口对应的禁令交通标志如禁止左转、禁止右转、禁止掉头相违的行为。
然而，基于地图匹配(map-matching)算法将车辆原本由gps点位序列组成的轨迹转化为由其对应的道路序列组成的轨迹，再从中提取转向行为的方法，能够解决脱离道路结构从轨迹数据中直接提取车辆的转向行为存在的各种弊端。而且由于gps定位信息存在误差，原始的gps经纬度坐标定位到地图上就可能会出现点位在建筑物、海面等不合理的情况，通过地图匹配将原始轨迹点映射到其周边的路网上，选择置信度最高的路段作为匹配结果，将车辆的原始轨迹转换为在路网上的轨迹，由此能将gps轨迹点位与路网关联，将gps定位点轨迹转化成路段序列轨迹。采用高性能的开源路线规划引擎osrm(opensourceroutingmachine)可以实现基于隐马尔可夫模型的地图匹配算法，将车辆gps轨迹点数据转化为路段序列轨迹，再进一步转化为路口序列数据、转向行为数据。具体而言，以正北方向为0°，按照顺时针顺序定义车辆发生转向行为前后的行驶方向，将转向行为发生前后车辆行驶方向变化等于180°的行为称为掉头行为；将转向行为发生前后车辆行驶方向变化为0°的称为直行，将转向行为发生前后车辆行驶方向变化大于等于160°小于200°的称为掉头行为，将转向行为发生前后的车辆行驶方向变化大于200°小于360°的行为称为左转行为。如图3所示，通过地图匹配将轨迹p1→p2→p3转化成了r1→r2→r3，就能识别出车辆在这段轨迹中做出的右转行为和左转行为。
优选的，所述s2具体包括：获取驾驶行为发生的前一个驾驶行为以及两个驾驶行为间的车辆轨迹数据；利用所述车辆轨迹数据采用三次多项式回归的方法拟合出发生在该驾驶行为之前的车辆行驶轨迹曲线；获取曲线点对应的街景图片数据；
对于发生在某个路口的驾驶行为，获取该驾驶行为发生的前一个驾驶行为，并截取这两个驾驶行为之间的车辆轨迹数据，由于车辆轨迹数据规模巨大，这些轨迹数据可以描绘出该驾驶行为发生之前司机通过的路段，利用这些轨迹数据，采用三次多项式回归的方法拟合出一条可以概括发生在该驾驶行为之前的车辆行驶轨迹，具体而言，对于轨迹点集合pi＝{(x1，y1)，(x2，y2)，...，(xn，yn)}，其中n为该段轨迹数量，得到一条曲线h(x)＝θ0 θ1x θ2x2 θ3x3满足
优选的，所述s3具体包括：采用yolov3目标检测模型，利用中国的交通标志公开数据集进行训练；输入街景图片数据对模型进行微调，得到适用于街景图片的交通标志检测模型；将获取的街景图片序列输入到交通标志检测模型进行检测，识别交通标志数据；判断驾驶行为是否违法；
针对某一驾驶行为及其对应的街景图片序列，从街景序列中检测是否存在对应的交通标志，如左转行为对应的街景图片中是否存在禁止左转的交通标志。具体而言，采用yolov3目标检测模型，首先利用大规模中国街景图片交通标志公开数据集进行训练，将该数据集的80％作为训练集，20％作为验证集，得到交通标志检测模型，为了使该模型更加适用于每个城市当地的情况，再利用从具体的某一城市中采集的三百张街景图片对该模型进行微调，最后得到适用的街景图片交通标志检测模型，可以识别分类城市中的多种交通标志数据。如图4为街景图片中的交通标志，合理利用公开数据集可以极大地减少收集标注图片的工作量，也使得模型更具有普适性。
将获取的街景图片序列输入到yolov3目标检测模型中，识别出交通标志数据，在得到驾驶行为对应的交通标志之后，即可判断该驾驶行为是否违法，例如对于掉头的驾驶行为，在该驾驶行为发生之前的一段街景图片序列中检测到了禁止掉头的交通标志，则该驾驶行为可以被判定为交通违法行为。
本发明公开的方案中使用了地图匹配算法进行驾驶行为的提取，解决了直接从轨迹数据中提取转向等驾驶行为存在的各种弊端；方案将人工智能技术与大规模街景图片数据相结合，利用深度学习目标检测算法检测街景图片中的交通标志，为违法行为的识别提供依据；且通过将驾驶行为与街景图片相匹配，将轨迹数据转化为驾驶行为序列，再将驾驶行为序列转化为路段序列，极大地减少了所需要进行检测的街景图片数量，并能够将交通标志与驾驶行为相匹配，识别出对应的违法驾驶行为；
此外，本发明设计并建立了一个低成本、全覆盖的违法驾驶行为识别系统，将城市大规模交通轨迹数据与街景数据相结合，能够有效地识别城市中的交通违法行为。尤其是发生在一些之前未被关注的路口路段的违法驾驶行为，帮助城市交通管理部门对城市道路交通环境有更深入全面的理解与掌握，为交通管理部门进行交通整治提供决策支持。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
1.基于交通数据及街景数据的交通违法行为识别方法，其特征在于，所述方法包括：
s1：获取大规模车辆gps轨迹数据，应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，提取驾驶行为，构建驾驶行为数据库；
s2：获取驾驶行为发生前后的车辆行驶方向变化及该驾驶行为发生的位置获取对应的街景图片序列；
s3：将对应的街景图片序列中通过目标检测算法检测其中的交通标志，判断交通标志的类型是否与驾驶行为相对应，从而判断驾驶行为是否违法。
2.根据权利要求1所述的基于交通数据及街景数据的交通违法行为识别方法，其特征在于，所述s1中还包括，对所述大规模车辆gps轨迹数据预处理和清洗，包括冗余数据去重、异常数据剔除和轨迹重构。
3.根据权利要求1所述的基于交通数据及街景数据的交通违法行为识别方法，其特征在于，所述s1中应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，具体包括：利用高性能的开源路线规划引擎osrm(opensourceroutingmachine)实现基于隐马尔可夫模型的地图匹配算法，将车辆gps轨迹点数据转化为路段序列轨迹，转化为路口序列数据、转向行为数据。
4.根据权利要求1所述的基于交通数据及街景数据的交通违法行为识别方法，其特征在于，所述s2具体包括：
获取驾驶行为发生的前一个驾驶行为以及两个驾驶行为间的车辆轨迹数据；
利用所述车辆轨迹数据采用三次多项式回归的方法拟合出发生在该驾驶行为之前的车辆行驶轨迹曲线；
获取曲线点对应的街景图片数据。
5.根据权利要求1所述的基于交通数据及街景数据的交通违法行为识别方法，其特征在于，所述s3具体包括：
采用yolov3目标检测模型，利用中国的交通标志公开数据集进行训练；
输入街景图片数据对模型进行微调，得到适用于街景图片的交通标志检测模型；
将获取的街景图片序列输入到交通标志检测模型进行检测，识别交通标志数据；
判断驾驶行为是否违法。
6.基于交通数据及街景数据的交通违法行为识别系统，其特征在于，所述系统包括：驾驶行为提取模块、驾驶行为上下文复原模块和交通违法行为识别模块；
驾驶行为提取模块：用于获取大规模车辆gps轨迹数据，应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，提取驾驶行为，构建驾驶行为数据库；
驾驶行为上下文复原模块：用于获取驾驶行为发生前后的车辆行驶方向变化及该驾驶行为发生的位置获取对应的街景图片序列；
交通违法行为识别模块：用于将对应的街景图片序列中通过目标检测算法检测其中的交通标志，判断交通标志的类型是否与驾驶行为相对应，从而判断驾驶行为是否违法。
7.根据权利要求6所述的基于交通数据及街景数据的交通违法行为识别系统，其特征在于，所述驾驶行为提取模块还用于对所述大规模车辆gps轨迹数据预处理和清洗，包括冗余数据去重、异常数据剔除和轨迹重构。
8.根据权利要求6所述的基于交通数据及街景数据的交通违法行为识别系统，其特征在于，所述驾驶行为提取模块还用于应用地图匹配算法，将车辆轨迹数据与道路网络将匹配，具体包括：利用高性能的开源路线规划引擎osrm(opensourceroutingmachine)实现基于隐马尔可夫模型的地图匹配算法，将车辆gps轨迹点数据转化为路段序列轨迹，转化为路口序列数据、转向行为数据。
9.根据权利要求6所述的基于交通数据及街景数据的交通违法行为识别系统，其特征在于，所述驾驶行为上下文复原模块还用于：
获取驾驶行为发生的前一个驾驶行为以及两个驾驶行为间的车辆轨迹数据；
利用所述车辆轨迹数据采用三次多项式回归的方法拟合出发生在该驾驶行为之前的车辆行驶轨迹曲线；
获取曲线点对应的街景图片数据。
10.根据权利要求6所述的基于交通数据及街景数据的交通违法行为识别系统，其特征在于，所述交通违法行为识别模块还用于：
采用yolov3目标检测模型，利用中国的交通标志公开数据集进行训练；
输入街景图片数据对模型进行微调，得到适用于街景图片的交通标志检测模型；
将获取的街景图片序列输入到交通标志检测模型进行检测，识别交通标志数据；
判断驾驶行为是否违法。
技术总结