本发明实施例涉及交通监控技术领域,具体而言,涉及一种车辆不礼让行人检测方法及装置。
背景技术:
随着人民生活水平的不断提高,机动车的保有量逐年增加,人、车、路的矛盾日益突出,文明参与交通的要求显得非常迫切。按照《道路交通安全法》规定,在斑马线区域行人拥有优先通行权,机动车行驶至附近需主动停下来礼让行人。遗憾的是,现实中,很多车辆在斑马线前不减速、不礼让,车辆与行人争抢极易引发交通事故。
现有技术中,为了制止车辆不礼让行人,交通巡警也采取了不同的方法,例如,交警现场执法、设置立体斑马线、设置减速带等等,但是均需要耗费量的人力和物力,增加了执法人员的工作负担,且执法效果不佳。
技术实现要素:
本发明实施例的目的在于提供一种车辆不礼让行人检测方法及装置,以改善现有技术中执法人员的工作负担太重,且执法效果不佳的问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种车辆不礼让行人检测方法,所述方法包括:当检测到有车辆驶入第一预设区域时,获取第一证据图和第二证据图,其中,所述第一证据图和所述第二证据图均包括目标行人和目标车辆;依据所述第一证据图生成第一网络模型图,并对所述第一网络模型图进行目标定位,以得到第一坐标集,其中,所述第一坐标集包括所述第一证据图中的目标车辆坐标和目标行人坐标;依据所述第二证据图生成第二网络模型图,并对所述第二网络模型图进行目标定位,以得到第二坐标集,其中,所述第二坐标集包括所述第二证据图中的目标车辆坐标和目标行人坐标;对所述第一坐标集和所述第二坐标集进行计算,得到目标行人和目标车辆的目标行进信息;将所述目标行进信息与预设行进信息进行比较,并在所述目标行进信息符合所述预设行进信息时,判定所述目标车辆不礼让行人。
第二方面,本发明实施例提供了一种车辆不礼让行人检测装置,所述装置包括:证据图获取模块,用于当检测到有车辆驶入第一预设区域时,获取第一证据图和第二证据图,其中,所述第一证据图和所述第二证据图均包括目标行人和目标车辆;第一坐标集提取模块,用于依据所述第一证据图生成第一网络模型图,并对所述第一网络模型图进行目标定位,以得到第一坐标集,其中,所述第一坐标集包括所述第一证据图中的目标车辆坐标和目标行人坐标;第二坐标集提取模块,用于依据所述第二证据图生成第二网络模型图,并对所述第二网络模型图进行目标定位,以得到第二坐标集,其中,所述第二坐标集包括所述第二证据图中的目标车辆坐标和目标行人坐标;行进信息计算模块,用于对所述第一坐标集和所述第二坐标集进行计算,得到目标行人和目标车辆的目标行进信息;不礼让判定模块,用于将所述目标行进信息与预设行进信息进行比较,并在所述目标行进信息符合所述预设行进信息时,判定所述目标车辆不礼让行人。
相对现有技术,本发明实施例提供的一种车辆不礼让行人检测方法及装置,首先,在车辆驶入第一预设区域时获取包括目标行人和目标车辆的第一证据图和第二证据图;然后,通过第一网络模型图定位出目标车辆和目标行人在第一证据图中的坐标,通过第二网络模型图定位出目标车辆和目标行人在第二证据图中的坐标;最后,依据目标车辆和目标行人在第一证据图中的坐标、以及目标车辆和目标行人在第二证据图中的坐标,得到目标行人和目标车辆的目标行进信息,并在目标行进信息符合预设行进信息时,判定目标车辆不礼让行人。与现有技术相比,本发明实施例提供的车辆不礼让行人检测方法,可以快速、准确地检测出车辆是否不礼让行人,以减轻执法人员的工作负担,同时也能达到较好的执法效果。
为使本发明实施例的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的摄像装置的连接关系图。
图2示出了本发明实施例提供的摄像装置的方框示意图。
图3示出了本发明实施例提供的车辆不礼让行人检测方法的流程图。
图4示出了本发明实施例提供的摄像头拍摄区域结构示意图。
图5示出了本发明实施例提供的第一证据图的示例。
图6示出了本发明实施例提供的第一网络模型图的示例。
图7为图3示出的步骤s2的子步骤流程图。
图8为图7示出的子步骤s21的子步骤流程图。
图9示出了本发明实施例提供的第一缩放图占比1/4的拼接组合示意图。
图10示出了本发明实施例提供的第一缩放图占比大于1/4的拼接组合示意图。
图11示出了本发明实施例提供的包含坐标系的第一网络模型图示例。
图12示出了本发明实施例提供的第一网络模型图的拼接示意图。
图13为图7示出的子步骤s24的子步骤流程图。
图14为图3示出的步骤s4的子步骤流程图。
图15示出了本发明实施例提供的车辆不礼让行人检测装置的方框示意图。
图16示出了本发明实施例提供的第一坐标集提取模块的方框示意图。
图17示出了本发明实施例提供的行进信息计算模块的方框示意图。
图标:100-摄像装置;101-处理器;102-存储器;103-总线;104-通信接口;105-显示屏;106-摄像头;200-车辆不礼让行人检测装置;201-证据图获取模块;202-第一坐标集提取模块;221-第一网络图提取单元;222-第一目标提取单元;223-网络坐标集获取单元;224-第一坐标集定位单元;203-第二坐标集提取模块;204-行进信息计算模块;241-第一计算单元;242-第二计算单元;243-第三计算单元;205-不礼让判定模块;206-不礼让证据获取模块;300-服务器。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本发明实施例提供的车辆不礼让行人检测方法应用于摄像装置100,请参阅图1,摄像装置100与服务器300通信连接。
请参阅图2,图2示出了本发明实施例提供的摄像装置100的方框示意图,摄像装置100包括处理器101、存储器102、总线103、通信接口104、显示屏105及摄像头106。处理器101、存储器102、通信接口104、显示屏105及摄像头106通过总线103连接,处理器101用于执行存储器102中存储的可执行模块,例如计算机程序。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,车辆不礼让行人检测方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器101,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(digitalsignalprocessor,简称dsp)、专用集成电路(applicationspecificintegratedcircuit,简称asic)、现成可编程门阵列(field-programmablegatearray,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器102可能包含高速随机存取存储器(ram:randomaccessmemory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。
总线103可以是isa(industrystandardarchitecture)总线、pci(peripheralcomponentinterconnect)总线或eisa(extendedindustrystandardarchitecture)总线等。图2中仅用一个双向箭头表示,但并不表示仅有一根总线103或一种类型的总线103。
摄像装置100通过至少一个通信接口104(可以是有线或者无线)实现该摄像装置100与服务器300之间的通信连接。存储器102用于存储程序,例如车辆不礼让行人检测装置200。车辆不礼让行人检测装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器102中或固化在摄像装置100的操作系统(operatingsystem,os)中的软件功能模块。所述处理器101在接收到执行指令后,执行所述程序以实现车辆不礼让行人检测方法。
显示屏105用于对图像进行显示,显示的内容可以是处理器101的一些处理结果。显示屏105可以是触摸显示屏、无交互功能的显示屏等。显示屏105可以将第一证据图、第二证据图、第一网络模型图及第二网络模型图进行显示。
摄像头106用于拍摄照片并通过总线103发送至处理器101进行处理,或者发送至存储器102进行存储。
第一实施例
请参阅图3,图3示出了本发明实施例提供的车辆不礼让行人检测方法的流程图。车辆不礼让行人检测方法包括以下步骤:
步骤s1,当检测到有车辆驶入第一预设区域时,获取第一证据图和第二证据图,其中,第一证据图和第二证据图均包括目标行人和目标车辆。
请参阅图4,第一预设区域可以是车辆驶入摄像头106拍摄区域中在斑马线之前的区域。请参阅图5,第一证据图可以是包含目标车辆、目标行人、斑马线区域、其它车辆及其它行人的图片,第二证据图可以是包含目标车辆、目标行人、斑马线区域、其它车辆以及其它行人的图片,其中,目标车辆可以是各种汽车、电车、电瓶车、摩托车等机动车,目标行人可以是位于斑马线区域及其临近区域的行人,第一证据图中和第二证据图中的其它车辆及其它行人可以是相同的车辆和行人,也可以是不同的车辆和行人,在本实施例中不作限定。作为一种实施方式,考虑到目标车辆中途停止等因素,第二证据图的最佳抓拍点为目标车辆完全占据斑马线区域。第一证据图和第二证据图可以是通过摄像头106实时拍摄得到。
步骤s2,依据第一证据图生成第一网络模型图,并对第一网络模型图进行目标定位,以得到第一坐标集,其中,第一坐标集包括第一证据图中的目标车辆坐标和目标行人坐标。
请参阅图6,第一网络模型图可以是将第一证据图进行缩放、分割及拼接得到的图像。第一坐标集可以是第一证据图中的目标车辆坐标和目标行人坐标,可以理解为,第一坐标集是目标车辆和目标行人在第一证据图中的坐标。依据第一证据图生成第一网络模型图,并对第一网络模型图进行目标定位,以得到第一坐标集的步骤,可以理解为,将第一证据图进行放大或者缩小之后,分割出需要的部分,然后将其进行拼接,得到第一网络模型图,把第一网络模型图输入经过训练之后的神经网络中进行目标检测,检测出第一网络模型图中的目标行人和目标车辆,再确定出目标行人和目标车辆在第一网络模型图中对应的坐标,依据上述坐标定位出目标行人和目标车辆在第一证据图中的坐标,得到第一坐标集。
下面以第一证据图中包括目标车辆和目标行人(行人a)为例,进行阐述。
第一证据图中包括目标车辆和目标行人(行人a),且行人a在斑马线区域,将第一证据图为原始图像,将第一证据图进行缩放,得到两张大小不同的缩放图,将其中较大的一张图进行斑马线区域分割提取,并与较小的一张图拼接形成第一网络模型图,对第一网络模型图进行目标检测之后,得到行人a和目标车辆的检测框,从较大的一张图中确定出行人a在第一网络模型图中的坐标可以表示为(15,3,1,2),其中,(15,3)代表检测框左上角的坐标,(1,2)分别代表检测框的长度和宽度,以此形成了行人a在第一网络模型图中的具体坐标,从较小的一张图中确定出目标车辆在第一网络模型图中的目标可以表示为(5,3,1,1),其中(5,3)代表检测框左上角的坐标,(1,1)分别代表检测框的长度和宽度,以此形成目标车辆在第一网络模型图中的具体坐标。将行人a的坐标定位回第一证据图中,将目标车辆的坐标定位回第一证据图中,即可得到第一坐标集。
请参阅图7,步骤s2还可以包括以下子步骤:
子步骤s21,按照预设参数对第一证据图进行处理,得到第一网络模型图。
在本发明实施例中,预设参数可以包括第一预设比例和第二预设比例,第一预设比例可以是用户设置的用于对第一证据图进行尺寸缩放的比例,第二预设比例可以是用户设置的用于对第一证据图进行尺寸缩放的比例,第一预设比例和第二预设比例可以是不相同的比例,例如,第一预设比例可以是a1和b1,第二预设比例可以是a0和b0。第一证据图中包括了第一预设区域和第二预设区域,其中,第二预设区域可以是摄像头106拍摄区域中,斑马线区域和斑马线区域之后的区域。所述按照预设参数对第一证据图进行处理,得到第一网络模型图的步骤,可以理解为,将第一证据图进行第一次缩放,得到第一缩放图,将第一证据图进行第二次缩放,得到第二缩放图,将第二缩放图中包含了斑马线区域的图像分割出来,再与第一缩放图进行拼接,得到了第一网络模型图。
请参阅图8,子步骤s21还可以包括以下子步骤:
子步骤s211,将第一证据图按照第一预设比例进行缩放,得到第一缩放图。
在本发明实施例中,第一缩放图可以是将第一证据图按照第一预设比例进行缩小或者放大得到的图片。由于不同的摄像头106拍摄出来的图片大小不一致,为了依据第一证据图生成长宽固定的第一网络模型图,所以需要在第一证据图的图片较大时,对其按照第一预设比例进行缩小,在第一证据图的图片较小时,对其按照第一预设比例进行放大。具体地,以将第一证据图按照第一预设比例进行缩小,得到第一缩放图为例,第一预设比例可以是a1,b1,第一证据图的图像尺寸为m*n,那么,得到的第一缩放图的尺寸为(m/a1)*(n/b1)。
子步骤s212,将第一证据图按照第二预设比例进行缩放,得到第二缩放图。
在本发明实施例中,第二缩放图可以是将第一证据图按照第二预设比例进行缩小或者放大得到的图片。由于不同的摄像头106拍摄出来的图片大小不一致,为了依据第一证据图生成长宽固定的第一网络模型图,所以,需要在第一证据图的图片较大时,对其按照第二预设比例进行缩小,在第一证据图的图片较小时,对其按照第二预设比例进行放大。具体地,以将第一证据图按照第二预设比例进行缩小,得到第二缩放图为例,第二预设比例可以是a0,b0,第一证据图的图像尺寸为m*n,那么,得到的第一缩放图的尺寸为(m/a0)*(n/b0)。
需要说明的是,第二缩放图的尺寸会大于第一缩放图的尺寸,在本发明的其它实施例中,子步骤s211和子步骤s212的执行顺序可以交换,或者也可以同时执行子步骤s211和子步骤s212。
子步骤s213,依据斑马线区域和第一缩放图对第二缩放图进行分割,得到多张分割图。
在本发明实施例中,分割图可以是将第二缩放图进行至少一次分割后得到的图像。依据斑马线区域和第一缩放图对第二缩放图进行分割,得到多张分割图的步骤,可以理解为,首先,依据斑马线区域对第二缩放图对分割,得到包含斑马线区域的第一分割图和未包含斑马线区域的第二分割图,然后,再依据第一缩放图对第一分割图进行分割,得到第一子分割图和第二子分割图,可以理解为,第一放缩图的长度等于第一子分割图的长度与第二子分割图的长度之间的差值。多张分割图可以由第一分割图的第一子分割图、第二子分割图及第二分割图构成。
子步骤s214,筛选出多张分割图中包含斑马线区域的至少一张目标分割图,并将至少一张目标分割图与第一缩放图进行拼接,得到第一网络模型图。
在本发明实施例中,目标分割图可以是包含斑马线区域的分割图,筛选出多张分割图中包含斑马线区域的至少一张目标分割图的步骤,可以理解为,将子步骤s213得到的多张分割图进行筛选,得到包含有斑马线区域的分割图,即目标分割图。其中,包含有斑马线区域的分割图可能不止一张,例如,上述的第一子分割图和第二子分割图均有包括斑马线区域,所以经过筛选,能够得到至少一张目标分割图。将至少一张目标分割图与第一缩放图进行拼接,得到第一网络模型图的步骤,可以理解为,第一网络模型图的长度和宽度都是固定的,需要将至少一张目标分割图和第一缩放图进行合理的拼接,才能使得至少一张目标分割图和第一缩放图构成长宽固定的第一网络模型图。例如,第一缩放图为a1,第一子分割图为b0_1,第二子分割图为b0_2,若设定第一缩放图占比1/4拼接组合,可以有如图9所示的几种拼接方式,若设定第一缩放图占比超过1/4拼接组合,可以有如图10所示的几种拼接方式。通过筛选出至少一张目标分割图,再将目标分割图与第一缩放图进行拼接,得到第一网络模型图,在第一网络图中,第一子分割图和第二子分割图包括的斑马线区域会比较清晰,斑马线区域的行人也会较为清晰,易于识别。
下面对一个完整的拼接过程进行描述,但仅仅为本发明实施例的一种拼接方式,本发明还可以有其它的拼接方式,在此不作限定。
第一证据图的尺寸为m*n,第一网络模型图的尺寸在m*n,第一预设比例为a1,b1,第二预设比例为a0,b0,第一放缩图a1的尺寸为(m/a1)*(n/b1),第二放缩图的a0的尺寸为(m/a0)*(n/b0)。第一放缩图a1的尺寸小于第二放缩图a0,第一放缩图占比1/4时,其中a1=2m/m,b1=2n/n。
请结合参阅图11和图12,建立以图像左上顶点为坐标原点的坐标系。
第一网络模型图m*n被划分为4个部分,为确保刚好占满m*n大小的第一网络模型图,则要求第二缩放图a0的长度小于第一缩放图a1长度的3倍,即m/a0<=3*m/a1,则a0>a1/3=2m/3m;a0/b0=a1/b1,则b0=a0*b1/a1。可以理解为,a0越小,第二缩放图a0则越大,相应的目标行人尺寸也会越大,便于进行检测。
分割出第二缩放图a0中的斑马线区域,并完成与第一缩放图a1的拼接。假设第二缩放图a0中斑马线区域的左下方坐标为(0,y0),截取的高度与图像a1高度一致,为n/b1=n/2,截取的图像为b0;由于斑马线区域b0占据图像3/4的区域,需要将其切分成两部分b0_1、b0_2,将b0从左往右m/2宽度的部分填充至右上区域,而将b0从右往左m宽度的部分填充至下半部分。其中b0左右截取填充区域可能会存在区域的交叠,后续需要对交叠区域做检测框的融合操作。
子步骤s22,对第一网络模型图进行目标检测,得到第一网络模型图中的第一目标,其中,第一目标包括目标车辆和目标行人。
在本发明实施例中,第一目标可以是第一网络模型图中的目标车辆和目标行人。可以将第一网络模型图输入预设的卷积神经网络进行目标检测,也可以通过可变形部件模型进行目标检测,还可以是其它进行目标检测的方式,在此不作限定。对第一网络模型图进行目标检测,得到第一网络模型图中的第一目标的步骤,可以理解为,将第一网络模型图输入目标检测模型进行目标检测,得到第一网络模型图中的目标车辆和目标行人。
需要说明的是,在至少一张目标分割图中进行目标行人的目标检测,在第一缩放图中进行目标车辆的目标检测。将第一网络模型图中的不同区域进行不同目标(目标行人和目标车辆)的检测,可以提高检测效率,且在清晰的目标分割图中对目标行人进行检测,能够提高检出率,且减少了目标检测所需的时间。
子步骤s23,获取第一目标在第一网络模型图中的坐标,得到第一网络坐标集。
在本发明实施例中,第一网络坐标集可以是第一网络模型图中目标车辆和目标行人的坐标。第一目标在第一网络模型图中有其对应的坐标,由于第一目标包括了目标车辆和目标行人,无论是目标车辆还是目标行人,在第一网络模型图中占据的是一个矩形区域,为了准确定位出目标车辆和目标行人所占的矩形区域,其坐标可以由其中矩形区域的长和宽加上矩形区域的一个顶角来表示。例如,目标车辆的坐标可以是(x,y,w,h),其中,x、为矩形区域左上角顶点的横坐标,y为矩形区域左上角顶点的纵坐标,w为矩形区域的长度,h为矩形区域的宽度。将第一网络模型图中目标行人和目标车辆的坐标获取到,即可组成第一网络坐标集。
子步骤s24,依据预设参数将第一网络坐标集定位到第一证据图中,得到第一坐标集。
在本发明实施例中,预设参数可以是第一预设比例和第二预设比例。第一坐标集可以是目标车辆和目标行人在第一证据图中的坐标。在子步骤s23得到第一网络模型图中的第一坐标网络坐标集之后,需要将坐标进行恢复,定位回到第一证据图中,以便后续进行比较。依据预设参数将第一网络坐标集定位到第一证据图中,得到第一坐标集的步骤,可以理解为,首先,依据第一网络模型图中的目标车辆坐标和第一预设比例,得到第一证据图中的目标车辆坐标;然后,依据第一网络模型图中的目标行人坐标和第二预设比例,得到第一证据图中的目标行人坐标,目标车辆坐标和目标行人坐标构成第一坐标集。
请参阅图13,子步骤s24还可以包括以下子步骤:
子步骤s241,依据第一网络模型图中的目标车辆坐标和第一预设比例,得到第一证据图中的目标车辆坐标。
在本发明实施例中,第一网络模型图中的目标车辆的目标检测是在第一放缩图中进行的,而第一放缩图是第一证据图按照第一预设比例进行缩放得到,所以,可以依据第一网络模型图中的目标车辆坐标和第一预设比例,得到第一证据图中的目标车辆坐标。例如,第一网络模型图如图11和图12所示,目标车辆在第一网络模型图中的坐标为(x1,y1,w1,h1),第一预设比例为a1,b1,目标车辆在第一证据图中的坐标(x1,y1,w1,h1),那么按照公式1:x1=x1*a1,y1=y1*b1,w1=w1*a1,h1=h1*b1即可计算出第一证据图中目标车辆的坐标。
子步骤s242,依据第一网络模型图中的目标行人坐标和第二预设比例,得到第一证据图中的目标行人坐标,目标车辆坐标和目标行人坐标构成第一坐标集。
在本发明实施例中,第一网络模型图中的目标行人的目标检测是在至少一个目标分割图中进行的,而至少一个目标分割图是第一证据图按照第二预设比例进行缩放得到,所以,可以依据第一网络模型图中的目标行人坐标和第二预设比例,得到第一证据图中的目标行人坐标。
例如,第一网络模型图的尺寸是m*n,第一证据图的尺寸是m*n,目标行人在第一网络模型图中的坐标为(x2,y2,w2,h2),第二预设比例为a0,b0,目标行人在第一证据图中的坐标(x2,y2,w2,h2),那么在b0_2中目标行人的坐标按照公式2:x2=(x2-m/2)*a0,y2=(y2 y0-n/2)*b0,w2=w2*a0,h2=h2*b0,在b0_1中目标行人的坐标按照公式3:x2=(x2 n/b0-m)*a0,y2=(y2-n y0)*b0,w2=w2*a0,h2=h2*b0,即可计算出第一证据图中目标行人的坐标。
需要说明的是,目标车辆坐标和目标行人坐标构成第一坐标集,当得到了第一证据图中目标行人的坐标和第一证据图中的目标车辆坐标时,即得到了第一坐标集。
步骤s3,依据第二证据图生成第二网络模型图,并对第二网络模型图进行目标定位,以得到第二坐标集,其中,第二坐标集包括第二证据图中的目标车辆坐标和目标行人坐标。
在本发明实施例中,第二网络模型图可以是将第二证据图进行多尺度缩放、分割及拼接得到的图像。第二坐标集可以是第二证据图中的目标车辆坐标和目标行人坐标,可以理解为,第二坐标集是目标车辆和目标行人在第二证据图中的坐标。依据第二证据图生成第二网络模型图,并对第二网络模型图进行目标定位,以得到第二坐标集的步骤,可以理解为,首先,按照预设参数对第二证据图进行多尺度缩放、分割及拼接,生成第二网络模型图;其次,对第二网络模型图进行目标检测,得到第二网络模型图中的目标车辆和目标行人,即第二目标;然后,获取第二目标在第二网络坐标图中的坐标,得到第二网络坐标集;最后,依据预设参数将第二网络坐标集定位回第二证据图中,得到第二坐标集。其具体得到第二坐标集的方法与得到第一坐标集的方法相同,在此不再赘述。
步骤s4,对第一坐标集和第二坐标集进行计算,得到目标行人和目标车辆的目标行进信息。
在本发明实施例中,目标行进信息可以包括目标车辆与目标行人之间的距离、目标行人的行进方向及目标车辆的行进方向。第一坐标集包括第一证据图中的目标车辆坐标和目标行人坐标,第二坐标集包括第二证据图中的目标车辆坐标和目标行人坐标,通过第一坐标集和第二坐标集即可得到目标行人和目标车辆的行进信息。可以理解为,对第二证据图中的目标车辆坐标和目标行人坐标进行计算,得到目标车辆与目标行人之间的距离;对第一证据图中的目标行人坐标和第二证据图中的目标行人坐标进行计算,得到目标行人的行进方向;对第一证据图中的目标车辆坐标和第二证据图中的目标车辆坐标进行计算,得到目标车辆的行进方向。需要说明的是,当目标行人的存在行进方向时,目标行人发生了移动;当目标车辆存在行进方向时,目标车辆发生了移动。
请参阅图14,步骤s4还可以包括以下子步骤:
子步骤s41,对第二证据图中的目标车辆坐标和目标行人坐标进行计算,得到目标车辆与目标行人之间的距离。
在本发明实施例中,目标车辆可以是一辆汽车,目标行人可以是包括斑马线区域的所有行人。目标车辆与目标行人之间的横向距离,可以理解为,目标车辆与斑马线区域每个行人的横向距离,例如,目标车辆为o,斑马线区域有行人a、行人b以及行人c,那么目标车辆与目标行人的距离可以是目标车辆o与行人a之间oa的横向距离,即oa映射到水平方向的长度,目标车辆o与行人b之间ob的横向距离,即ob映射到水平方向的长度,目标车辆o与行人c之间oc的横向距离,即oc映射到水平方向的长度。接下来以一个行人与目标车辆之间的横向距离为例,若在第二证据图中,目标车辆坐标为(x'1,y′1,w′1,h'1),目标行人坐标为(x'2,y′2,w′2,h'2),当目标行人在目标车辆的右边时,目标车辆与目标行人之间的横向距离为x'2-(x'1 w′1),当目标行人在目标车辆左边时,目标车辆与目标行人之间的横向距离为x'1-(x'2 w′2)。例如,目标车辆坐标为(10,-4,2,2),目标行人坐标为(5,-2,1,2),目标行人在目标车辆的左边,那么目标车辆与目标行人之间的横向距离为10-(5 1)=4。
子步骤s42,对第一证据图中的目标行人坐标和第二证据图中的目标行人坐标进行计算,得到目标行人的行进方向。
在本发明实施例中,目标行人的移动距离和目标行人的行进方向可以理解为,同一行人(例如,行人a)在第一证据图和第二证据图中发生的位移,位移的大小即为目标行人的移动距离,位移的方向即为目标行人的行进方向。接下来以目标行人为一个行人为例,进行说明。若在第一证据图中目标行人的坐标为(x2,y2,w2,h2),在第二证据图中目标行人的坐标为(x'2,y′2,w′2,h'2),那么目标行人的移动距离可以按照公式4:
子步骤s43,对第一证据图中的目标车辆坐标和第二证据图中的目标车辆坐标进行计算,得到目标车辆的行进方向。
在本发明实施例中,目标车辆在第一证据图和第二证据图中发生了位移,目标车辆的行进方向可以是目标车辆的移动方向。若在第一证据图中目标车辆的坐标为(x1,y1,w1,h1),在第二证据图中目标车辆的坐标为(x'1,y′1,w′1,h'1),那么目标车辆的移动距离可以按照公式6:
需要说明的是,在本发明的其它实施例中,子步骤s41、子步骤s42和子步骤s43的执行顺序可以交换,或者也可以同时执行子步骤s41、子步骤s42和子步骤s43。
步骤s5,将目标行进信息与预设行进信息进行比较,并在目标行进信息符合预设行进信息时,判定目标车辆不礼让行人。
在本发明实施例中,预设行进信息可以包括第一预设距离等。将目标行进信息与预设行进信息进行比较,并在目标行进信息符合预设行进信息时,判定目标车辆不礼让行人的步骤,可以理解为,将目标车辆与目标行人之间的距离与第一预设距离进行比较,将目标行人的行进方向与目标车辆的行进方向进行比较,当目标车辆与目标行人之间的距离小于第一预设距离、且目标行人的行进方向与目标车辆的行进方向相交时,判定目标车辆不礼让行人。其中,第一预设距离为用户自定义设置的目标行人和目标车辆的安全横向距离。
当目标车辆与目标行人(任一个行人)之间的横向距离小于第一预设距离时,可以认为目标车辆和目标行人之间小于预设的安全横向距离,当目标车辆与目标行人(所有的行人)之间的横向距离均大于或者第一预设距离时,可以认为目标车辆距离所有的目标行人均较远,不会存在不礼让目标行人情况;当目标行人不存在行进方向时,可以认为目标行人未发生移动,目标行人在等待目标车辆先行,目标车辆不会存在不礼让目标行人的情况;当目标车辆不存在行进方向时,可以认为目标车辆未发生移动,目标车辆在等待目标行人先行,目标车辆不会存在不礼让目标行人的情况;当目标行人的行进方向与目标车辆的行进方向相交时,可以认为若目标车辆和目标行人均继续前行,目标车辆和目标行人可能会存在不安全的情况,当目标车辆的行进方向与目标行人的行进方向不一致时,可以认为目标车辆不会存在不礼让目标行人的情况。
当目标行进信息均符合预设行进信息时,判定目标车辆不礼让行人,通过将目标车辆与目标行人之间的距离与第一预设距离进行比较,将目标行人的行进方向与目标车辆的行进方向进行比较的双重验证,来实现对目标车辆是否不礼让行人进行判断,提高了判断的准确率。
步骤s6,获取目标车辆位于第二预设区域内的第三证据图,并将第一证据图、第二证据图及第三证据图进行存储以作为目标车辆不礼让行人的证据。
在本发明实施例中,第三证据图可以是目标车辆驶入斑马线区域之后的图像,当经过步骤s5判断目标车辆不礼让行人之后,需要对目标车辆进行一个后续的跟踪,查看目标车辆驶入斑马线区域之后(即第二预设区域内)的情况,所以,获取了车辆位于第二预设区域内的第三证据图。将第一证据图、第二证据图及第三证据图进行存储,作为目标车辆不礼让行人的证据,并可以将该证据通过通信接口104传输至服务器300。
与现有技术相比,本发明实施例具有以下优势:
首先,通过设置第一网络模型图以定位目标车辆和目标行人在第一证据图中的坐标,设置第二网络模型图以定位目标车辆和目标行人在第二证据图中的坐标,并依据目标车辆和目标行人在第一证据图中的坐标和目标车辆和目标行人在第二证据图中的坐标快速、准确检测出车辆是否不礼让行人,以此减轻了工作人员的工作负担,且通过保存证据图并将证据图作为证据传输至服务器300,具有一定的震慑效果,即使执法人员不在现场,也能使驾驶员自觉礼让行人,养成良好的驾驶习惯,进而从根本上解决车辆不礼让行人的问题。
其次,在第一网络模型图中的不同区域进行不同目标(目标行人和目标车辆)的检测,可以提高检测效率,且在清晰的目标分割图中对目标行人进行检测,能够提高检出率,且减少了目标检测所需的时间。
最后,双重验证来实现对目标车辆是否不礼让行人进行判断,提高了判断的准确率。
第二实施例
请参阅图15,图15示出了本发明实施例提供的车辆不礼让行人检测装置200的方框示意图。车辆不礼让行人检测装置200包括证据图获取模块201、第一坐标集提取模块202、第二坐标集提取模块203、行进信息计算模块204、不礼让判定模块205、不礼让证据获取模块206。
证据图获取模块201,用于当检测到有车辆驶入第一预设区域时,获取第一证据图和第二证据图,其中,第一证据图和第二证据图均包括目标行人和目标车辆。
第一坐标集提取模块202,用于依据第一证据图生成第一网络模型图,并对第一网络模型图进行目标定位,以得到第一坐标集,其中,第一坐标集包括第一证据图中的目标车辆坐标和目标行人坐标。
请参阅图16,第一坐标集提取模块202可以包括第一网络图提取单元221、第一目标提取单元222、网络坐标集获取单元223及第一坐标集定位单元224,第一网络图提取单元221,用于按照预设参数对第一证据图进行处理,得到第一网络模型图;第一目标提取单元222,用于对第一网络模型图进行目标检测,得到第一网络模型图中的第一目标,其中,第一目标包括目标车辆和目标行人;网络坐标集获取单元223,用于获取第一目标在第一网络模型图中的坐标,得到第一网络坐标集;第一坐标集定位单元224,用于依据预设参数将第一网络坐标集定位到第一证据图中,得到第一坐标集。
在本发明实施例中,第一网络图提取单元221具体用于:将第一证据图按照第一预设比例进行缩放,得到第一缩放图;将第一证据图按照第二预设比例进行缩放,得到第二缩放图;依据斑马线区域和第一缩放图对第二缩放图进行分割,得到多张分割图;筛选出多张分割图中包含斑马线区域的至少一张目标分割图,并将至少一张目标分割图与第一缩放图进行拼接,得到第一网络模型图。
在本发明实施例中,第一坐标集定位单元224具体用于:依据第一网络模型图中的目标车辆坐标和第一预设比例,得到第一证据图中的目标车辆坐标;依据第一网络模型图中的目标行人坐标和第二预设比例,得到第一证据图中的目标行人坐标,目标车辆坐标和目标行人坐标构成第一坐标集。
第二坐标集提取模块203,用于依据第二证据图生成第二网络模型图,并对第二网络模型图进行目标定位,以得到第二坐标集,其中,第二坐标集包括第二证据图中的目标车辆坐标和目标行人坐标。
行进信息计算模块204,用于对第一坐标集和第二坐标集进行计算,得到目标行人和目标车辆的目标行进信息。
在本发明实施例中,请参阅图17,行进信息计算模块204可以包括第一计算单元241、第二计算单元242及第三计算单元243,第一计算单元241,用于对第二证据图中的目标车辆坐标和目标行人坐标进行计算,得到目标车辆与目标行人之间的距离;第二计算单元242,用于对第一证据图中的目标行人坐标和第二证据图中的目标行人坐标进行计算,得到目标行人的行进方向;第三计算单元243,用于对第一证据图中的目标车辆坐标和第二证据图中的目标车辆坐标进行计算,得到目标车辆的行进方向。
不礼让判定模块205,用于将目标行进信息与预设行进信息进行比较,并在目标行进信息符合预设行进信息时,判定目标车辆不礼让行人。
不礼让证据获取模块206,用于获取目标车辆位于第二预设区域内的第三证据图,并将第一证据图、第二证据图及第三证据图进行存储以作为目标车辆不礼让行人的证据。
综上所述,本发明提供一种车辆品牌识别方法、装置及可读存储介质,所述方法包括:当检测到有车辆驶入第一预设区域时,获取第一证据图和第二证据图,其中,第一证据图和第二证据图均包括目标行人和目标车辆;依据第一证据图生成第一网络模型图,并对第一网络模型图进行目标定位,以得到第一坐标集,其中,第一坐标集包括第一证据图中的目标车辆坐标和目标行人坐标;依据第二证据图生成第二网络模型图,并对第二网络模型图进行目标定位,以得到第二坐标集,其中,第二坐标集包括第二证据图中的目标车辆坐标和目标行人坐标;对第一坐标集和第二坐标集进行计算,得到目标行人和目标车辆的目标行进信息;将目标行进信息与预设行进信息进行比较,并在目标行进信息符合预设行进信息时,判定目标车辆不礼让行人。本发明实施例提供的车辆不礼让行人检测方法,可以快速、准确地检测出车辆是否不礼让行人,以减轻执法人员的工作负担,同时也能达到较好的执法效果。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
1.一种车辆不礼让行人检测方法,其特征在于,所述方法包括:
当检测到有车辆驶入第一预设区域时,获取第一证据图和第二证据图,其中,所述第一证据图和所述第二证据图均包括目标行人和目标车辆;
依据所述第一证据图生成第一网络模型图,并对所述第一网络模型图进行目标定位,以得到第一坐标集,其中,所述第一坐标集包括所述第一证据图中的目标车辆坐标和目标行人坐标;
依据所述第二证据图生成第二网络模型图,并对所述第二网络模型图进行目标定位,以得到第二坐标集,其中,所述第二坐标集包括所述第二证据图中的目标车辆坐标和目标行人坐标;
对所述第一坐标集和所述第二坐标集进行计算,得到目标行人和目标车辆的目标行进信息;
将所述目标行进信息与预设行进信息进行比较,并在所述目标行进信息符合所述预设行进信息时,判定所述目标车辆不礼让行人。
2.如权利要求1所述的方法,其特征在于,所述依据所述第一证据图生成第一网络模型图,并对所述第一网络模型图进行目标定位,以得到第一坐标集的步骤,包括:
按照预设参数对所述第一证据图进行处理,得到第一网络模型图;
对所述第一网络模型图进行目标检测,得到所述第一网络模型图中的第一目标,其中,所述第一目标包括目标车辆和目标行人;
获取所述第一目标在所述第一网络模型图中的坐标,得到第一网络坐标集;
依据所述预设参数将所述第一网络坐标集定位到所述第一证据图中,得到第一坐标集。
3.如权利要求2所述的方法,其特征在于,所述预设参数包括第一预设比例和第二预设比例,所述第一证据图包括斑马线区域,所述按照预设参数对所述第一证据图进行处理,得到第一网络模型图的步骤,包括:
将所述第一证据图按照第一预设比例进行缩放,得到第一缩放图;
将所述第一证据图按照第二预设比例进行缩放,得到第二缩放图;
依据所述斑马线区域和所述第一缩放图对所述第二缩放图进行分割,得到多张分割图;
筛选出所述多张分割图中包含所述斑马线区域的至少一张目标分割图,并将所述至少一张目标分割图与所述第一缩放图进行拼接,得到第一网络模型图。
4.如权利要求3所述的方法,其特征在于,所述第一网络坐标集包括第一网络模型图中的目标车辆坐标和目标行人坐标,所述依据所述预设参数将所述第一网络坐标集定位到所述第一证据图中,得到第一坐标集的步骤,包括:
依据所述第一网络模型图中的目标车辆坐标和所述第一预设比例,得到第一证据图中的目标车辆坐标;
依据所述第一网络模型图中的目标行人坐标和所述第二预设比例,得到第一证据图中的目标行人坐标,目标车辆坐标和目标行人坐标构成第一坐标集。
5.如权利要求1所述的方法,其特征在于,所述目标行进信息包括目标车辆与目标行人之间的距离、目标行人的行进方向及目标车辆的行进方向,所述对所述第一坐标集和所述第二坐标集进行计算,得到目标行人和目标车辆的目标行进信息的步骤,包括:
对所述第二证据图中的目标车辆坐标和目标行人坐标进行计算,得到目标车辆与目标行人之间的距离;
对所述第一证据图中的目标行人坐标和所述第二证据图中的目标行人坐标进行计算,得到目标行人的行进方向;
对所述第一证据图中的目标车辆坐标和所述第二证据图中的目标车辆坐标进行计算,得到目标车辆的行进方向。
6.如权利要求5所述的方法,其特征在于,所述在所述目标行进信息符合所述预设行进信息时,判定所述目标车辆不礼让行人的步骤,包括:
当目标车辆与目标行人之间的距离小于第一预设距离、且目标行人的行进方向与目标车辆的行进方向相交时,判定所述目标车辆不礼让行人。
7.如权利要求1所述的方法,其特征在于,在所述判定所述目标车辆不礼让行人的步骤之后,所述方法还包括:
获取目标车辆位于第二预设区域内的第三证据图,并将所述第一证据图、第二证据图及所述第三证据图进行存储以作为所述目标车辆不礼让行人的证据。
8.一种车辆不礼让行人检测装置,其特征在于,所述装置包括:
证据图获取模块,用于当检测到有车辆驶入第一预设区域时,获取第一证据图和第二证据图,其中,所述第一证据图和所述第二证据图均包括目标行人和目标车辆;
第一坐标集提取模块,用于依据所述第一证据图生成第一网络模型图,并对所述第一网络模型图进行目标定位,以得到第一坐标集,其中,所述第一坐标集包括所述第一证据图中的目标车辆坐标和目标行人坐标;
第二坐标集提取模块,用于依据所述第二证据图生成第二网络模型图,并对所述第二网络模型图进行目标定位,以得到第二坐标集,其中,所述第二坐标集包括所述第二证据图中的目标车辆坐标和目标行人坐标;
行进信息计算模块,用于对所述第一坐标集和所述第二坐标集进行计算,得到目标行人和目标车辆的目标行进信息;
不礼让判定模块,用于将所述目标行进信息与预设行进信息进行比较,并在所述目标行进信息符合所述预设行进信息时,判定所述目标车辆不礼让行人。
9.如权利要求8所述的装置,其特征在于,所述第一坐标集提取模块包括:
第一网络图提取单元,用于按照预设参数对所述第一证据图进行处理,得到第一网络模型图;
第一目标提取单元,用于对所述第一网络模型图进行目标检测,得到所述第一网络模型图中的第一目标,其中,所述第一目标包括目标车辆和目标行人;
网络坐标集获取单元,用于获取所述第一目标在所述第一网络模型图中的坐标,得到第一网络坐标集;
第一坐标集定位单元,用于依据所述预设参数将所述第一网络坐标集定位到所述第一证据图中,得到第一坐标集。
10.如权利要求9所述的装置,其特征在于,所述预设参数包括第一预设比例和第二预设比例,所述第一证据图包括斑马线区域,所述第一网络图提取单元具体用于:
将所述第一证据图按照第一预设比例进行缩放,得到第一缩放图;
将所述第一证据图按照第二预设比例进行缩放,得到第二缩放图;
依据所述斑马线区域和所述第一缩放图对所述第二缩放图进行分割,得到多张分割图;
筛选出所述多张分割图中包含所述斑马线区域的至少一张目标分割图,并将所述至少一张目标分割图与所述第一缩放图进行拼接,得到第一网络模型图。
技术总结