本发明属于智能交通技术领域,特别涉及一种交通标志识别方法、系统、介质和设备。
背景技术:
在自动驾驶或车联网领域,交通标志识别是必不可少的环节。交通标志识别的难点在于交通标志图像的分辨率较低,交通标志图像采集的视角和场景光照、天气条件、阴影遮挡变化大,同时交通标志之间的相似性较大,识别系统易将图像误识别。
目前,机器视觉对交通标志识别的方法通常分为二类:一类采用被动成像技术,例如公开号为cn109993058a的发明专利申请公开的基于多标签分类的道路交通标志的识别方法,采用卷积神经网络识别交通标志,是从图像识别算法角度提高识别准确率,但不足在于:被动成像技术存在易受光照、天气条件影响的不足,检测精度不高;另一类采用主动成像技术,例如公开号为cn110379189a的发明专利申请公开的一种基于可见光通信的交通标志识别系统及识别方法,识别led主动发光交通标志,但不足在于:主动成像技术具有光的漫反射效应,在增强交通标志显著性的同时也对背景产生干扰,使前景和背景难以区分,反而使识别准确率有所降低,也增加了使用成本,维护成本。
上述机器视觉交通标志识别方法的不足,使得在低光度、阴影遮挡、雨雪覆盖等状况下的交通标志识别准确率较低,因此,探索一种高质量成像、高显著目标、高区分背景的交通标志识别方法,对自动驾驶或车联网的应用具有重要意义。
技术实现要素:
本发明的第一目的在于克服现有技术的缺点与不足,提供一种准确的交通标志识别方法,该方法能够有效提高低光度、阴影遮挡、雨雪覆盖等状况下的交通标志识别的准确率。
本发明的第二目的在于提供一种交通标志识别系统。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
本发明的第一目的通过下述技术方案实现:一种交通标志识别方法,包括如下步骤:
步骤s1、控制激光源向待识别的交通标志发射激光信号;交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;
步骤s2、通过激光接收传感器接收各全反射器反射的激光信号,形成包括交通标志各反射器组中全反射器排列模式的图像信息;
步骤s3、获取上述图像信息,针对图像信息进行目标检测,根据目标检测结果识别出交通标志类型。
优选的,步骤s3中,在获取到目标检测结果后,查询交通标志数据库,将目标检测结果和交通标志数据库中的各交通标志数据进行匹配,根据匹配结果确定出对应的交通标志类型。
优选的,还包括如下步骤:
在获取到交通标志各反射器组中全反射器排列模式的图像信息后,先判定图像中各反射器组中全反射器的排列模式是否完整;
若是,则针对图像信息进行目标检测,识别出交通标志类型;
若否,则控制激光源按照一定时间间隔连续多次向交通标志发射激光信号,以连续多次获取到包括各反射器组中全反射器排列模式的图像信息;并且融合上述多次获取到的图像信息,再进行目标检测,根据目标检测结果识别出交通标志类型。
更进一步的,激光接收传感器在接收到激光信号形成图像时,当激光接收传感器接收到交通标志对应位置的全反射器反射的激光信号时,在图像的对应位置上做出相应的标记,形成包括交通标志各反射器组中全反射器排列模式的图像信息;判定图像中各反射器组中全反射器的排列模式是否完整的方式具体如下:检测图像中各标记的位置是否连续,若是,则判定各反射器组中全反射器的排列模式是完整的,否则判定各反射器组中全反射器的排列模式是不完整的。
优选的,针对图像信息所进行的目标检测方法为基于深度学习的目标检测方法或基于边缘检测 surf特征点的目标检测方法;其中:
基于深度学习的目标检测方法具体步骤如下:
步骤s31、采集已知交通标志类别的交通标志图像样本,输入至卷积神经网络进行训练,得到最优的卷积神经网络参数;
步骤s32、采用参数最优的卷积神经网络来提取交通标志图像样本的交通标志特征,存储至交通标志特征数据库;
步骤s33、针对于待识别的交通标志,将包括该交通标志各反射器组中全反射器排列模式的图像信息作为输入,利用参数最优的卷积神经网络来提取出各反射器组中反射器排列模式的特征;
步骤s34、针对于步骤s33中提取出的特征,查询和匹配交通标志特征数据库中存储的交通标志特征,识别出交通标志类型;
基于边缘检测 surf特征点的目标检测方法具体步骤如下:
步骤sx1、采集已知交通标志类别的交通标志图像样本,提取canny边缘图像;
步骤sx2、针对于交通标志图像样本,在其canny边缘图像上提取surf特征点,计算surf特征描述子作为交通标志特征,存储至交通标志特征数据库;
步骤sx3:针对于待识别的交通标志,将包括该交通标志各反射器组中全反射器排列模式的图像信息作为输入,提取canny边缘图像,在canny边缘图像上提取surf特征点,计算surf特征描述子;
步骤sx4:根据步骤sx3所提取到的surf特征描述子,查询和匹配交通标志特征数据库中存储的交通标志特征,识别出交通标志类型。
优选的,还包括如下步骤:根据激光源所发射激光信号,被全反射器反射后激光接收传感器所接收的时间,计算出激光源和交通标志之间的距离d:
d=c*(t1-t2)/2;
其中t1为激光源所发射激光信号的时间点,t2为激光信号被全反射器反射后激光接收传感器所接收的时间;c为光速。
本发明的第二目的通过下述技术方案实现:一种交通标志识别系统,包括激光源、激光接收传感器和处理器;所述激光源和激光接收传感器均连接数据处理器;
所述激光源,用于向交通标志发射激光信号,所述交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;
所述激光接收传感器,用于接收交通标志中各全反射器反射的激光信号,形成包括交通标志各反射器组中全反射器排列模式的图像信息;
所述数据处理器,用于执行本发明第一目的所述的交通标志识别方法。
优选的,交通标志中的各反射器组中的全反射器为全反射棱镜或全反射球镜。
本发明的第三目的通过下述技术方案实现:一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现本发明第一目的所述的交通标志识别方法。
本发明的第四目的通过下述技术方案实现:一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现本发明第一目的所述的交通标志识别方法。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明交通标志识别方法中,首先控制激光源向交通标志发射激光信号;其中交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;然后通过激光接收传感器接收各全反射器反射的激光信号,形成包括交通标志各反射器组中全反射器排列模式的图像信息;获取上述图像信息,针对图像信息进行目标检测,根据目标检测结果识别出交通标志类型。由上述可见,本发明通过激光全反射的方式获取到用于表示交通标志的反射器反射的信号,大大增强了交通标志的辨识度,对交通标志的检测基本不受光照和遮挡变化的影响,能够有效解决基于图像识别的交通标志识别技术在低光度、阴影遮挡、雨雪覆盖等状况下识别率低的问题,提高了交通标志的识别准确率。
(2)本发明交通标志识别方法中,还包括检测各反射器组中全反射器的排列模式是否完整的步骤,在不完整的情况下,多次获取包括各反射器组中全反射器排列模式的图像信息,并且针对多次获取到的图像信息进行融合,针对于融合后的图像信息再进行目标检测,最终根据目标检测结果识别出交通标志类型。本发明上述通过多次检测交通标志对应反射器的排列模式,能够保证得到完整的交通标志,进一步确保在在低光度、阴影遮挡、雨雪覆盖等状况下,能够准确的识别出交通标志。
(3)本发明交通标志识别方法中,在获取到激光接收传感器接收各全反射器反射的激光信号后,可以进行车辆上激光源和交通标志之间距离的计算,使车辆能够提前做出路线规划或预警(比如:提前缓慢刹车,提前变道),为车辆的安全驾驶提供进一步的保障。
附图说明
图1是本发明交通标志识别方法流程图。
图2是本发明交通标志识别系统结构框图。
图3a和图3b是本发明所实施的交通标志中反射器的结构示意图。
图4a和图4b是本发明所实施的交通标志中反射器的反射原理图。
图5a和图5b是本发明所实施的交通标志结构示意图。
图6是本发明计算设备的结构框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例1
本实施例公开了一种交通标志识别方法,该方法在车辆行驶过程中,用于识别道路上的交通标志,为车辆自动驾驶和车联网的实现和发展提供了支持;如图1中所示,该方法包括如下步骤:
步骤s1、控制激光源向交通标志发射激光信号;交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;
在本实施例中,如图5中所示,交通标志由各反射器排列组合而成,其中如图5a所示的圆形交通标志图案,由多个全反射器排列组合围绕成圆形,如图5b所示的左转箭头,由各全反射器排列组合而成。
步骤s2、通过激光接收传感器接收各全反射器反射的激光信号,形成包括交通标志各反射器组中全反射器排列模式的图像信息;然后进入步骤s3;
在本实施例中,可以控制激光源从左到右,从上到下依次扫描整个交通标志,交通标志上各全反射器依次反射激光信号到激光接收传感器;或者控制激光源同时发出多束光线到交通标志上,激光接收传感器同时接收交通标志上各全反射器发射的激光信号。本实施例中,激光接收传感器有阵列式排布的激光信号接收端,各激光信号接收端分别接收交通标志上各个位置上反射器所反射的激光信号。在本步骤中,可以根据激光接收传感器各激光信号接收端所接收到的激光信号确定交通标志上反射器的具体位置,从而确定出交通标志上各反射器组中各反射器的排列模式,形成包括交通标志各反射器组中全反射器排列模式的图像信息。
在本实施例中,获取到包括各反射器组中全反射器排列模式的图像信息后,先判定各反射器组中全反射器的排列模式是否完整;
若是,则直接进入步骤s3;
若否,则控制激光源按照一定时间间隔连续多次向交通标志发射激光信号,以连续多次获取到包括各反射器组中全反射器排列模式的图像信息;并且融合上述多次获取到的图像信息,作为最终图像信息,基于该图像信息,进入步骤s3,进行步骤s3的处理。上述时间间隔可以根据实际情况进行设置,例如可以设置0.2秒,即控制激光源每0.2秒向交通标志发射一次激光信号,具体的总次数可以是至少3次。
本实施例中,激光接收传感器在接收到激光信号形成图像时,当激光接收传感器接收到交通标志对应位置的全反射器反射的激光信号时,在图像的对应位置上做出相应的第一标记,例如白色光点,而交通标志对应位置没有接收到激光信号的,在图像对应位置上做出第二标记,例如黑色标记,形成包括交通标志各反射器组中全反射器排列模式的图像信息,该图像为黑白的二值化图像;本实施例中,上述判定图像中各反射器组中全反射器的排列模式是否完整的方式具体如下:检测图像中各第一标记的位置是否连续,若是,则判定各反射器组中全反射器的排列模式是完整的,否则判定各反射器组中全反射器的排列模式是不完整的。
步骤s3、针对上述获取到的图像信息进行目标检测,根据目标检测结果识别出交通标志类型。本实施例中,在获取到目标检测结果后,查询交通标志数据库,将目标检测结果和交通标志数据库中的各交通标志数据进行匹配,根据匹配结果确定出对应的交通标志类型。其中交通标志数据库可以存储在本地,也可存储在云端,当存储在云端时,可以通过网络查询到。
步骤s4、根据激光源所发射激光信号,被全反射器反射后激光接收传感器所接收的时间,计算出激光源和交通标志之间的距离d:
d=c*(t1-t2)/2
其中t1为激光源所发射激光信号的时间点,t2为激光信号被全反射器反射后激光接收传感器所接收的时间;c为光速。
本实施例中,上述步骤s3针对图像信息所进行的目标检测方法为基于深度学习的目标检测方法或基于边缘检测 surf特征点的目标检测方法;
其中:
基于深度学习的目标检测方法具体步骤如下:
步骤s31、采集已知交通标志类别的交通标志图像样本,输入至卷积神经网络进行训练,得到最优的卷积神经网络参数;在本实施例中,交通标志图像样本也可以是通过如步骤s1中和s2的方式获取到,即针对于作为样本的交通标志,通过激光源配合激光接收传感器获取到包括交通标志各反射器组中全反射器排列模式的图像信息,作为交通标志图像样本。
步骤s32、采用参数最优的卷积神经网络来提取交通标志图像样本的交通标志特征,存储至交通标志特征数据库。
步骤s33、针对于待识别的交通标志,将包括该交通标志各反射器组中全反射器排列模式的图像信息作为输入,利用参数最优的卷积神经网络来提取出各反射器组中反射器排列模式的特征。
步骤s34、针对于步骤s33中提取出的特征,查询和匹配交通标志特征数据库中存储的交通标志特征,识别出交通标志类型。
基于边缘检测 surf特征点的目标检测方法具体步骤如下:
步骤sx1、采集已知交通标志类别的交通标志图像样本,提取canny边缘图像。
步骤sx2、针对于交通标志图像样本,在其canny边缘图像上提取surf特征点,计算surf特征描述子作为交通标志特征,存储至交通标志特征数据库;
步骤sx3:针对于待识别的交通标志,将包括该交通标志各反射器组中全反射器排列模式的图像信息作为输入,提取canny边缘图像,在canny边缘图像上提取surf特征点,计算surf特征描述子;
步骤sx4:根据步骤sx3所提取到的surf特征描述子,查询和匹配交通标志特征数据库中存储的交通标志特征,识别出交通标志类型。
实施例2
本实施例公开了一种交通标志识别系统,该交通标志识别系统设置在车辆100上,如图2所示,包括激光源106、激光接收传感器104和数据处理器102;激光源106和激光接收传感器104均连接数据处理器。
激光源106,用于向交通标志120发射激光信号110,如图2中所示,交通标志120包括一个或多个反射器组124,各反射器组中全反射器122排列组合成相应标志,当交通标志120比较简单时,可以使用一个反射器组124,例如如图5a和5b所示的圆形和左转箭头,而当交通标志比较复杂时,可以使用多个反射器组,例如是左转箭头加直行箭头的交通标志,此时使用2个反射器组,例如是表示限速的标志“80”,此时使用2个反射器组,一个反射器组中各全反射器组成“8”,另一个反射器组中各全反射器组成“0”。在本实施例中激光源106安装在车辆上,安装的位置方便发射的光照射到道路上的交通标志。
激光接收传感器104,用于接收交通标志中各全反射器反射的激光信号,本实施例中,激光接收传感器有阵列式排布的激光信号接收端,各激光信号接收端分别接收交通标志上各个位置上反射器所反射的激光信号,根据激光接收传感器各激光信号接收端所接收到的激光信号确定交通标志上反射器的具体位置,从而确定出交通标志上各反射器组中各反射器的排列模式,形成包括交通标志各反射器组中全反射器排列模式的图像信息;并且将上述图像信息发送给数据处理器。
数据处理器102,用于执行实施例1所述的交通标志识别方法,如下:
控制激光源向交通标志发射激光信号;所述交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;
通过激光接收传感器接收各全反射器反射的激光信号;形成包括交通标志各反射器组中全反射器排列模式的图像信息;
获取上述图像信息,针对图像信息进行目标检测,根据目标检测结果识别出交通标志类型。其中,在获取到目标检测结果后,查询交通标志数据库,将目标检测结果和交通标志数据库中的各交通标志数据进行匹配,根据匹配结果确定出对应的交通标志类型。在本实施例中,交通标志数据库可以存储在数据处理器的本地,也可存储在云端,当存储在云端时,数据处理器可以通过网络访问查询到。
在本实施例中数据处理器可以是dsp等具有数据处理功能的芯片,数据处理器设置在车辆上。
在本实施例中,交通标志中的各反射器组中的全反射器可以为如图3a所示的为全反射棱镜210,或如图3b所示的全反射球镜220。如图4a所示为全反射棱镜的反射原理,如图4b所示为全反射球镜的反射原理。全反射器用于全反射入射激光,并使反射激光与入射激光平行而方向相反,全反射器用于将入射激光几乎按照原路反射回去,并且由激光接收传感器进行接收。
实施例3
本实施例公开了一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现实施例1所述的交通标志识别方法,如下:
控制激光源向交通标志发射激光信号;所述交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;
通过激光接收传感器接收各全反射器反射的激光信号;形成包括交通标志各反射器组中全反射器排列模式的图像信息;
获取上述图像信息,针对图像信息进行目标检测,根据目标检测结果识别出交通标志类型。其中,在获取到目标检测结果后,查询交通标志数据库,将目标检测结果和交通标志数据库中的各交通标志数据进行匹配,根据匹配结果确定出对应的交通标志类型。
本实施例中存储介质可以是磁盘、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、u盘、移动硬盘等介质。
实施例4
本实施例公开了一种计算设备,如图4所示,包括通过系统总线1401连接的处理器1402、存储器、输入装置1403、显示器1404和网络接口1405。其中,处理器1402用于提供计算和控制能力,存储器包括非易失性存储介质1406和内存储器1407,该非易失性存储介质1406存储有操作系统、计算机程序和数据库,该内存储器1407为非易失性存储介质1406中的操作系统和计算机程序的运行提供环境,计算机程序被处理器1402执行时,实现实施例1所述的交通标志识别方法,如下:
控制激光源向交通标志发射激光信号;所述交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;
通过激光接收传感器接收各全反射器反射的激光信号;形成包括交通标志各反射器组中全反射器排列模式的图像信息;
获取上述图像信息,针对图像信息进行目标检测,根据目标检测结果识别出交通标志类型。其中,在获取到目标检测结果后,查询交通标志数据库,将目标检测结果和交通标志数据库中的各交通标志数据进行匹配,根据匹配结果确定出对应的交通标志类型。
本实施例中,计算设备可以为台式电脑、笔记本电脑、智能手机、pda手持终端或平板电脑。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
1.一种交通标志识别方法,其特征在于,包括如下步骤:
步骤s1、控制激光源向待识别的交通标志发射激光信号;交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;
步骤s2、通过激光接收传感器接收各全反射器反射的激光信号,形成包括交通标志各反射器组中全反射器排列模式的图像信息;
步骤s3、获取上述图像信息,针对图像信息进行目标检测,根据目标检测结果识别出交通标志类型。
2.根据权利要求1所述的交通标志识别方法,其特征在于,步骤s3中,在获取到目标检测结果后,查询交通标志数据库,将目标检测结果和交通标志数据库中的各交通标志数据进行匹配,根据匹配结果确定出对应的交通标志类型。
3.根据权利要求1所述的交通标志识别方法,其特征在于,还包括如下步骤:
在获取到交通标志各反射器组中全反射器排列模式的图像信息后,先判定图像中各反射器组中全反射器的排列模式是否完整;
若是,则针对图像信息进行目标检测,识别出交通标志类型;
若否,则控制激光源按照一定时间间隔连续多次向交通标志发射激光信号,以连续多次获取到包括各反射器组中全反射器排列模式的图像信息;并且融合上述多次获取到的图像信息,再进行目标检测,根据目标检测结果识别出交通标志类型。
4.根据权利要求3所述的交通标志识别方法,其特征在于,激光接收传感器在接收到激光信号形成图像时,当激光接收传感器接收到交通标志对应位置的全反射器反射的激光信号时,在图像的对应位置上做出相应的标记,形成包括交通标志各反射器组中全反射器排列模式的图像信息;判定图像中各反射器组中全反射器的排列模式是否完整的方式具体如下:检测图像中各标记的位置是否连续,若是,则判定各反射器组中全反射器的排列模式是完整的,否则判定各反射器组中全反射器的排列模式是不完整的。
5.根据权利要求1所述的交通标志识别方法,其特征在于,针对图像信息所进行的目标检测方法为基于深度学习的目标检测方法或基于边缘检测 surf特征点的目标检测方法;其中:
基于深度学习的目标检测方法具体步骤如下:
步骤s31、采集已知交通标志类别的交通标志图像样本,输入至卷积神经网络进行训练,得到最优的卷积神经网络参数;
步骤s32、采用参数最优的卷积神经网络来提取交通标志图像样本的交通标志特征,存储至交通标志特征数据库;
步骤s33、针对于待识别的交通标志,将包括该交通标志各反射器组中全反射器排列模式的图像信息作为输入,利用参数最优的卷积神经网络来提取出各反射器组中反射器排列模式的特征;
步骤s34、针对于步骤s33中提取出的特征,查询和匹配交通标志特征数据库中存储的交通标志特征,识别出交通标志类型;
基于边缘检测 surf特征点的目标检测方法具体步骤如下:
步骤sx1、采集已知交通标志类别的交通标志图像样本,提取canny边缘图像;
步骤sx2、针对于交通标志图像样本,在其canny边缘图像上提取surf特征点,计算surf特征描述子作为交通标志特征,存储至交通标志特征数据库;
步骤sx3:针对于待识别的交通标志,将包括该交通标志各反射器组中全反射器排列模式的图像信息作为输入,提取canny边缘图像,在canny边缘图像上提取surf特征点,计算surf特征描述子;
步骤sx4:根据步骤sx3所提取到的surf特征描述子,查询和匹配交通标志特征数据库中存储的交通标志特征,识别出交通标志类型。
6.根据权利要求1所述的交通标志识别方法,其特征在于,还包括如下步骤:根据激光源所发射激光信号,被全反射器反射后激光接收传感器所接收的时间,计算出激光源和交通标志之间的距离d:
d=c*(t1-t2)/2
其中t1为激光源所发射激光信号的时间点,t2为激光信号被全反射器反射后激光接收传感器所接收的时间;c为光速。
7.一种交通标志识别系统,其特征在于,包括激光源、激光接收传感器和处理器;所述激光源和激光接收传感器均连接数据处理器;
所述激光源,用于向交通标志发射激光信号,所述交通标志包括一个或多个反射器组,各反射器组中全反射器排列组合成相应标志;
所述激光接收传感器,用于接收交通标志中各全反射器反射的激光信号,形成包括交通标志各反射器组中全反射器排列模式的图像信息;
所述数据处理器,用于执行权利要求1~6中任一项所述的交通标志识别方法。
8.根据权利要求7所述的交通标志识别系统,其特征在于,交通标志中的各反射器组中的全反射器为全反射棱镜或全反射球镜。
9.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1至6中任一项所述的交通标志识别方法。
10.一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1至6中任一项所述的交通标志识别方法。
技术总结