本发明涉及的深度学习图像检测技术领域，特别是涉及一种车牌螺丝检测方法、电子装置、计算机设备和存储介质。
背景技术：
随着社会经济的不断发展和人民生活水平的持续提高，城市机动车保有量迅猛增长。机动车车辆检测的工作量也随之迅速增大。根据车辆检测，比如车辆年检的要求，车牌需由至少两个螺丝固定，且这两个螺丝必须同时在上方，保持车牌左右各一个。目前的车牌螺丝检测方法，只能通过人眼去辨认，螺丝移位或未拧紧等情况的检测则较难发现，并且人工检测效率低。因此，如何准确、快速地对车牌的螺丝进行检测，并判定其位置信息，是亟需解决的技术问题。
技术实现要素：
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种车牌螺丝检测方法、电子装置、计算机设备和存储介质，以解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请提供一种车牌螺丝检测方法，所述方法包括：获取待检测车牌图像；基于车牌检测模型对所述待检测车牌图像进行车牌检测，以获取车牌区域图像；基于车牌螺丝检测模型检测所述车牌区域图像，获取车牌上螺丝的位置及数据，以判断是否符合车辆检测要求。
于本申请的一实施例中，所述基于车牌检测模型对所述待检测车牌图像进行车牌检测之前，还包括：对获取的所述待检测车牌图像进行颜色分割以分离出车牌区域；根据所述车牌区域的倾斜角度对所述待检测车牌图像进行倾斜矫正。
于本申请的一实施例中，所述根据所述车牌区域的倾斜角度进行倾斜矫正，包括：对所述待检测车牌图像进行由rgb转为hsv的颜色通道转换；遍历转换为hsv颜色通道的所述待检测车牌图像上每一个像素点，并将所有像素点中像素值位于蓝色区间以外的像素值设为0，保留蓝色区间内的点，以得到所述车牌区域；对所述车牌区域进行膨胀处理，以查找连通域，并保留面积最大的所述连通域，删除其他区域；获取面积最大的所述连通域的最小外接矩形；获取最小外接矩形与水平线的夹角，通过所述夹角以对所述待检测车牌图像进行倾斜矫正。
于本申请的一实施例中，所述基于车牌检测模型的获取方法包括：获取不同拍摄条件的所述待检测车牌图像；采用矩形框将车牌区域在图像中标出；采用标注好的训练数据，训练以得到基于深度学习的所述车牌检测模型。
于本申请的一实施例中，所述车牌螺丝检测模型的获取方法包括：获取不同拍摄条件的所述车牌区域图像；采用矩形框将车牌螺丝区域在图像中标出；采用标注好的训练数据，训练以得到基于深度学习的所述车牌螺丝检测模型。
于本申请的一实施例中，所述判断是否符合车辆检测要求，包括：依据所述车牌区域图像构建坐标系，以统计位于车牌上1/3部分的螺丝数量；判断螺丝数量是否为两个；若是，则进入下一步；若否，则不符合车辆检测的要求；判断螺丝位置是否均分在车牌左右两边；若是，则符合车辆检测的要求；若否，则不符合车辆检测的要求。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：获取模块，用于获取待检测车牌图；处理模块，用于基于车牌检测模型对所述待检测车牌图像进行车牌检测，以获取车牌区域图像；基于车牌螺丝检测模型检测所述车牌区域图像，获取车牌上螺丝的位置及数据，以判断是否符合车辆检测要求。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请的一种车牌螺丝检测方法、电子装置、计算机设备和存储介质，通过获取待检测车牌图像；基于车牌检测模型对所述待检测车牌图像进行车牌检测，以获取车牌区域图像；基于车牌螺丝检测模型检测所述车牌区域图像，获取车牌上螺丝的位置及数量，以判断是否符合车辆检测要求。
具有以下有益效果：
既节约了人力，提升了速度，又保证了检验工作的公正、公开，提升了检测的准确率。
附图说明
图1显示为本申请于一实施例中的车牌螺丝检测方法的流程示意图。
图2a-2e显示为本申请于一实施例中的待检测车牌图像矫正处理的过程示意图。
图3显示为本申请于一实施例中的refinedet目标检测网络的模型示意图。
图4显示为本申请于一实施例中的判断是否符合车辆检测要求方法的流程示意图。
图5显示为本申请于一实施例中的电子装置的模块示意图。
图6显示为本申请于一实施例中的计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
为了明确说明本申请，省略与说明无关的部件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某部件与另一部件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
当说某部件在另一部件“之上”时，这可以是直接在另一部件之上，但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时，其之间不伴随其它部件。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等描述。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一部件相对于另一部件的关系而使用。这种术语是指，不仅是在附图中所指的意义，还包括使用中的装置的其它意义或作业。例如，如果翻转附图中的装置，曾说明为在其它部件“下”的某部件则说明为在其它部件“上”。因此，所谓“下”的示例性术语，全部包括上与下方。装置可以旋转90°或其它角度，代表相对空间的术语也据此来解释。
本申请的目的在于，提出一种基于颜色空间变换的车牌螺丝检测方法，以自动审核车辆的车牌螺丝是否符合车辆检测比如车辆年检的要求，以满足如今对车辆检测工作效率、准确率的需求。
如图1所示，展示为本申请一实施例中的车牌螺丝检测方法的流程示意图。如图所示，所述方法包括：
步骤s101：获取待检测车牌图像。
于本实施例中，所述待检测车牌图像为车辆在检测时由人工或机器进行拍摄的对应车牌的图像或包含车牌部分的车身图像。即依据现有的待检测车牌图像或正常获取的待检测车辆图像以进行后续检测的过程。
但需说明的是，在实现过程中，有时会出现待检测车牌图像倾斜的情况。当待检测车牌图像倾斜时，螺丝的检测效果就会变差。且当车牌倾斜时，也容易造成判定螺丝的位置的不准确，因而本申请为优化螺丝检测的准确性，在检测之前还可根据情况选择对倾斜的车牌进行矫正。
于本申请一实施例中，所述基于车牌检测模型对所述待检测车牌图像进行车牌检测之前，还包括：
a、在获取待检测车牌图像后，对获取的所述待检测车牌图像进行颜色分割以分离出车牌区域；
具体来说，颜色分割是对所述待检测车牌图像进行由rgb转为hsv的颜色通道转换，以得到如图2a所示的示意图。
rgb颜色则是常见的真实纯彩色，而hsv颜色则是依据色调(h)，饱和度(s)，明度(v)进行调整的。但需说明的是，由于附图中无法展示颜色的分布，故在图中标示出了蓝色区间的大致区域，准确来说，即为车牌外围的区域。
其中，hsv颜色模型中颜色的参数分别是：色调(h)，饱和度(s)，明度(v)，hsv模型的三维表示从rgb立方体演化而来。设想从rgb沿立方体对角线的白色顶点向黑色顶点观察，就可以看到立方体的六边形外形。六边形边界表示色彩，水平轴表示纯度，明度沿垂直轴测。
举例来说，hsv对用户来说是一种直观的颜色模型。可以从一种纯色彩开始，即指定色彩角h，并让v＝s＝1，然后我们可以通过向其中加入黑色和白色来得到我们需要的颜色。增加黑色可以减小v而s不变，同样增加白色可以减小s而v不变。由于hsv是一种比较直观的颜色模型，所以在许多图像编辑工具中应用比较广泛，如photoshop(在photoshop中叫hsb)等等。
然后遍历转换为hsv颜色通道的所述待检测车牌图像上每一个像素点，并将所有像素点中像素值位于蓝色区间以外的像素值设为0，保留蓝色区间内的点，以得到所述车牌区域，所得图像可参考图2b所示。
b、根据所述车牌区域的倾斜角度对所述待检测车牌图像进行倾斜矫正。
具体来说，首先对所述车牌区域进行膨胀处理，以查找连通域，并保留面积最大的所述连通域，删除其他区域。这里所述连通域即可理解为像素值相同且相连的区域。删除其他区域，即可把车牌数字、汉字、字母等区域删除，留下为车牌框架，所的图像可参考图2c所示。
其次，获取面积最大的所述连通域的最小外接矩形，即对车牌框架拼接处刚好完全覆盖的矩形，所的图像可参考图2d所示。
最后，获取最小外接矩形与水平线的夹角，通过所述夹角以对所述待检测车牌图像进行倾斜矫正，这里可参考图2e所示倾斜矫正的示意图。
步骤s102：基于车牌检测模型对所述待检测车牌图像进行车牌检测，以获取车牌区域图像。
于本申请一实施例中，所述基于车牌检测模型的构建方法包括：
a、获取不同拍摄条件的所述待检测车牌图像；
b、采用矩形框将车牌区域在图像中标出；
c、采用标注好的训练数据，训练以得到基于深度学习的所述车牌检测模型。
于本实施例中，基于深度学习的所述车牌检测模型获取方法如下：
训练数据准备：获取不同拍摄条件(如光照、角度)的待检测车牌图像；
数据标注：采用矩形框将车牌区域在图像中标出，矩形框区域内需完整包含车牌；
模型训练：采用标注好的训练数据，训练基于深度学习的车牌检测模型。
需说明的是，车牌检测模型采用的是refinedet目标检测网络，如图3所示，其以vgg16作为特征提取网络，主要架构由arm模块与odm模块组成。
其中，arm模块可过滤部分负样本候选框，减少分类器搜索范围并粗调候选框的位置与大小，odm模块则是对候选框进行分类与精调，即可得到车牌与车牌螺丝具体的类别信息和位置信息。refinedet对于小目标检测效果较好可在高效的同时保证检测速度。
步骤s103：基于车牌螺丝检测模型检测所述车牌区域图像，获取车牌上螺丝的位置及数量，以判断是否符合车辆检测要求。
于本申请一实施例中，所述车牌螺丝检测模型的获取方法包括：
a、获取不同拍摄条件的所述车牌区域图像；
b、采用矩形框将车牌螺丝区域在图像中标出；
c、采用标注好的训练数据，训练以得到基于深度学习的所述车牌螺丝检测模型。
于本实施例中，基于深度学习的所述车牌螺丝检测模型获取方法如下：
训练数据准备：获取不同拍摄条件(如光照、角度)的车牌区域图像。需注意的是，这里所用到的数据与基于深度学习的所述车牌检测模型获取方法中的数据不是同一种数据。
数据标注：采用矩形框将车牌螺丝区域在图像中标出，矩形框区域内需完整包含车牌螺丝；
模型训练：采用标注好的训练数据，训练基于深度学习的车牌螺丝检测模型。
需说明的是，所述车牌螺丝检测模型采用的同样也是refinedet目标检测网络，如图3所示，其以vgg16作为特征提取网络，主要架构由arm模块与odm模块组成。
其中，arm模块可过滤部分负样本候选框，减少分类器搜索范围并粗调候选框的位置与大小，odm模块则是对候选框进行分类与精调，即可得到车牌与车牌螺丝具体的类别信息和位置信息。refinedet对于小目标检测效果较好可在高效的同时保证检测速度。
如图4所示，展示为本申请一实施例中的判断是否符合车辆检测要求方法的流程示意图。
如图所示，所述方法包括：
步骤s401：依据所述车牌区域图像构建坐标系，以统计位于车牌上1/3部分的螺丝数量；
于本实施例中，所述坐标系优选以车牌区域图像的左上顶点为原点，向右为x轴正方向，向下为y轴正方向的方式构建。进一步地，统计螺丝中心点的纵坐标小于车牌高度的1/3的螺丝数量。
通常来说，螺丝数量为2个或4个，因此，除这两个数量外则可以判定为不符合车辆检测的要求。
步骤s402：判断螺丝数量是否为两个；若是，则进入下一步；若否，则不符合车辆检测的要求。
步骤s403：判断螺丝位置是否均分在车牌左右两边；若是，则符合车辆检测的要求；若否，则不符合车辆检测的要求。
综上所示，于本申请所述的车牌螺丝检测方法中，使用了深度学习的方法检测车牌和车牌螺丝，既节约了人力，提升了速度，又保证了检验工作的公正、公开。
又因为实际场景中，倾斜图像的车牌检测与螺丝检测效果不理想，所以需要进行改进。本专利技术方案中，同时使用基于颜色空间变换的倾斜矫正算法对倾斜车牌进行矫正，提升了检测的准确率。
如图5所示，展示为本申请于一实施例中的电子装置的模块示意图。如图所示，所述装置500包括：
获取模块501，用于获取待检测车牌图像；
处理模块502，用于基于车牌检测模型对所述待检测车牌图像进行车牌检测，以获取车牌区域图像；基于车牌螺丝检测模型检测所述车牌区域图像，获取车牌上螺丝的位置及数量，以判断是否符合车辆检测要求。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块502可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块502的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，简称asic)，或，一个或多个微处理器(digitalsignalprocessor，简称dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
如图6所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备600包括：存储器601、及处理器602；所述存储器601用于存储计算机指令；所述处理器602运行计算机指令实现如图1所述的方法。
在一些实施例中，所述计算机设备600中的所述存储器601的数量均可以是一或多个，所述处理器602的数量均可以是一或多个，而图6中均以一个为例。
于本申请一实施例中，所述计算机设备600中的处理器602会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器601中，并由处理器602来运行存储在存储器602中的应用程序，从而实现如图1所述的方法。
所述存储器601可以包括随机存取存储器(randomaccessmemory，简称ram)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。所述存储器601存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器602可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备600的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图6中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述系统及各单元功能的实施例；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供的一种车牌螺丝检测方法、电子装置、计算机设备和存储介质，通过获取待检测车牌图像；基于车牌检测模型对所述待检测车牌图像进行车牌检测，以获取车牌区域图像；基于车牌螺丝检测模型检测所述车牌区域图像，获取车牌上螺丝的位置及数量，以判断是否符合车辆检测要求。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
1.一种车牌螺丝检测方法，其特征在于，所述方法包括：
获取待检测车牌图像；
基于车牌检测模型对所述待检测车牌图像进行车牌检测，以获取车牌区域图像；
基于车牌螺丝检测模型检测所述车牌区域图像，获取车牌上螺丝的位置及数量，以判断是否符合车辆检测要求。
2.根据权利要求1所述的方法，其特征在于，所述基于车牌检测模型对所述待检测车牌图像进行车牌检测之前，还包括：
对获取的所述待检测车牌图像进行颜色分割以分离出车牌区域；
根据所述车牌区域的倾斜角度对所述待检测车牌图像进行倾斜矫正。
3.根据权利要求2所述的方法，其特征在于，所述根据所述车牌区域的倾斜角度进行倾斜矫正，包括：
对所述待检测车牌图像进行由rgb转为hsv的颜色通道转换；
遍历转换为hsv颜色通道的所述待检测车牌图像上每一个像素点，并将所有像素点中像素值位于蓝色区间以外的像素值设为0，保留蓝色区间内的点，以得到所述车牌区域；
对所述车牌区域进行膨胀处理，以查找连通域，并保留面积最大的所述连通域，删除其他区域；
获取面积最大的所述连通域的最小外接矩形；
获取最小外接矩形与水平线的夹角，通过所述夹角以对所述待检测车牌图像进行倾斜矫正。
4.根据权利要求1所述的方法，其特征在于，所述基于车牌检测模型的获取方法包括：
获取不同拍摄条件的所述待检测车牌图像；
采用矩形框将车牌区域在图像中标出；
采用标注好的训练数据，训练以得到基于深度学习的所述车牌检测模型。
5.根据权利要求1所述的方法，其特征在于，所述车牌螺丝检测模型的获取方法包括：
获取不同拍摄条件的所述车牌区域图像；
采用矩形框将车牌螺丝区域在图像中标出；
采用标注好的训练数据，训练以得到基于深度学习的所述车牌螺丝检测模型。
6.根据权利要求1所述的方法，其特征在于，所述判断是否符合车辆检测要求，包括：
依据所述车牌区域图像构建坐标系，以统计位于车牌上1/3部分的螺丝数量；
判断螺丝数量是否为两个；若是，则进入下一步；若否，则不符合车辆检测的要求；
判断螺丝位置是否均分在车牌左右两边；若是，则符合车辆检测的要求；若否，则不符合车辆检测的要求。
7.一种电子装置，其特征在于，所述装置包括：
获取模块，用于获取待检测车牌图；
处理模块，用于基于车牌检测模型对所述待检测车牌图像进行车牌检测，以获取车牌区域图像；基于车牌螺丝检测模型检测所述车牌区域图像，获取车牌上螺丝的位置及数量，以判断是否符合车辆检测要求。
8.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至6中任一项所述的方法。
技术总结