本发明属于空间手势识别技术领域,特别是涉及一种基于嵌入式双目智能镜前灯的手势控制方法及控制系统。
背景技术:
目前,随着人们生活水平的提高,人们对于家居设备的使用方式已经从最开始的开关式、遥控器式、手机或其他设备替代遥控器的方式,逐渐向着更符合人们“直觉”的操作方式。特别是在一些场景下灯光的控制,更加需要智能的操作方式。在日常生活中人们在洗漱和照镜子时,经常由于灯光的原因导致看不清镜子里的仪容,影响照镜子的整体感受。于是就迫切需要一种集智能、便捷、简易的智能镜前灯控制系统。
镜前灯与普通灯具一样,最初的版本都是由物理开关来进行控制,只能通过开关或者按钮来控制灯的开闭,逐渐到触控面板、非触摸开关等控制方式,其实根本并没有改变,都没有真正的将智能化和镜前灯相融合。即使现在的一些非接触的镜前灯控制系统也存在无法真正识别手势、误识别较多、功能单一等问题。
对于现有的一些镜前灯控制系统,不考虑传统的按键式或者触摸开关的方式,对于一些智能的控制系统仍然存在着以下问题:
(1)操控范围小,对于一些基于光电或者其他传感器的控制系统,只能在镜前灯附近某个安装了传感器的位置才能控制,操控空间较小。
(2)只能给出开关量,对于现有的镜前灯控制系统,都只是在设计了某种特定手势后对应了某个功能的开关,从而控制灯的变化。
(3)容易误操作,对于以上提到的控制方式,都仅仅是手在传感器附近做出符合预设的手势就能完成对应的功能,但是并没有区分是否事有效的手势,无法过滤掉人们在镜子前的误操作,这样会影响人们的体验感。
(4)控制方式单一,扩展性差,对于非接触的手势控制系统中包含的功能较少,并没有可扩展性,都只能应对较少的功能。
在居家使用镜子的时候,如果室内的环境光不够,需要打开镜前灯,特别的当使用者在洗漱的时候,如果手上带有水或者其他液体时,想要打开镜前灯或者调整镜前灯的时候,就需要擦手或者直接去触摸开关,这种麻烦的操作直接影响了镜前灯的体验。
而对于一些非接触的手势控制系统,一般都是基于光电、红外、感应模块,这些控制系统无法做到手势的真正识别,对于任何手势都会做出同样的效果,不区别手是打开还是闭合或者是握拳等操作,这样导致误操作很多,体验感较差。
对于基于相机的手势控制镜前灯系统,都是基于单目的,对于这种控制方式,由于相机在获取图像时,是将空间的三维空间向二维平面进行的投影,这样就丢失了维度,导致单目相机的系统只能做出开关量的控制,无法做出模拟量控制,即使做出了控制精度也不高。
技术实现要素:
本发明目的是为了解决现有的技术问题,提出了一种基于嵌入式双目智能镜前灯的手势控制方法及控制系统。
本发明是通过以下技术方案实现的,本发明提出一种基于嵌入式双目智能镜前灯的手势控制方法,所述方法包括以下步骤:
外部结构设置步骤:将智能镜前灯安装在镜子上方并采用led照明方式,将双目相机安装在镜前灯内,从上向下拍照,相机镜头位置的灯罩为透明材料,所述双目相机采用广角镜头;
双目标定步骤:利用标定软件进行双目相机的参数标定,获得两个相机的内外参数,并将标定结果保存成可读的文件,然后将标定参数的文件提供给系统进行调用;
图像获取步骤:获取当前双目相机采集的图像,在获取图像后,对图像进行校正,然后根据深度公式计算出手的空间坐标;
手势识别步骤:采用深度学习方法利用深度检测模型根据获取到的图像进行人手的检测,根据人手的检测结果利用基于肤色模型的匹配检测算法检测出手部矩形框,从而利用矩形框计算深度,根据计算结果进行手势类型识别,所述手势类型为两种或两种以上的静态手势的组合,所述静态手势包括手掌打开、手掌闭合和握拳;
镜前灯控制步骤:根据手势识别的结果利用树莓派和io扩展板对led灯进行控制。
进一步地,所述深度学习方法采用12层的模型,并将模型中的反卷积部分删除,所述深度学习方法中训练集的制作采用合成部分和实际部分共同制作;
其中合成部分为:
(a)在标准视频采集房内,采集便于自动抠图的视频;
(b)利用脚本程序进行人手的抠取;
(c)在网络上找到潜在的背景图片;
(d)将抠取的人手图片随机的和背景进行融合;
(e)给出适合模型训练的图片和数据;
实际部分为:
(a)找到大量的人员进行实际使用场景的视频录制;
(b)配置已有的模型,修改源代码,在实际检测中,输出手部数据;
(c)根据不同的手部数据进行筛选,此处将所有的人手关节数据输出;
(d)筛选数据,对于不同的手势给出类别和矩形框的输出;
(e)给出适合模型训练的图片和数据。
进一步地,所述对图像进行校正具体为:
由于相机在成像过程中存在两种不同类型的畸变,一种是由透镜的形状引起的畸变称为径向畸变,另一种是相机组装过程中透镜和成像面不能严格平行引起的畸变称为切向畸变;
径向畸变:
切向畸变:
综合以上两种畸变模型,得到相机的畸变模型:
其中,xerror和yerror为畸变点,xrectify和yrectify为校正点;
根据张正友提出的标定方式,得出相机的内参k1、k2、k3、p1、p2,其中
进一步地,所述求出校正后的点位置具体为:
(1)进行完双目标定后,会得出两个相机的映射矩阵,所述映射矩阵是从校正后的点到畸变点的映射,在双目标定时给出的是反向映射;
(2)根据反映射关系,将校正后的点对应到畸变的点,已知条件是畸变点和反映射;
(3)完成从畸变点到校正点的查找。
进一步地,所述完成从畸变点到校正点的查找具体为:
(a)根据双目标定后的结果,得出校正图像的实际有效区域在原图中的位置,找到各相机校正后的有效区域的四个顶点和带有畸变的四个顶点的x,y方向的距离差,然后根据这8个距离找出最大的横向距离和纵向距离,记录这两个距离为width和height;
(b)根据畸变原理,校正后的某个点的位置都应该在畸变点的位置的周围处,从而根据求得的width和height在校正的图上以畸变点的位置为中心构建一个矩形框;
(c)由于已知畸变点,并且在校正点周围已经构建了搜索框,于是利用遍历矩形框中的点位置,配合反向映射,求出潜在畸变点;
(d)计算求出的潜在畸变点与原畸变点的欧式距离,生成最小距离的那个校正点就是畸变点对应的校正点,最终给出畸变点映射到的校正点。
进一步地,所述基于肤色模型的匹配检测算法具体为:
检测到人手后提取出左相机矩形框的上半部分,创建模板,进行rgb的抽样,设定width和height的样本值,接下来在右相机的矩形框上半部分进行匹配,计算模板和待检测区域的像素差的总和,从而计算出像素差的最小值,将所述像素差的最小值与预设阈值进行比较,如果不大于阈值则匹配成功,对两个矩形的四个顶点计算深度。
进一步地,在镜前灯前方设置红外开关,利用io扩展板中的一个io接收红外开关信号,用于检测是否有人接近,如果红外开关检测到有人接近,则开启上一次保存的开灯模式。
本发明还提出一种基于嵌入式双目智能镜前灯的手势控制系统,所述系统包括:外部结构设置模块、双目标定模块、图像获取模块、手势识别模块和镜前灯控制模块;
所述外部结构设置模块:将智能镜前灯安装在镜子上方并采用led照明方式,将双目相机安装在镜前灯内,从上向下拍照,相机镜头位置的灯罩为透明材料,所述双目相机采用广角镜头;
所述双目标定模块:利用标定软件进行双目相机的参数标定,获得两个相机的内外参数,并将标定结果保存成可读的文件,然后将标定参数的文件提供给系统进行调用;
所述图像获取模块:获取当前双目相机采集的图像,在获取图像后,对图像进行校正,然后根据深度公式计算出手的空间坐标;
所述手势识别模块:采用深度学习方法利用深度检测模型根据获取到的图像进行人手的检测,根据人手的检测结果利用基于肤色模型的匹配检测算法检测出手部矩形框,从而利用矩形框计算深度,根据计算结果进行手势类型识别,所述手势类型为两种或两种以上的静态手势的组合,所述静态手势包括手掌打开、手掌闭合和握拳;
所述镜前灯控制模块:根据手势识别的结果利用树莓派和io扩展板对led灯进行控制。
本发明中将双目视觉技术集成到了嵌入式终端中,通过优化的算法,大大的降低了双目系统的成本。由于引入了视觉系统,对于人手的识别率更高,因此双目系统真正做到了识别真正的手势,可以有效的减少误操作。对于双目系统的标定可以计算出手的空间坐标,对于空间的手势来说其变化和控制方式就更具扩展性,因此用其作为镜前灯控制系统的信号接收端和处理端,作为手势采集和识别模块,并将嵌入式模块作为镜前灯的控制端,经过外设的电路进行镜前灯功能的控制从而得到更加准确和精度更高的镜前灯控制方法。
附图说明
图1为镜前灯结构图;其中,1表示白色led灯(冷色),2表示黄色led灯(暖色),3表示灯罩的亚克力板,4表示双目相机下面的透明亚克力,5表示双目相机;
图2为深度学习模型示意图;
图3为基于肤色模型的匹配算法流程图;
图4为实施例中镜前灯结构示意图,其中,6表示图1中的带有双目相机的镜前灯,7表示镜子,8表示led灯组;
图5为led灯组控制方式示意图,其中,9表示手的运动轨迹,10表示led灯关闭,11表示led灯打开。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
结合图1-图3,本发明提出一种基于嵌入式双目智能镜前灯的手势控制方法,所述方法包括以下步骤:
外部结构设置步骤:将智能镜前灯安装在镜子上方并采用led照明方式,将双目相机安装在镜前灯内,从上向下拍照,相机镜头位置的灯罩为透明材料,确保两个相机能正常采集图像,并且不影响图像质量,为了确保操作空间的足够大,所述双目相机采用广角镜头;所述透明材料为亚克力或其他透明材料;
双目标定步骤:利用标定软件进行双目相机的参数标定,获得两个相机的内外参数,并将标定结果保存成可读的文件,然后将标定参数的文件提供给系统进行调用;双目标定是通过两个相机同时采集一组标定图片,然后反过来求解相机参数的过程。本发明采用离线标定方式,首先利用双目相机拍摄带有标定物件的视频,然后对视频进行检测,挑选出合适的标定图片,利用双目标定模块进行最终的标定,最后将标定参数提供给系统进行调用;
图像获取步骤:获取当前双目相机采集的图像,在获取图像后,对图像进行校正,然后根据深度公式计算出手的空间坐标;
手势识别步骤:采用深度学习方法利用深度检测模型根据获取到的图像进行人手的检测,根据人手的检测结果利用基于肤色模型的匹配检测算法检测出手部矩形框,从而利用矩形框计算深度,根据计算结果进行手势类型识别,所述手势类型为两种或两种以上的静态手势的组合,所述静态手势包括手掌打开、手掌闭合和握拳;
镜前灯控制步骤:根据手势识别的结果利用树莓派和io扩展板对led灯进行控制。如图1所示,利用两个pwm端口控制两种灯的亮度的调节。
经过训练集标定,对于本发明制作了50万张图片的训练集,其中随机抽取5万张图片作为验证集,抽取5万张作为测试集。由于模型要在嵌入式上使用,于是对模型进行优化和减层,选取了darknet框架,对其中的模型进行改进,根据数据集和实际使用场景删除掉模型中的反卷积部分,并修改模型中的卷积尺寸、遍历步长、学习率等多个超参数,在多次实验后,将模型从原来的19层压缩到12层,确保模型的准确率也能保证系统要求的基础上,尽量的缩小模型,以便能在嵌入式上使用。所述深度学习方法采用12层的模型,并将模型中的反卷积部分删除,所述深度学习方法中训练集的制作采用合成部分和实际部分共同制作;
其中合成部分为:
(a)在标准视频采集房内,采集便于自动抠图的视频;
(b)利用脚本程序进行人手的抠取;
(c)在网络上找到潜在的背景图片;
(d)将抠取的人手图片随机的和背景进行融合;
(e)给出适合模型训练的图片和数据;
实际部分为:
(a)找到大量的人员进行实际使用场景的视频录制;
(b)配置已有的模型,修改源代码,在实际检测中,输出手部数据;
(c)根据不同的手部数据进行筛选,此处将所有的人手关节数据输出;
(d)筛选数据,对于不同的手势给出类别和矩形框的输出;
(e)给出适合模型训练的图片和数据。
利用以上训练集的制作方法可以大大缩减数据集的创建时间,剩下的就是模型的优化和训练,由于要在嵌入式端使用深度模型,于是使用便于在嵌入式端部署的模型,然后针对手在图像中的占比,将模型中的上采样去掉,并且在不断的实验中,缩减模型深度,最终利用如图2所示的模型来进行训练。
所述对图像进行校正具体为:
由于相机在成像过程中存在两种不同类型的畸变,一种是由透镜的形状引起的畸变称为径向畸变,另一种是相机组装过程中透镜和成像面不能严格平行引起的畸变称为切向畸变;
径向畸变:
切向畸变:
综合以上两种畸变模型,得到相机的畸变模型:
其中,xerror和yerror为畸变点,xrectify和yrectify为校正点;
根据张正友提出的标定方式,得出相机的内参k1、k2、k3、p1、p2,其中
所述求出校正后的点位置具体为:
(1)进行完双目标定后,会得出两个相机的映射矩阵,所述映射矩阵是从校正后的点到畸变点的映射,在双目标定时给出的是反向映射;
(2)根据反映射关系,将校正后的点对应到畸变的点,已知条件是畸变点和反映射;
(3)完成从畸变点到校正点的查找。
所述完成从畸变点到校正点的查找具体为:
(a)根据双目标定后的结果,得出校正图像的实际有效区域在原图中的位置,找到各相机校正后的有效区域的四个顶点和带有畸变的四个顶点的x,y方向的距离差,然后根据这8个距离找出最大的横向距离和纵向距离,记录这两个距离为width和height;
(b)根据畸变原理,校正后的某个点的位置都应该在畸变点的位置的周围处,从而根据求得的width和height在校正的图上以畸变点的位置为中心构建一个矩形框;
(c)由于已知畸变点,并且在校正点周围已经构建了搜索框,于是利用遍历矩形框中的点位置,配合反向映射,求出潜在畸变点;
(d)计算求出的潜在畸变点与原畸变点的欧式距离,生成最小距离的那个校正点就是畸变点对应的校正点,最终给出畸变点映射到的校正点。
利用此办法解决了从畸变点到校正点的查找,并且时间复杂度较低o(width*height),并且在已知的映射表中查找映射关系十分便捷,最终测试需要平均遍历200个点左右就可以找到畸变点校正之后的点,利用一个遍历解决了高阶2元方程的求解问题。
所述基于肤色模型的匹配检测算法具体为:
检测到人手后提取出左相机矩形框的上半部分,创建模板,进行rgb的抽样,设定width和height的样本值,接下来在右相机的矩形框上半部分进行匹配,计算模板和待检测区域的像素差的总和,从而计算出像素差的最小值,将所述像素差的最小值与预设阈值进行比较,如果不大于阈值则匹配成功,对两个矩形的四个顶点计算深度。在进行以上的匹配后精度可以达到5mm左右的误差,完全满足实际使用时的精度。
本发明还提出一种基于嵌入式双目智能镜前灯的手势控制系统,所述系统包括:外部结构设置模块、双目标定模块、图像获取模块、手势识别模块和镜前灯控制模块;
所述外部结构设置模块:将智能镜前灯安装在镜子上方并采用led照明方式,将双目相机安装在镜前灯内,从上向下拍照,相机镜头位置的灯罩为透明材料,所述双目相机采用广角镜头;
所述双目标定模块:利用标定软件进行双目相机的参数标定,获得两个相机的内外参数,并将标定结果保存成可读的文件,系统中用xml格式保存标定参数,然后将标定参数的文件放置在手势识别模块的固定文件夹中以便系统调用;
所述图像获取模块:获取当前双目相机采集的图像,在获取图像后,对图像进行校正,然后根据深度公式计算出手的空间坐标;
所述手势识别模块:采用深度学习方法利用深度检测模型根据获取到的图像进行人手的检测,根据人手的检测结果利用基于肤色模型的匹配检测算法检测出手部矩形框,从而利用矩形框计算深度,根据计算结果进行手势类型识别,所述手势类型为两种或两种以上的静态手势的组合,所述静态手势包括手掌打开、手掌闭合和握拳;
所述镜前灯控制模块:根据手势识别的结果利用树莓派和io扩展板对led灯进行控制。
系统可以检测识别三种静态的手势,手掌打开、手掌闭合、握拳,并且可以给出手的空间坐标,那么在镜前灯控制时,采用手势相组合的方式,例如手掌打开→握拳,手掌打开→手掌闭合可以代表某种开关,这样通过两个手势的组合作为开关可以避免灯的误触,减少误干扰。然后在开关量出现后,根据手空间位置的变化进行模拟量的控制,在进行模拟量控制时,可以建立人手空间位移和亮度的映射,这样操控起来更符合实际。
所述系统在镜前灯前方设置红外开关,利用io扩展板中的一个io接收红外开关信号,用于检测是否有人接近,如果红外开关检测到有人接近,则开启上一次保存的开灯模式,模式包括灯的颜色和亮度,还有led灯组的开关等。
实施例
如图4所示,为镜前灯的具体结构示意图,此系统设计了24个led灯组,其中8个为一组,在扩展板上使用24个io控制24个随动led灯的通电断电,每一个led可以单独控制打开或是关闭。
系统的手势操作方式为:
灯光模式的切换(冷\暖光)
在可视范围内,手掌打开→握拳→手掌打开→握拳,(三秒内完成)。
在可视范围内,手掌向下垂直下落超过10cm,然后再向上超过10cm,(三秒内完成)。
灯光亮度的调节:
在可视范围内,手掌打开→握拳,记录此时的手部空间位置为初始点,然后手开始运动,以当前手和初始点位置的距离来调节灯的亮度,系统初始设置为,每运动5mm,灯的亮度调节2%,百分比通过pwm调节,然后控制led灯带。
围绕的24颗led灯组的控制方式:
在可视范围内,手掌打开→手掌闭合,此时手指正前方的led灯进行开关的变化,改变当前状态,如果当前是灭的则打开,如果当前的是打开的则熄灭。然后手沿着led灯组的分布进行运动,则led灯组随着手的运动而变化,具体如图5所示。
当系统检测到手部控制led灯组信号时,根据计算出的人手的空间位置和标定的灯组的空间位置进行比较,当手距离某个灯距离很近时,系统控制io模块进行led灯电路的通断。
led灯组的全闭:
在可视范围内,手掌打开→手掌闭合→手掌打开→手掌闭合(三秒内完成)。
以上介绍了本系统中的手势控制,其中具体的手势可以和任意的功能相对应,这里的手势和功能的介绍只是其中的一种或几种。
以上对本发明所提供的一种基于嵌入式双目智能镜前灯的手势控制方法及控制系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
1.一种基于嵌入式双目智能镜前灯的手势控制方法,其特征在于:所述方法包括以下步骤:
外部结构设置步骤:将智能镜前灯安装在镜子上方并采用led照明方式,将双目相机安装在镜前灯内,从上向下拍照,相机镜头位置的灯罩为透明材料,所述双目相机采用广角镜头;
双目标定步骤:利用标定软件进行双目相机的参数标定,获得两个相机的内外参数,并将标定结果保存成可读的文件,然后将标定参数的文件提供给系统进行调用;
图像获取步骤:获取当前双目相机采集的图像,在获取图像后,对图像进行校正,然后根据深度公式计算出手的空间坐标;
手势识别步骤:采用深度学习方法利用深度检测模型根据获取到的图像进行人手的检测,根据人手的检测结果利用基于肤色模型的匹配检测算法检测出手部矩形框,从而利用矩形框计算深度,根据计算结果进行手势类型识别,所述手势类型为两种或两种以上的静态手势的组合,所述静态手势包括手掌打开、手掌闭合和握拳;
镜前灯控制步骤:根据手势识别的结果利用树莓派和io扩展板对led灯进行控制。
2.根据权利要求1所述的方法,其特征在于:所述深度学习方法采用12层的模型,并将模型中的反卷积部分删除,所述深度学习方法中训练集的制作采用合成部分和实际部分共同制作;
其中合成部分为:
(a)在标准视频采集房内,采集便于自动抠图的视频;
(b)利用脚本程序进行人手的抠取;
(c)在网络上找到潜在的背景图片;
(d)将抠取的人手图片随机的和背景进行融合;
(e)给出适合模型训练的图片和数据;
实际部分为:
(a)找到大量的人员进行实际使用场景的视频录制;
(b)配置已有的模型,修改源代码,在实际检测中,输出手部数据;
(c)根据不同的手部数据进行筛选,此处将所有的人手关节数据输出;
(d)筛选数据,对于不同的手势给出类别和矩形框的输出;
(e)给出适合模型训练的图片和数据。
3.根据权利要求1所述的方法,其特征在于:所述对图像进行校正具体为:
由于相机在成像过程中存在两种不同类型的畸变,一种是由透镜的形状引起的畸变称为径向畸变,另一种是相机组装过程中透镜和成像面不能严格平行引起的畸变称为切向畸变;
径向畸变:
切向畸变:
综合以上两种畸变模型,得到相机的畸变模型:
其中,xerror和yerror为畸变点,xrectify和yrectify为校正点;
根据张正友提出的标定方式,得出相机的内参k1、k2、k3、p1、p2,其中
4.根据权利要求3所述的方法,其特征在于:所述求出校正后的点位置具体为:
(1)进行完双目标定后,会得出两个相机的映射矩阵,所述映射矩阵是从校正后的点到畸变点的映射,在双目标定时给出的是反向映射;
(2)根据反映射关系,将校正后的点对应到畸变的点,已知条件是畸变点和反映射;
(3)完成从畸变点到校正点的查找。
5.根据权利要求4所述的方法,其特征在于:所述完成从畸变点到校正点的查找具体为:
(a)根据双目标定后的结果,得出校正图像的实际有效区域在原图中的位置,找到各相机校正后的有效区域的四个顶点和带有畸变的四个顶点的x,y方向的距离差,然后根据这8个距离找出最大的横向距离和纵向距离,记录这两个距离为width和height;
(b)根据畸变原理,校正后的某个点的位置都应该在畸变点的位置的周围处,从而根据求得的width和height在校正的图上以畸变点的位置为中心构建一个矩形框;
(c)由于已知畸变点,并且在校正点周围已经构建了搜索框,于是利用遍历矩形框中的点位置,配合反向映射,求出潜在畸变点;
(d)计算求出的潜在畸变点与原畸变点的欧式距离,生成最小距离的那个校正点就是畸变点对应的校正点,最终给出畸变点映射到的校正点。
6.根据权利要求1所述的方法,其特征在于:所述基于肤色模型的匹配检测算法具体为:
检测到人手后提取出左相机矩形框的上半部分,创建模板,进行rgb的抽样,设定width和height的样本值,接下来在右相机的矩形框上半部分进行匹配,计算模板和待检测区域的像素差的总和,从而计算出像素差的最小值,将所述像素差的最小值与预设阈值进行比较,如果不大于阈值则匹配成功,对两个矩形的四个顶点计算深度。
7.根据权利要求1所述的方法,其特征在于:在镜前灯前方设置红外开关,利用io扩展板中的一个io接收红外开关信号,用于检测是否有人接近,如果红外开关检测到有人接近,则开启上一次保存的开灯模式。
8.一种基于嵌入式双目智能镜前灯的手势控制系统,其特征在于:所述系统包括:外部结构设置模块、双目标定模块、图像获取模块、手势识别模块和镜前灯控制模块;
所述外部结构设置模块:将智能镜前灯安装在镜子上方并采用led照明方式,将双目相机安装在镜前灯内,从上向下拍照,相机镜头位置的灯罩为透明材料,所述双目相机采用广角镜头;
所述双目标定模块:利用标定软件进行双目相机的参数标定,获得两个相机的内外参数,并将标定结果保存成可读的文件,然后将标定参数的文件提供给系统进行调用;
所述图像获取模块:获取当前双目相机采集的图像,在获取图像后,对图像进行校正,然后根据深度公式计算出手的空间坐标;
所述手势识别模块:采用深度学习方法利用深度检测模型根据获取到的图像进行人手的检测,根据人手的检测结果利用基于肤色模型的匹配检测算法检测出手部矩形框,从而利用矩形框计算深度,根据计算结果进行手势类型识别,所述手势类型为两种或两种以上的静态手势的组合,所述静态手势包括手掌打开、手掌闭合和握拳;
所述镜前灯控制模块:根据手势识别的结果利用树莓派和io扩展板对led灯进行控制。
技术总结