本发明是有关于一种人机交互的方法、系统和装置,特别是指一种通过头部指向和点击(point-and-click)来实现人机沟通,用来控制电子产品及输入信息的方法、系统和装置。
背景技术:
人机交互(human-machineinteraction,hmi)系统由用户输入设备和用户输出设备组成,用户输出设备由最早的打印机、指示灯,一直发展到现在常用的显示屏,甚至3d影像投射、虚拟现实vr眼镜(virtualreality)和增强现实ar(augmentedreality)。
用户输入技术作为人机交互重要的一环,直接影响着用户的使用体验和使用效率,用户输入设备也从最早的按键、键盘到鼠标、语音输入、手写笔,一直发展到现在大行其道的电容式触屏,用手触控,一切可及,无需再用手写笔,甚至利用脑电波输入的读心术。这些输入方法一个比一个自然,方便。
每一次人机交互技术的进步都给it工业带来革命,电脑时代的windows®和macintosh®创造的图形界面让我们通过鼠标的指向并点击(pointsandclicking)就可完成一切操作;到了触控(touchscreen)手机时代,相信许多人都不会忘记第一次在广告中看到通过手指的开合来缩放屏幕上显示的照片时所体验到的新奇感。
目前触屏已很好用,但随着电子设备越来越小,屏幕也越来越小,手指却小不了,手指不好按触屏,现在用手机触摸屏虚拟qwerty键盘输入字母,经常因手指大输错旁边的字母或数字,而且对于有些不方便腾出双手操作的用户,如:如司机、残疾人,拿工具的工人、消防员、警察等,触摸屏并不是一个好选择,电容式触摸屏对于戴手套的人也不是一个好选择,手势输入也需要手,也不是一个好选择,有无比触摸屏更方便、更自然的输入方式,而且能够解放双手来做其他事情。
现在流行人脸识别,但只局限用于访问授权(accessauthorization),例如解锁手机,既然基于计算机视觉的人脸识别技术那么成熟,识别脸部表情、动作和运动方向也很容易,为何不用作人机交互的用户输入。
本来设想利用人脸识别来检测脸部表情、动作和运动方向作为用户输入,后来发现基于光学照相的人脸识别技术在光线弱时识别率低、耗电大,虽然苹果公司在iphonex机型后用了红外摄像头来解决光线弱导致的识别率低的问题,但还是功耗大,不太适合做人机交互。
基于光学识别头部运动的技术还有利用光电管、光敏器件或tof(timeofflight)来跟踪头部或眼球的运动,但是这些方法要发射红外光或激光并通过眼球反射,对眼睛不好。
鉴于上述现存的各项因素,如何更好地利用新的人机交互方法来达到控制电子产品、解决操作上的方便性,的确为值得探讨的课题。
技术实现要素:
本发明的目的,即提供一种人机互动的方法,该方法是通过头部point-and-click(指向并点击)来实现人机沟通,用来控制电子产品及输入信息。
最简单的人机交互系统由用户输入和输出设备组成,例如大家最常见的用户输出设备是屏幕、用户输入设备是按键,要完成所有的输入操作,只需简单的5向导航键(navigatingkey)就可,5向导航键包括上下左右4个方向键加enter确认键,如果再加上一个后退键(back)就更好,操作可以更快捷。
鼠标就是模拟5向导航键的,鼠标pointsandclicking(指向并点击)就可完成所有输入操作,本发明就是模拟鼠标的行为以实现鼠标的pointsandclicking功能,用头当作鼠标进行指向(points),相当于移动5向导航键的4个方向键使光标指向目标,移动头部,光标就跟着头部移动的方向移动。
点点头进行点击clicking,相当于按了确认enter键;摇摇头进行回退,相当于后退键(backspace或esc)。
这样,不再需要坐在桌上摆弄鼠标,或站起来舞动激光笔,不用占用太多的活动空间,也不需要留出操作鼠标移动的二维表面平面空间,可以在自由3d空间活动,借以达到操控的方便性效果。
有关本发明的其它功效及实施示例的详细内容,配合附图说明如下。
附图说明
为了更清楚地说明本发明实施示例或现有的技术方案,下面将对实施示例或技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施示例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明的一种使用示例。
图2是本发明的系统组成和架构。
图3是本发明的设置界面示例,从界面中可看到定义了头部运动或动作所对应的控制行为。
图4a和图4b是本发明中“头指向并点击”(pointandclick)操控用户界面示例,分别是操控全图形菜单、简单菜单。
图5是本发明用“头指向并点击”(headpointandclick)输入信息示例。
图6是本发明中角速度传感器在耳机上的安装位置,使用的坐标系和头部运动在3d空间中的转动方向。
图7a是本发明中头部从右向左移动所测量到的三个轴的角速度曲线。
图7b是本发明中头部从左向右移动所测量到的三个轴的角速度曲线。
图7c是本发明中头部从下向上移动所测量到的三个轴的角速度曲线。
图7d是本发明中头部从上向下移动所测量到的三个轴的角速度曲线。
图7e是本发明中的点头动作(头部从上向下快速移动)所测量到的三个轴的角速度曲线。
图7f是本发明中的摇头动作(头部左右快速移动)所测量到的三个轴的角速度曲线。
图7g是本发明中图示了如何用梯形面积法求角速度的积分以得到转动角度。
图8是本发明中显示了从识别头部动作到完成人机交互的整个软件处理流程。
具体实施方式
以下以各附图来说明本发明的实施例子,用附图更能全面地描述本发明。然而,本发明不应被解释为限于这里阐述的实施示例,而是,提供这些实施示例以使得本发明的公开将是透彻和完整的,并将向本领域技术人员充分传达本发明的范围。
请参阅图1至图7配合以下说明进一步理解本发明使用说明方式及实现基本原理:
如图1,选用无线蓝牙耳机103作为跟随头部运动的载体,在耳机103上加装转动传感器104以检测和感知头部跟随眼睛注视的方向上下左右运动方向及位移、动作(如点头、摇头等)、跟踪头部运动轨迹,并将检测到这些运动事件编码成相应控制指令后通过无线或有线102(例如蓝牙)传送到要控制的电子设备101中,这些电子设备101收到控制指令后,解释并执行相应的预设动作303-304,使用者只需摇头晃脑就可移动光标,且光标移动的距离跟头部运动的位移成正比;点点头就可点击(clicking),摇头就可回退(backspace或esc),结合原来耳机的麦克风209输入声音功能,吹着口哨头向上移就可放大图片,吹着口哨头向下移就可缩小图片…从而实现一种比现在触摸屏更自然(如:眼看哪里,光标就指向哪里)、更便捷的人机交互方式,在主机端101可视化软键盘用户界面502的支持下,更可实现信息的输入。
利用原来耳机的声音输出208,甚至可以实现用户输出(如输出语音提示或语音菜单),集用户输入和用户输出于一体,这个对于因不需要输出复杂的用户界面而没有屏幕的简单电子设备(例如:音乐播放器)只需用此用户输入和输出2合1设备按语音提示,点头或摇头就可完成人机交互。
本实施示例之所以选用耳机作为载体而不是眼镜或其他,原因是减少异物感及照顾戴眼镜者不能再戴多一副眼镜,还有一个原因是要利用耳机的声音输入可做更多交互的动作组合。
再请参考图2来说明系统组成和架构,本系统由人机界面装置(hid:humaninterfacedevice)耳机200和host电子设备210两部分组成,两者通过无线(如bluetooth/zigbee/wifi等)或有线的方式102连接起来,其中该人机界面装置(hid)耳机200是以耳机103作为载体设置于头部,并跟随头部运动检测和识别头部上下左右运动及点头、摇头动作等方向及位移、动作事件,将所跟踪头部运动轨迹所检测到这些运动的方向及位移、动作事件编码成相应控制指令;人机界面装置(hid:humaninterfacedevice)耳机200包括具有角速度转动传感器202(memsangularvelocitysensor)及微处理器;以及无线或有线传送设备,该微处理器内置头部运动与行为控制相应的预设动作事件参数表,并相应的将角速度传感器检测头部转动方向及幅度所得到运动角速度,经计算、识别并判断头部发生了哪种方向的运动及运动位移或预设的动作事件,按照标准输入设备的键值或轴代码及按照人机输入接口协议打包数据进行编码;再通过所述无线或有线传送设备传输到该电子设备。该主电子设备210将所收到控制指令,经解释并执行相应的预设动作,再输出显示,从而实现头部运动输入事件和输出显示相互对应,共同完成人机交互。
如图2所示,hid耳机则是由耳机加装数字三轴角速度传感器202组成,耳机则由麦克风209、听筒208、音频编解码器codec(adc/dac转换器)207、微处理器201、记忆体205、无线或有线数据传输器203、天线或电线204,电源供应器206,usb接口及充电211,电源开/关/配对/按键212组成。
主设备(host)210可以是电子设备或电脑(例如:手机,平板电脑,pda,电子书,pc,笔记本电脑,投影仪,收音机,无线电对讲机,机顶盒,游戏设备等等)。
进一步参考图2、图3来说明运动信号处理流程:用数字三轴角速度传感器202检测头部转动方向及幅度,得到角速度并传送到微处理器201,微处理器201计算、识别并判断头部发生了哪种方向的运动或预设的动作事件,换言之,该角速度转动传感器202的y轴与头部yaw转动平行(图6),z轴与头部pitch转动平行,x轴与头部roll转动平行,用于检测和识别头部跟随眼睛注视的方向上下左右运动及点头、摇头动作,并利用该角速度转动传感器202内的高通滤波,滤除低频静态噪声音,并经过去抖动(debounce)处理,得到运动角速度数据传送到微处理器201。
并按照图3预设头部运动或动作对应的控制表303,304,305,将收到的动作事件编码(一般是编为标准输入设备的键值或轴代码)和按照人机输入接口协议(如hidprotocol)打包数据,再通过无线或有线数据传输器203传输到主机210。
主机210收到数据后由主机内置操作系统内核中的设备驱动程序解码后转化为标准的输入事件,并加入输入事件流直至被软件调度到相应的显示窗口上,这样,头部运动输入事件和用户输出显示相互对应,共同完成人机交互。
请参考图2来说明耳机声音输入信号处理流程:麦克风209拾音得到模拟音频信号,送到音频编解码器207进行a/d转换器变为数字信号,经过微处理器201处理和记忆体205暂存变为音频流(mediaflow)送到无线或有线数据传输器203再传送到主机210。
再请参考图2来说明耳机声音输出信号或提示音处理流程:
hid耳机200连接配对主机210后(例如:蓝牙配对),主机将认为hid耳机200是标准hid输入设备及标准音频输入和输出设备,只要主机的设置为音频从耳机(蓝牙或有线)输入和输出,从主机端发出的所有声音(如语音菜单、提示音、音乐、通话声音、铃声等)都通过有线或无线的方式传到无线或有线数据传输器203,经微处理器201解码音频信号和记忆体205临时存储,送到音频编解码器207进行d/a转换器变为模拟信号后在音频编解码器207内部进行功率放大后驱动听筒208发声。
参考图3来说明预设的头部运动所对应的控制定义及设置:
如图所示,此设置程序一般放在电脑中并通过usb211将设置参数传送到耳机中;或放在主机101的内置软件或外挂app中,在主机101和耳机102配对连接时交换这些设置参数。
耳机103在头部运动识别后输出的是对应检测到的各种头部运动事件编码304,此编码一般是各个头部动作相对应的标准输入设备键值,如:头部向上移动对应向上移动光标键的键值;点头对应按了enter键的键值;摇头对应按了backspace/escapes键的键值;
除此之外,还可以设置允不允许头部运动识别功能302;以及拉动滑块306调节角速度阈值来调节检测灵敏度;305是头部动作事件304的下拉菜单,有2个选项,一个是none,代表无设置,另一个是预设值。
请参阅图4a和图4b说明用头部指向并点击(headpoint-and-click)操控用户菜单示例,其中图4a是由图标组成的全图形界面的菜单操控示例,例如智能手机的主菜单;图4b则是用黑白屏幕的简单电子设备的文字菜单操控示例。
401是各个应用程序app的图标,头部随着眼睛注视的方向移动时,光标402也跟随移动,移到要进入的app的图标时,点点头(相当click)打开此应用程序,摇摇头退出或关闭此应用程序。
同样对于简单屏幕的电子设备(图4b),头部上下移动时,高亮条404也跟随之上下移动,点点头(相当点击)进入此菜单的项目,摇摇头退出回到主菜单。
图5图示用头部指向并点击(headpoint-and-clicking)输入信息示例,以一个社交聊天app为例,要输入信息,通过头部上下左右移动光标501到输入框506后点一下头,然后显示屏弹出软键盘502,再通过头部上下左右移动光标501到要输入的字母,点头输入,再移光标到发送(send)键,click点击就可发送信息了。505是聊天用户名,504是与用户505聊天的其他用户标识,503是聊天内容。
请参阅图6说明角速度传感器601安装在耳机上使用的坐标系及头部运动和动作在3d空间中的转动方向,如图所示,在人站着或坐着在原地不动只动头部时,头部运动因受脖子限制通常不能任意移动,因此头部运动不是平移,而是以脖子为轴心的转动且转动角度不会超过 /-180度,头左右运动或摇头时,是围绕yaw轴606转动,头上下运动或点头时是围绕pitch轴605转动。
安装传感器601的位置以使传感器的坐标系603的y轴与头部yaw606平行,603的z轴与头部pitch轴平行,x轴与头部roll轴604平行;所以,头上下运动或点头时是围绕z轴转动,头左右运动或摇头时,是围绕y轴转动。
如图所示601是一颗数字的三轴角速度传感器,例如:st公司的l3gd20h,尺寸只有3x3x1mm,有别于古老的模拟角速度传感器输出模拟电压信号来反应角速度的大小,它可以直接输出角速度数值,原因是它内部已经将模拟信号通过adc采样转换成了数字信号,角速度传感器可报告设备沿3个坐标轴的角速度,带有正负的,正值表示按逆时针旋转,负值表示按顺时针旋转,角速度的方向则由右手螺旋法则得出,而且,这些传感器已内置有高通滤波器(highpassfilter)、低通滤波器(lowpassfilter),很方便地去除一些直流或高频噪声干扰。
角速度传感器通常还提供中断的功能,也就是检测角速度的值大于或小于设定阀值(threshold)就输出中断信号到微处理器201,在传感器601中断寄存器里,你可以选择哪个轴的值大于或小于这个阀值(这个阈值可通过图3的306来调节),也可以组合你要检测的轴。中断寄存器还可定义持续时间(duration)来定义检测的时间,当达到这个时间并且超出阀值就可以触发中断;还提供一个实用的运动/唤醒(movementandwake-up)中断来进行电源管理,也就是说平时没转动的话,耳机是在省电的睡眠状态,只有耳机转动了才进入正常的工作模式。
续请参阅图6配合图7a-图7g参阅,主要说明“头部指向并点击“(pointandclicking)的实现方法,也就是检测和识别头部运动方向(pointing)和点头动作(clicking),要实现指向(pointing)就要检测头部移动的方向及移动的距离,这样才能根据这2个指标来控制光标的移动。
图7a是头部从右向左移动所测量到的三个轴的角速度曲线:
我们从图6可知,头左右运动或摇头时,是围绕yaw轴606(也就是y轴)转动,其他2轴没有转动,因此,从右转到左的运动特征是y轴的角速度为正(表示按正向旋转,逆时针)且x和z轴的角速度基本不变,只要在一定的时间(duration,如:50ms)测量y轴的角速度超过一定阈值且极性为正,并且x和z轴的角速度变化不大,我们就认为发生了头部向左移动这个动作。写成表达式就是:
ay>0&ay>threshold&ax<∣thresholdmin∣&az<∣thresholdmin∣(其中ay代表y轴的角速度;ax代表x轴的角速度;ax和az<∣thresholdmin∣代表x和z轴角速度变化不大,在一个小范围内)。
图7b是头部从左向右移动所测量到的三个轴的角速度曲线,从左转到右的运动特征是y轴的角速度为负(表示按负向旋转,顺时针)且x和z轴的角速度基本不变,只要在一定的时间(duration,如:50ms)测量y轴的角速度超过一定阈值且极性为负,并且x和z轴的角速度变化不大,我们就认为发生了头部向右移动这个动作。写成表达式就是:
ay<0&ay>∣threshold∣&ax<∣thresholdmin∣&az<∣thresholdmin∣(其中ay代表y轴的角速度;ax代表x轴的角速度;ax和az<∣thresholdmin∣代表x和z轴角速度变化不大,在一个小范围内)。
图7c是头部从下向上移动所测量到的三个轴的角速度曲线,我们从图6可知,头上下运动或点头时,是围绕pitch轴605(也就是z轴)转动,因此,从下向上的运动特征是z轴的角速度为负(表示按负向旋转,顺时针)且x和y轴的角速度不变,只要在一定的时间内(duration,如:50ms)测量z轴的角速度超过一定阈值且极性为负,并且x和y轴角速度变化不大,我们就认为发生了向上移动这个动作。写成表达式就是:
az<0&az>∣threshold∣&ax<∣thresholdmin∣&ay<∣thresholdmin∣(其中ax代表x轴的角速度,ay代表y轴的角速度;az代表z轴的角速度;ax和ay<∣thresholdmin∣代表x和y轴角速度变化不大,在一个小范围内)。
图7d是头部从上向下移动所测量到的三个轴的角速度曲线,我们从图6可知,头上下运动或点头时,是围绕pitch轴605(也就是z轴)转动,因此,从上向下的运动特征是z轴的角速度为正(表示按正向旋转,逆时针)且x和y轴的角速度不变,只要在一定的duration(如:50ms)测量z轴的角速度超过一定阈值且极性为正,并且x和y轴角速度变化不大,我们就认为发生了向下移动这个动作。写成表达式就是:
az>0&az>∣threshold∣&ax<∣thresholdmin∣&ay<∣thresholdmin∣(其中ax代表x轴的角速度,ay代表y轴的角速度;az代表z轴的角速度;ax和ay<∣thresholdmin∣代表x和y轴角速度变化不大,在一个小范围内)。
如图7a-图7d所示现在检测到的是移动方向,还要检测移动的位移(displacement)以决定光标要向移动方向移动的距离,因头部移动是以脖子为轴心的转动,因此头部运动的距离就是头部转动的弧度,可通过测量到的角速度进行积分得到转动的弧度,乘上一个系数k就可得到光标移动的距离,这样光标移动的距离就与转动的幅度成正比了。
因为角速度的定义为:
∵a=dθ/dt(θ为所走过弧度,t为时间,a为角速度angularvelocity,单位为rad/s)
∴=》θ=
(每次积分前,注意要做高通滤波,否则由于直流和非常低的频率分量的影响,积分会积累非常大的漂移误差)。
求积分就是求a(t)曲线到时间轴t0-tn的面积(见图7g),出于功耗和成本考虑,耳机的处理器201不可能用强大的浮点运算器,因运算能力有限,微处理器201算积分有困难,因此可将求曲线面积,用求梯形面积迫近。
图7g图示了如何用梯形面积法求角速度的积分以得到转动角度,如图所示,y轴702为角速度a,a(t)曲线701可用一段段折线at0at1…at(n-1)atn代替,就可以用一个个梯形面积之和sat0at1t1t0 sat1at2t2t1 … sat(n-1)atntnt(n-1)来表示曲线与时间轴703围成的面积了,写成表达式就是
θ=
≈sat0at1t1t0 sat1at2t2t1 … sat(n-1)atntnt(n-1)
=[(at0 at1)/2*(t1-t0)] [(at1 at2)/2*(t2-t1)] … [(atn-1 atn)/2*(tn-tn-1)](根据梯形面积公式=(长边at(n-1)tn-1 短边atntn)/2*(tn-tn-1),)
因等值时间采样角速度,所以(tn-tn-1)=…=(t2-t1)=(t1-t0)=∆t,则
θ=[(at0 at1)/2 (at1 at2)/2 … (at(n-1) atn)/2]*∆t
=[(at0 atn)/2 (at1 at2 … at(n-1)]*∆t
上述等式用软件编程计算加法比直接计算积分容易的多了,采样数据累加再乘以采样间隔就得到,所以无需用强大的cpu就能算出。
图7e是点头动作(头部从上向下快速移动)所测量到的三个轴的角速度曲线,我们从图6可知,头上下运动或点头时,是围绕pitch轴605(也就是z轴)转动,因此,点头动作的运动特征是z轴的角速度为正负交替剧烈变化且x和y轴的角速度不变,只要在一定的时间内(duration,如:100ms)测量z轴的加速度超过一定阈值且极性为正与负交替,并且x和y轴的角速度变化不大,我们就认为发生了点头这个动作,从而识别出这个点头动作,写成表达式:
∣az∣>threshold&ax<∣thresholdmin∣&ay<∣thresholdmin∣(其中ax代表x轴的角速度,ay代表y轴的角速度,az代表z轴的角速度)。
图7f是对摇头动作(头部左右快速移动)所测量到的三个轴的角速度曲线,我们从图6可知,头左右运动或摇头时,是围绕yaw轴(y轴)606转动,因此,摇头动作的运动特征是y轴的角速度为正负交替剧烈变化且x和z轴的角速度不变,只要在一定的时间内(duration,如:100ms)测量y轴的加速度超过一定阈值且极性为正与负交替,并且x和z轴的角速度变化不大,我们就认为发生了摇头这个动作,从而辨认出这个摇头动作,写成表达式:
∣ay∣>threshold&ax<∣thresholdmin∣&az<∣thresholdmin∣(其中ax代表x轴的角速度,ay代表y轴的角速度,az代表z轴的角速度)。
对于结合头部运动和声控组合型控制这个功能的输入声音检测及声响识别方法:
麦克风209拾音得到模拟音频信号,送到音频编解码器207进行ad转换器变为数字信号,由微处理器201判断:只要在一定的时间内(duration,如:20ms)测量声音强度超过一定阈值就认为发出了声响。
综合上述,本发明可以通过图8来说明从识别头部运动到完成人机交互的整个软件处理流程:
先是打开hid耳机和主机的电源,两者配对801,建立主从连接关系,主从设备相互交换设置参数,主机是要控制的电子设备或电脑,耳机是从设备。
微处理器201控制数字三轴角速度传感器202检测头部运动方向和位移及动作802,并打开数字角速度传感器202内的高通滤波器,滤除低频静态噪声音,并经过去抖动处理,得到运动角速度传送到微处理器201,根据图7所描述的各个头部动作的运动特征识别并判断发生了向哪个方向指向(pointing)及计算移动位移,及识别发生了点头或摇头的头部动作事件803。
并按照预设的头部运动所对应的控制定义(图3)将收到的动作事件编码804,一般是编为标准输入设备鼠标或pointer所对应的轴代码和鼠标按键键值,例如:头部左右移动及移动位移d映射到android标准鼠标设备的x轴代码 /-d,用于报告光标沿着x轴的位移d位移,“ ”代表向右移,“-”代表向左移;上下移动及移动位移d映射到标准鼠标设备的y轴代码: /-d,用于报告光标沿着y轴的位移d位移,“ ”代表向上移,“-”代表向下移,动作事件如:点头clicking,则编码为鼠标左键键值;
也可以全部映射为按键的键值,例如:头部上下左右移动映射到对应键盘的上下左右方向键值,移动的位移映射到按了方向键的次数,点头映射到enter键值,摇头映射到esc或back键…
编码后按照人机输入接口协议(如hidprotocol)打包数据805,再通过无线或有线数据传输器203传输到主机210。主机210收到数据后由主机软件中的hid(humaninterfacedevice)设备驱动程序解码后转化为标准的输入事件,并加入输入事件流直到被软件调度到相应的输出显示窗口执行相应的动作806,在屏幕上反馈执行结果,这样,头部运动与动作输入事件和输出显示相互对应,共同完成人机交互。
总结起来本发明有以下优势。
1.让耳机(例如:无线蓝牙耳机)不单是一个音频输入/输出设备,也成为人机交互hid(humaninterfacedevice)输入和输出装置。输入可以是头部“指向-点击”(point-and-clicking)输入,也可以是声音输入,甚至声纹输入作为访问授权;耳机的音频输出则变身人机交互的输出设备,输出声音提示,甚至声音菜单供用户输入选择。
2.人机交互一般要由二个设备组成,一个作为用户输入,另一个作为用户输出,本发明将二个设备合一,集2路用户输入(运动检测输入、语音输入)和1路用户输出(语音输出)于一体。
3.本发明操作自然(如:眼看哪里光标就指向哪里)之外,使用时不占空间,还可以解放手来做其他事情,对特定人群有益(如司机、残疾人,拿工具的工人、消防员、警察等),特别对不方便腾出手来操作机器的人特别有用,借助这本发明,或许可以彻底取消触摸屏,完全用头部“指向-点击”(headpoint-and-clicking)来操作生活中的各种智能设备。
4.头部运动因受脖子限制通常不能任意移动,因此头部运动不是平移,而是以脖子为轴心的转动且转动角度不会超过 -180度,因此用测量旋转运动见长的角速度传感器比较合适用,比起以检测直线运动见长的加速度传感器(memsaccelerometer)具有检测简单的特点。
5.基于mems的角速度传感器的头部“指向-点击”(headpoint-and-click)识别比起基于光学(如光电管、tof、摄像)的头势识别具有体积小、功耗和成本低的优势。
6.头部动作结合耳机上的声音传感器拾取的声音来达到更多的输入控制组合。
7.可以无线远距离操控,特别适合大屏幕演示的应用场景,例如电子黑板或投影仪。
8.比起眼镜或其他穿戴设备,选用耳机作为载体不单可以跟随头部随眼睛注视的方向上下左右运动,更可以减少穿戴时异物感及照顾戴眼镜者不能再戴多一副眼镜,还有一个原因是要利用耳机的声音输入和输出可做更多交互的动作组合。
以上所述实施示例及实施方式,仅是用以说明实现本发明的较佳实施例子或实施方式,并非对本发明的实施方式作任何形式上限制,任何本领域技术人员,在不脱离本发明内容所公开技术手段的范围,稍作一些的更动或修饰便可作为其它等效的实施例子,但仍应视为与本发明实质相同的技术或实施示例。
1.在一种用来控制电子设备的人机交互方法,其特征在于:
选用具有检测和识别头部上下左右运动及点头、摇头动作等功能的载体,跟随头部运动,并与电子设备通过无线或有线方式配对建立主从关系;进行控制指令编码,将所述跟踪头部运动轨迹所检测到这些运动的方向及位移、动作事件编码成相应控制指令;通过无线或有线方式传送所述控制指令到所述电子设备;配合相应用户界面(userinterface)将所述电子设备所收到控制指令,经解释并执行相应的预设动作,从而实现头部运动输入事件和用户输出显示相互对应,共同完成人机交互。
2.如权利要求1所述用来控制电子设备的人机交互方法,其特征在于,该载体采用无线耳机或有线耳机,并于该耳机加装角速度转动传感器以检测和识别头部跟随眼睛注视的方向上下左右运动及点头、摇头动作,利用该角速度转动传感器内的高通滤波,滤除低频静态噪声音,并经过去抖动处理,得到运动角速度数据。
3.如权利要求2所述用来控制电子设备的人机交互方法,其特征在于,所述角速度转动传感器的安装位置,使该角速度转动传感器的y轴与头部yaw转动平行,z轴与头部pitch转动平行,x轴与头部roll转动平行,这样的安装位置以便在人站着或坐着在原地不动只动头部时,头上下运动或点头时是围绕z轴转动,头左右运动或摇头时,是围绕y轴转动,头部运动可根据这个运动特征来识别。
4.如权利要求3所述用来控制电子设备的人机交互方法,其特征在于,所述根据运动特征来识别头部向左运动的方法是y轴的角速度为正(表示按正向旋转,逆时针)且x和z轴的角速度基本不变,只要在一定的持续时间内测量y轴的角速度超过一定阈值且极性为正,并且x和z轴的角速度变化不大,就认为发生了头部向左转动这个动作;
同理,如果y轴的角速度为负且x和z轴的角速度基本不变,就认为发生了头部向右转动这个动作;
同理,识别头部向上运动的方法是z轴的角速度为负(表示按负向旋转,顺时针)且x和y轴的角速度基本不变,只要在一定的持续时间内测量z轴的角速度超过一定阈值且极性为负,并且x和y轴角速度变化不大,就认为头部发生了向上移动这个动作;
同理,z轴的角速度为正(表示按正向旋转,逆时针)且x和y轴的角速度基本不变,只要在一定的持续时间内测量轴的角速度超过一定阈值且极性为正,并且x和y轴角速度变化不大,就认为发生了头部向下移动这个动作;
点头动作的运动特征是z轴的角速度为正负交替剧烈变化且x和y轴的角速度不变,只要在一定的持续时间内测量z轴的加速度超过一定阈值且极性为正与负交替,并且x和y轴的角速度变化不大,我们就认为发生了点头这个动作,从而识别出这个点头动作;
摇头动作的运动特征是y轴的角速度为正负交替剧烈变化且x和z轴的角速度不变,只要在一定的持续时间内测量y轴的加速度超过一定阈值且极性为正与负交替,并且x和z轴的角速度变化不大,我们就认为发生了摇头这个动作,从而辨认出这个摇头动作。
5.如权利要求1所述用来控制电子设备的人机交互方法,其特征在于,该控制指令编码系透过一个微处理器,该微处理器内置头部运动与行为控制相应的预设动作事件参数表,并相应地将角速度传感器检测到头部转动事件并通知微处理器中断处理收到的角速度数据,微处理器根据运动特征判断头部发生了哪种方向的运动或预设动作事件,并将这些事件编码为标准输入设备(例如鼠标,键盘)的键值,将根据角速度计算出的运动位移编码为轴代码,然后按照人机输入接口协议(如hidprotocol)打包编码数据。
6.如权利要求1所述用来控制电子设备的人机交互方法,其特征在于,所述被控制的电子设备用户接口(userinterface)具有设备驱动程序,用于将收到的动作事件编码进行解码后转化为标准的输入事件。
7.如权利要求1所述用来控制电子设备的人机交互方法,其特征在于,所述通过无线或有线方式传送该控制指令,该无线方式可以采用蓝芽、zigbee或wifi等。
8.如权利要求2所述用来控制电子设备的人机交互方法,其特征在于,进一步结合该载体(耳机)上已有的麦克风和音频编码译码器(codec),以及连接该微处理器的内存,将麦克风拾音得到模拟音频信号,送到该编译码器进行a/d转换器变为数字信号,并经过微处理器在一定时间段内判断收到的声音强度大于某个阈值就认为发生了声音输入事件,这样,结合声音输入和头部运动输入组合出更多的控制功能,例如:吹着口哨头向上移就可放大图片,吹着口哨头向下移就可缩小图片。
9.一种用来控制电子设备的人机交互装置,其特征在于,包括:该装置可以和被控制电子设备相互配对,建立主从连接关系,该装置的载体被配置定位在用户的头部,跟随头部运动,至少包含角速度转动传感器,微处理器及记忆体;以及无线或有线传送装置,其中该角速度转动传感器的y轴与头部yaw转动平行,z轴与头部pitch转动平行,x轴与头部roll转动平行,用于检测和识别头部跟随眼睛注视的方向上下左右运动及点头、摇头动作,并利用该角速度转动传感器内的高通滤波,滤除低频静态噪声音,并经过去抖动处理,得到运动角速度数据;
该微处理器预先存贮头部运动与行为控制相应的预设动作事件参数表在记忆器中,利用角速度传感器检测到的头部转动角速度,经计算、识别并判断头部发生了哪种方向的运动或预设的动作事件,按照标准输入设备的键值或轴代码及按照人机输入接口协议(如hidprotocol)打包数据进行编码;再通过所述无线或有线传送装置传输到被控制的电子设备;
被控制的电子设备包含输入设备驱动程序,用于将前述收到的动作事件编码进行解码后转化为标准的输入事件,从而实现头部运动输入事件和用户界面输出显示相互对应,共同完成人机交互。
10.如权利要求9所述用来控制电子设备的人机交互装置,其特征在于,该载体采用具有hid(humaninterfacedevice人机交互)功能的无线或有线耳机;被控制的电子设备可以是手机,平板电脑pad,pda,电子书,电脑pc,笔记型电脑notebook,投影仪,收音机,对讲机,机顶盒,传呼机,游戏设备等等。
11.如权利要求9所述用来控制电子设备的人机交互装置,其特征在于,该无线装置可以是bluetooth/zigbee/wifi等。
12.如权利要求10所述用来控制电子设备的人机交互装置,其特征在于,该人机交互hid耳机进一步设有音频编译码器(codec),用于将该hid耳机内麦克风拾音得到模拟音频信号,透过该译码器进行a/d转换器变为数字信号。
13.如权利要求12所述用来控制电子设备的人机交互装置,其特征在于,进一步设有连接该微处理器和内存,将该数字信号送到微处理器处理,微处理器在一定时间段内判断收到的声音强度大于某个阈值就认为发生了声音输入事件,这样利用输入声音功能,吹着口哨头向上移就可放大图片,吹着口哨头向下移就可缩小图片。
14.一种用来控制电子设备的人机交互系统,其特征在于,该系统包括通过无线或有线方式配对建立主从关系的人机界面装置hid(humaninterfacedevice)和电子设备两部分,其中该人机界面装置设置于头部,并跟随头部运动检测和识别头部上下左右运动及点头、摇头动作等方向及位移、动作事件,将所述跟踪头部运动轨迹所检测到这些运动的方向及位移、动作事件编码成相应控制指令;该电子设备将所收到控制指令,经解释并执行相应的预设动作,再输出显示,从而实现头部运动输入事件和输出显示相互对应,共同完成人机交互。
15.如权利要求14所述用来控制电子设备的人机交互系统,其特征在于,所述人机界面装置包括具有角速度转动传感器(memsangularvelocitysensor)的载体及微处理器;以及无线或有线传送设备,该微处理器内置头部运动与行为控制相应的预设动作事件参数表,并相应的将角速度传感器检测头部转动方向及幅度所得到运动角速度,经计算、识别并判断头部发生了哪种方向的运动及运动位移或预设的动作事件,按照标准输入设备的键值或轴代码及按照人机输入接口协议打包数据进行编码;再通过所述无线或有线传送设备传输到该电子设备。
16.如权利要求15所述用来控制电子设备的人机交互系统,其特征在于,该载体为人机交互hid(humaninterfacedevice)无线或有线耳机;该电子设备可以是手机,平板电脑pad,pda,电子书,电脑pc,笔记型电脑notebook,投影仪,收音机,对讲机,机顶盒,传呼机,游戏设备等。
17.如权利要求15所述用来控制电子设备的人机交互系统,其特征在于,该耳机进一步设有音频编码译码器(codec),用于将该hid耳机内麦克风拾音得到模拟音频信号,透过该译码器进行a/d转换器变为数字信号。
18.如权利要求17所述用来控制电子设备的人机交互系统,其特征在于,进一步设有连接该微处理器和内存,将该数字信号送到微处理器处理,微处理器在一定时间段内判断收到的声音强度大于某个阈值就认为发生了声音输入事件,这样利用输入声音功能,吹着口哨头向上移就可放大图片,吹着口哨头向下移就可缩小图片。
技术总结