基于音频的终端屏幕控制方法、存储介质与流程

专利2022-06-29  72


本发明涉及头戴设备领域,具体涉及基于音频的终端屏幕控制方法、存储介质。



背景技术:

越来越多的头戴式设备支持将终端(手机、平板等)画面输出到头戴设备中显示。基于目前的技术,终端如果锁屏了,将无法继续输出画面至头戴设备。而如果终端不锁屏,又容易发生误触事件,特别是放在口袋中;并且当终端(如手机)放在口袋中又锁屏了,就很难操作终端,进而无法控制头戴式设备的显示。



技术实现要素:

本发明所要解决的技术问题是:提供一种基于音频的终端屏幕控制方法、存储介质,既能维持输出画面至头戴设备,又能暗中操控终端。

为了解决上述技术问题,本发明采用的技术方案为:

一种基于音频的终端屏幕控制方法,包括:

当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置透明遮罩层在终端所有应用最上层;

通过所述透明遮罩层拦截终端的所有触摸事件;

当终端话筒接收到的所述特定频率声音序列的幅度低于阈值时,所述透明遮罩层缩小至指定大小。

本发明提供的另一个技术方案为:

一种计算机可读存储介质,其上存储有计算机程序,所述程序在被处理器执行时,能够实现上述一种基于音频的终端屏幕控制方法所包含的步骤。

本发明的有益效果在于:当终端接收到大于幅度阈值的特定频率声音序列,便启动遮罩层拦截所有触摸事件,以此有效解决误触问题,确保终端实际不锁屏,头戴设备能够照常显示终端显示内容;同时,提供简便易行的方式(遮挡话筒使终端接收不到或者接收到低于阈值的声音序列)便可解锁遮罩层,提供操控终端的可行性。本发明具有易于实施和成本低等优点。

附图说明

图1为本发明实施例一种基于音频的终端屏幕控制方法的流程示意图;

图2为本发明实施例一中暗中操作过程头戴设备屏幕的界面示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于:设置遮罩层防止误触;设置特定频率声音序列的播放和接收实现灵活且便捷地解锁和锁屏,提供暗中交互的可行性。

请参照图1以及图2,本发明提供一种基于音频的终端屏幕控制方法,其包括:

当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置遮罩层在终端所有应用最上层;

通过所述遮罩层拦截终端的所有触摸事件;

当终端话筒接收到的所述特定频率声音序列的幅度低于阈值时,所述遮罩层缩小至指定大小。

从上述描述可知,本发明的有益效果在于:通过设置遮罩层屏蔽一切触摸事件来有效防止袋中误触;设置特定频率声音序列的播放和接收实现灵活且便捷地解锁和锁屏,即提供暗中交互的可行性,且扩展了可适用终端的范围。

进一步地,还包括:

调节终端亮度至最低。

由上述描述可知,具备自动调低亮度功能,有效节约电量。

进一步地,所述当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置遮罩层在终端所有应用最上层,具体为:

控制终端扬声器持续发出幅度高于阈值的一声音序列;

终端话筒接收所述一声音序列,并判断其幅度是否高于阈值,若是,则解析得到对应的频段序列;

查找预设的码表,若所述频段序列对应的字符串与预设的解锁字符串匹配,则判定所述一声音序列为特定频率声音序列,设置遮罩层在终端所有应用最上层;

通过所述遮罩层拦截终端的所有触摸事件;

若终端持续接收到幅度高于阈值的所述特定频率声音序列,则维持所述遮罩层的原样。

由上述描述可知,终端依据接收大于阈值幅度的特定频率声音序列启动并维持遮罩层的设置,实施方式便捷。

进一步地,所述特定频率声音序列包含至少三个低频的频段。

由上述描述可知,低频设置使得人耳无法听到,为用户带来影响;而至少包括三个频段,能够提高音控遮罩层的准确性,避免杂音干扰。

进一步地,所述遮罩层缩小至指定大小,之后,还包括:

在头戴设备中显示终端界面上的触摸轨迹和当前触摸位置。

由上述描述可知,能够使用户清楚自己当前触摸的位置和操作,便于交互,同时提高操控准确度。

进一步地,还包括:

在头戴设备中对应终端界面的边框位置以相反色显示横纵坐标。

由上述描述可知,用户能结合边框坐标提示,更准确地进行操控。

进一步地,使用相反色显示所述触摸轨迹;使用圆点或十字中心点标识所述当前触摸位置。

由上述描述可知,能够更突显触摸轨迹,精准定位当前触摸位置,确保操控准确,同时更便于操控。

进一步地,所述指定大小为一个像素点。

由上述描述可知,这样既能够防止透明遮罩层这一线程被系统回收,又有利于再次快速启动,恢复完全覆盖屏幕的状态,即再次“锁屏”。

进一步地,所述遮罩层为透明遮罩层。

由上述可知,可仿真未锁屏的状态,终端播放内容更直观。

本发明提供的另一个技术方案为:

一种计算机可读存储介质,其上存储有计算机程序,所述程序在被处理器执行时,能够实现下述一种基于音频的终端屏幕控制方法所包含的步骤:

当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置遮罩层在终端所有应用最上层;

通过所述遮罩层拦截终端的所有触摸事件;

当终端话筒接收到的所述特定频率声音序列的幅度低于阈值时,所述遮罩层缩小至指定大小。

进一步地,还包括:

调节终端亮度至最低。

进一步地,所述当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置遮罩层在终端所有应用最上层,具体为:

控制终端扬声器持续发出幅度高于阈值的一声音序列;

终端话筒接收所述一声音序列,并判断其幅度是否高于阈值,若是,则解析得到对应的频段序列;

查找预设的码表,若所述频段序列对应的字符串与预设的解锁字符串匹配,则判定所述一声音序列为特定频率声音序列,设置遮罩层在终端所有应用最上层;

通过所述遮罩层拦截终端的所有触摸事件;

若终端持续接收到幅度高于阈值的所述特定频率声音序列,则维持所述遮罩层的原样。

进一步地,所述特定频率声音序列包含至少三个低频的频段。

进一步地,所述遮罩层缩小至指定大小,之后,还包括:

在头戴设备中显示终端界面上的触摸轨迹和当前触摸位置。

进一步地,还包括:

在头戴设备中对应终端界面的边框位置以相反色显示横纵坐标。

进一步地,使用相反色显示所述触摸轨迹;使用圆点或十字中心点标识所述当前触摸位置。

进一步地,所述指定大小为一个像素点。

进一步地,所述遮罩层为透明遮罩层。

从上述描述可知,对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来实现的,所述的程序可存储于一计算机可读取的存储介质中,该程序在执行时,可包括如上述各方法的流程。所述流程执行后,仍然能够获取对应方法的有益效果。

其中,所述的存储介质可以是磁盘、光碟、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

实施例一

请参照图1和图2,本实施例提供一种基于音频的终端屏幕控制方法,当终端收纳后,依然能够确保头戴设备正常播放或显示终端屏幕内容,还能实现暗中操控。

所述方法包括:

首先,当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置遮罩层(显示)在终端所有应用最上层;并通过所述遮罩层拦截终端的所有触摸事件。

遮罩层的设置,能够实现终端依然播放原app内容,与之连接的头戴设备依然能够正常播放终端显示内容,但无法对终端进行触控的“伪锁屏”效果。其中,拦截方式可以是拦截所有触摸事件不传递给上层应用进行处理。

优选地,开启透明遮罩层后,将自动调整终端的亮度至最低,以节省电量。头戴设备的显示亮度可通过自身配备的亮度调节按钮进行独立操控,因此不会对头戴设备的显示效果产生影响。

通过上述操作,即使终端被收纳在口袋中,包包中或者其他暗处,依然能够保证头戴设备正常播放,且解决了误触终端显示屏而影响播放的问题。

可选地,遮罩层可以是透明遮罩层,也可以为定制的界面样式。本实施例以透明遮罩层为例进行说明。

所述透明遮罩层与目前浏览器在当前网页弹窗(如弹出确认窗体)时候的背景遮罩效果具有实质不同。本申请是针对原生的安卓应用而实现的跨应用透明遮罩,而非针对浏览器网页。

针对遮罩层的“解锁”和“维持”,具体包括:

控制终端扬声器持续发出幅度(对应音量)高于阈值的一声音序列,即预设的特定频率声音序列。终端话筒接收所述一声音序列,先判断其幅度是否高于预设的阈值(可通过过滤出特征频率的波形,计算出平均幅度),若是,则解析收到的声音序列,得到对应的频段序列;然后查找预设的码表,若解析得到的频段序列对应的字符串与预设的解锁字符串相匹配,则判定接收到的所述一声音序列为特定频率声音序列,设置遮罩层在终端所有应用最上层,通过所述遮罩层拦截终端的所有触摸事件;若终端持续接收到幅度高于阈值的所述特定频率声音序列,则维持所述遮罩层的原样,即保持遮罩层的设置。

优选地,所述特定频率声音序列包含至少三个频段,且均为低频。低频设置能使人耳无法听到,不会给用户带来噪声干扰。而至少三个频段的设置,能避免该声音序列与其他杂音混淆,从而保证终端依据执行得正确性。

例如,预设码表,将700hz的正弦波对应成字符'a';800hz的正弦波对应数字'b';900hz的正弦波对应数字'c',以此类推。那么字符串"abc"对应频率串{700,800,900}。通过码表记载频率与字符的对应关系。然后把这个频率串变成3个音节的正弦波音频。如果规定每个音节持续100ms,则频率串{700,800,900}对应300毫秒的音频段。终端扬声器播放音频段,接收方(终端话筒)录制接收到的声音,判断其幅度是否高于阈值,若是,则对收到的声音进行解析,识别出700hz、800hz和900hz三段正弦波频率,然后查找码表,解码出的字符串就是"abc"。若该字符串与预设的解锁字符串匹配,则开启/维持遮罩层在终端所有应用最上层。

再来,当用户具备操控终端应用的需求,却因为带着头戴设备,无法通过眼睛观看终端屏幕并进行操控时。本实施例提供“暗中操控”终端的功能,能够实现用户无需卸下头戴设备,即使是在暗中也依然能够对终端进行操控,实现终端与头戴设备进行交互的功能。

具体而言,当终端话筒接收到的所述特定频率声音序列的幅度低于阈值时,所述遮罩层缩小至指定大小。在本实施例中,如果平均幅度低于预设阀值,则说明话筒或者扬声器被人为地用手指按住了,从而触发了解锁事件。

具体解锁方式为透明遮罩层缩小至指定大小,如缩小为一个像素点大小。这样既能够防止透明遮罩层这一线程被系统回收,又有利于再次快速启动,恢复完全覆盖屏幕的状态,即再次“锁屏”。

在本实施例中,只要终端话筒无法接收到或者是接收到的所述特定频率声音序列的幅度低于阈值,便维持所述遮罩层缩小至指定大小(此时透明遮罩层的线程并不会被系统回收,而是处于“休眠”状态,这样能保证再次“锁屏”的实现)。在遮罩层缩小后,用户对终端应用进行操控的所有触控指令将不再进行拦截,而是如常传递给上层应用进行解析处理。

也就是说,当遮罩层“解锁”后,用户便可如常操作终端上的应用,应用也将如常接收触摸事件并执行。

而一旦再次接收到幅度高于阈值的所述特定频率声音序列,如用户松开对话筒或扬声器的遮挡,便恢复透明遮罩层完全覆盖屏幕的状态,即由“解锁”状态恢复到“锁屏”状态。

上述提供的遮罩层“锁屏”和“解锁”操控方式,具有易于实施、易于操作的特点。

特别地,如图2所示,终端将即时性地将用户“解锁”后的操作对应的触摸轨迹和触摸位置投影到头戴设备中,使用户能够清楚辨别自己触摸的位置,从而方便交互。

具体地,当操作时,头戴设备的屏幕上通过十字或圆点定位当前触摸位置,在边框以相反色显示横向和纵向位置,具体可以以坐标形式体现;另外,还将使用相反色显示触摸经过的轨迹,使用圆圈显示手指触摸当前位置。使得用户可以很方便、更准确地进行触控。以相反色显示,即与当前屏幕原来的像素显示相反的颜色,能避免相同颜色看不清提示。

实施例二

本实施例对应实施例一,提供一具体运用场景:

用户通过头戴设备(类似谷歌眼镜的设备,但是眼镜里没有内置操作系统,所有显示内容都是由手机通过hdmi投屏到头戴设备中)连接手机,利用头戴设备观看手机上正在播放的视频,以获取更加的观影效果。但过程中手机需要维持亮屏才能保证手机和头戴设备均正常播放。如果手机锁屏放入口袋,就会黑屏,头戴设备上的内容也不显示了;如果不锁屏放入口袋则容易产生误触。而利用实施例一提供的方法,便可通过在手机屏幕上显示透明的遮罩层,使得手机被收入口袋中或者包中也能继续保持视频播放(即亮屏),并有效防止误触。

首先利用手机扬声器发出人耳听不到的特定频率声音序列,例如由“100hz、200hz、300hz、200hz、100hz”组成的正弦波音频序列;当终端话筒接收到上述特定频率声音序列(100hz、200hz、300hz、200hz、100hz)时,先过滤出这个声音序列的幅度平均值,判断其是否大于阀值,若是,则解析,并判断解析结果是否与预设的解锁密钥相匹配,若是,则开启并保持透明锁屏的设置。

当话筒或扬声器被手指按住时,由于特定频率声音序列被遮挡,其声音序列的幅度平均值将低于阀值,则透明遮罩层自动缩小窗体为1个像素点,则终端接收到的触摸事件会自动直接传递上层应用,上层应用就像没有锁屏一样响应触摸事件。从而实现在暗中(用户眼睛无法直视的情况下)中操作终端应用。

当用户解除对终端话筒或者扬声器的遮挡后,遮罩透明窗体将重新铺满整个屏幕。

当使用上述组合操作时,头戴设备的屏幕上将以触摸位置的中心点绘制十字定位线,在边框相反色显示横向和纵向位置,以及使用相反色显示触摸经过的轨迹,使用圆圈显示手指触摸当前位置。由此,用户可以清楚看到自己触摸的位置,因此可以操作做出所需的手势操作。

实施例三

本实施例对应实施例一或实施例二,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序在被处理器执行时,能够实现上述实施例一或实施例二所述的一种基于音频的终端屏幕控制方法所包含的步骤。具体的步骤内容在此不进行复述,详细请参阅实施例一或实施例二的记载。

综上所述,本发明提供的一种基于音频的终端屏幕控制方法、存储介质,既能够维持头戴设备正常播放,又能有效防止误触;进一步地,还能支持便捷地、准确地在暗中操控终端,与app进行交互;进一步地,还能节约终端电量。

以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。


技术特征:

1.一种基于音频的终端屏幕控制方法,其特征在于,包括:

当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置遮罩层在终端所有应用最上层;

通过所述遮罩层拦截终端的所有触摸事件;

当终端话筒接收到的所述特定频率声音序列的幅度低于阈值时,所述遮罩层缩小至指定大小。

2.如权利要求1所述的一种基于音频的终端屏幕控制方法,其特征在于,还包括:

调节终端亮度至最低。

3.如权利要求1所述的一种基于音频的终端屏幕控制方法,其特征在于,所述当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置遮罩层在终端所有应用最上层,具体为:

控制终端扬声器持续发出幅度高于阈值的一声音序列;

终端话筒接收所述一声音序列,并判断其幅度是否高于阈值,若是,则解析得到对应的频段序列;

查找预设的码表,若所述频段序列对应的字符串与预设的解锁字符串匹配,则判定所述一声音序列为特定频率声音序列,设置遮罩层在终端所有应用最上层;

通过所述遮罩层拦截终端的所有触摸事件;

若终端持续接收到幅度高于阈值的所述特定频率声音序列,则维持所述遮罩层的原样。

4.如权利要求3所述的一种基于音频的终端屏幕控制方法,其特征在于,所述特定频率声音序列包含至少三个低频的频段。

5.如权利要求1所述的一种基于音频的终端屏幕控制方法,其特征在于,所述遮罩层缩小至指定大小,之后,还包括:

在头戴设备中显示终端界面上的触摸轨迹和当前触摸位置。

6.如权利要求5所述的一种基于音频的终端屏幕控制方法,其特征在于,还包括:

在头戴设备中对应终端界面的边框位置以相反色显示横纵坐标。

7.如权利要求6所述的一种基于音频的终端屏幕控制方法,其特征在于,使用相反色显示所述触摸轨迹;使用圆点或十字中心点标识所述当前触摸位置。

8.如权利要求1所述的一种基于音频的终端屏幕控制方法,其特征在于,所述指定大小为一个像素点。

9.如权利要求1所述的一种基于音频的终端屏幕控制方法,其特征在于,所述遮罩层为透明遮罩层。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序在被处理器执行时,能够实现上述权利要求1-9任意一项所述的一种基于音频的终端屏幕控制方法所包含的步骤。

技术总结
本发明提供一种基于音频的终端屏幕控制方法、存储介质,方法包括:当终端话筒接收到其扬声器发出的幅度高于阈值的特定频率声音序列,设置遮罩层在终端所有应用最上层;通过所述遮罩层拦截终端的所有触摸事件;当终端话筒接收到的所述特定频率声音序列的幅度低于阈值时,所述遮罩层缩小至指定大小。本发明既能够维持头戴设备正常播放,又能有效防止误触;进一步地,还能支持便捷地、准确地在暗中操控终端,与app进行交互;进一步地,还能节约终端电量。

技术研发人员:刘德建;陈丛亮;郭玉湖;陈宏
受保护的技术使用者:福建天晴数码有限公司
技术研发日:2020.01.07
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-47616.html

最新回复(0)