控制多个设备的方法、控制系统及车辆与流程

专利2022-06-29  66


本揭露是相关于一种控制多个设备的方法、控制系统及车辆。



背景技术:

现代的汽车都配有多种不同的设备,例如空调、娱乐系统等,以使驾驶人和乘客感到舒适和娱乐。除此之外,还使用了其他设备(例如后照镜)来促进安全驾驶。这些设备通常是独立管理的。举例来说,设置在空调上的按钮或开关只能用来控制空调。同样地,后照镜、雨刷和娱乐系统等设备都有其专用的控制器。如果驾驶员打算控制或调整其中一种设备,则只能通过特定按钮或开关进行控制或调整。

关于传统设置的另一个问题是那些按钮或开关分散在车辆中的多个不同的位置。有时,驾驶人将需要改变他的位置才能碰触到相关的按钮或开关。这种行为在驾驶过程中可能是危险的。在一种情况下,假设驾驶员想调高车辆的温度设置,传统的做法上他/她必须将身体倾向前以接近可能位于车辆中央控制面板的空调的控制按钮。或者,即使可以通过单一触控面板进行控制,这谢控制也可能位于设定的不同页面中。也就是说,为了控制空调,驾驶人可能必须启动控制面板,逐个浏览设定页面以搜索右键按钮以打开或关闭空调。尽管分心可能很短,但仍可能会造成很大的伤害。

为了克服此问题,多种技术已经提供了解决方案,例如语音控制或手势控制。然而,这些都不是理想的。语音控制技术在正常工作之前需要先唤醒,更不用说周围的噪音会影响识别率。至于手势控制,由于驾驶人在驾驶车辆时必须将至少一只手放在方向盘上,因此只能通过单手来给出指令,因此其受到限制。因此,有必要提供其他方法来控制多个设备。



技术实现要素:

依据本揭露的一方面,提供一种控制系统。控制系统包括图像撷取单元、输入接口以及处理器单元。图像撷取单元用以撷取一用户的复数个图像。输入接口用以从用户接收一输入信号。处理器单元用以从该些图像中辨识一脸部特征;依据脸部特征推测用户的一注视点;依据用户的注视点从多个设备中决定一目标设备;接收一确认信号;当接收到确认信号时,将目标设备设定为一受控制的设备;以及因应于从输入接口接收到的一控制信号控制受控制的设备。

依据本揭露的另一方面,提供一种控制多个设备的方法。此方法包括以下动作。图像撷取单元撷取一用户的复数个图像。处理器单元从该些图像中辨识一脸部特征;依据脸部特征推测用户的一注视点;依据用户的注视点从多个设备中决定一目标设备;接收一确认信号;当接收到确认信号时,将目标设备设定为一受控制的设备;以及因应于从输入接口接收到的一控制信号控制受控制的设备。

依据本揭露的又一方面,提供一种车辆。车辆包括多个设备及一控制系统。控制系统包括图像撷取单元、输入接口以及处理器单元。图像撷取单元用以撷取一用户的复数个图像。输入接口用以从用户接收一输入信号。处理器单元用以从该些图像中辨识一脸部特征;依据脸部特征推测用户的一注视点;依据用户的注视点从多个设备中决定一目标设备;接收一确认信号;当接收到确认信号时,将目标设备设定为一受控制的设备;以及因应于从输入接口接收到的一控制信号控制受控制的设备。

附图说明

图1绘示一种依据本揭露一实作的一控制系统的方块图。

图2绘示依据本揭露一实施例的控制多个设备的一方法的流程图。

图3a绘示目标设备的位置的示意图。

图3b绘示一撷取影像的示意图。

图4a绘示依据本揭露一实作的基于用户眼部向量取得一注视点的示意图。

图4b绘示依据本揭露另一实作的基于注视向量取得一注视点的示意图。

图5a绘示依据本揭露一实作的基于注视点决定目标设备的示意图。

图5b绘示依据本揭露一实作的基于注视点决定目标设备的示意图。

图6a绘示依据本揭露一实作的一目标设备的一操作区域的示意图。

图6b绘示依据本揭露一实作的参考一操作区域决定目标设备的示意图。

图7a~7d绘示车辆内的用户试图通过控制系统控制车辆内的多个设备的示意图。

图8绘示注视点落在超过一个设备的边缘之上或附近的示意图。

图9绘示基于用户持续的注视方向/位置的改变推测的一预测路径的示意图。

图10绘示依据本揭露一实作的控制多个显示器的一场景。

图11绘示依据本揭露一实施例的控制多个设备的方法的流程图。

具体实施方式

以下描述包含关于本揭露的示范性实作的具体信息。本揭露中的附图以及附上的详细描述仅应用于是示范性的实作。然而,本揭露不仅限于这些示范性的实作。本领域技术人员会想到本揭露的其他变形和实作。除非另有说明,附图中相同或对应的组件可以由相同或对应的附图标记所指示。此外,本揭露中的附图和说明通常不是按照比例绘制的,并且不意图按照实际的相对尺寸。

有鉴于上述的问题,开发一种为用户控制或调整设备的系统和方法是非常重要的。尤其是在用户正在操作需要一百分之百专注的一机器,如车辆时。

图1绘示依据本揭露一实作的一控制系统的一方块图。控制系统100包括一图像撷取单元10、一输入接口12及一处理器单元14。

图像撷取单元10用以撷取一用户的图像。在一实作中,图像撷取单元10可包括但不限于一或多个摄影机或任何可撷取图像的装置。图像撷取单元10可以是具有一深度传感器的一深度感测摄影机。摄影机可以是彩色(rgb)摄影机或者红外线(ir)摄影机。在一些实施例中,图像撷取单元10更包含一光源(例如,红外线发光二极管或一可见光照明装置)以能实时分析用户的手、脸、头或身体。藉由光源以及高动态范围成像,图像处理、物体侦测或生物识别可适应于较暗的环境。

输入接口12用以从该用户接收一输入信号。输入接口12可包括但不限于用于录下用户的声音、语音和或说话的一麦克风、一按钮、一开关、一旋钮、一触控面板、一键盘。在另一实施例中,输入接口12耦接至一电子装置以接收数据或指令。举例来说,电子装置可包括但不限于一平板、一语音接收装置、一语音识别装置、一移动电话及一穿戴式装置。

处理器单元14耦接至图像撷取单元10及输入接口12。处理器单元14可处理数据或指令。在一实施例中,处理器单元14可以是一硬件模块,此硬件模块包含一或多个中央处理器单元(cpu)、微处理器、特殊应用集成电路(asic)或上述的组合,且不限于此。处理单元14执行图像识别及图像处理以生成图像。在一实施例中,处理单元14用以识别撷取的图像并对撷取的图像执行物体侦测或生物识别。在一些实施例中,处理单元14更基于撷取的图像执行脸部识别、语音识别、及其他生物识别。在一些实施例中,处理单元14因应于从输入接口12接收的信号设定设备。

图2绘示依据本揭露一实施例的控制多个设备的一方法的流程图。此方法包含以下动作。在动作210中,图像撷取单元撷取用户的多个图像。在动作220中,处理器单元从撷取的图像中辨识一脸部特征。在动作230中,处理器单元依据脸部特征推测用户的一注视点。在动作240中,处理器单元依据用户的注视点从多个设备中决定一目标设备。在动作250中,处理器单元因应于从输入接口接收的一控制信号控制目标设备。

此方法将基于控制系统100安装在车辆内的场景来描述如下。然而,本发明不以此为限。在另一例中,控制系统100也可被设置在具有多个设备可控制的一房间内。在其中一个例子中,控制系统100可被安装在一车辆内,其中车辆的配有多个设备,如一空调、一娱乐系统、后照镜及雨刷等,并且这些设备皆受到用户的命令而经由控制系统100控制。这些多个不同的设备的控制皆通过输入接口12的操作。输入接口的一或多个部分可被设置在方向盘上、座位旁、天花板上、靠近仪表板或者任何用户不需移动身体便可触及的位置。为了控制或调整多种不同的设备,处理器单元14可具有多种设定以适应这些设备。精确地说,有鉴于受到用户控制的设备的性质,控制系统100改变处理器单元14的设定以适应于设备的功能。举例来说,当应用一控制娱乐系统的设定时,用户可通过输入接口12发出多种控制信号以控制娱乐系统。这些控信号可包括调整频道、调高/低音量、播放音乐串流等。相似地,如果应用一控制后照镜的设定时,用户可通过输入接口12发出多种控制信号以控制后照镜。这些控制信号应能调整后照镜地位置。因此,处理器单元14地设定应能通过输入接口12的控制信号实施不同种类的控制。

在安装有控制系统100的一车辆内,依据用户及多个设备的建立一三维的世界坐标系统。世界坐标系统的任意点可以是车辆内部的任何一点,最好是一固定点。由于这些设备是固定装置,因此可以根据世界坐标系统确定其位置。在一个例子中,可以通过设备的参考点的坐标来表示设备的位置。参考点可以是设备上的任何一点。一个典型的例子是设备的中心点。图3a绘示一例说明安装在一车辆内的一空调的位置。如前述讨论的,空调30的位置可以由中心点,即(xac,yac,zac)的坐标表示。这些设备的坐标可以被存储在存储器(图中未示出)中,并且由控制系统100引用。

控制系统100的操作描述如下。首先,图像撷取单元10撷取用户的脸部图像。这些图像至少包含用户的眼睛,因此图像撷取单元10可被放置在方便取得必要信息的位置。在一例中,当用户面向前时,图像撷取单元10被设置在用户的正前方。无论如何,图像撷取单元10的位置可根据世界坐标系统而确定。进一步地,图像撷取单元10可持续地撷取用户的脸部图像。基于持续获得的图像,控制系统100可实时的追踪用户注视点的位置变化。

在图像撷取单元10撷取到用户的影像之后,处理器单元14从撷取的图像中辨识用户的一脸部特征。举例来说,识别一眼部区域、一头部姿势、或一脸部标志(faciallandmark),并推测一注视点,且可以根据世界坐标系统来表示此注视点。如图3b所示,通过本领域技术人员熟悉的图像处理算法及或者大量的训练数据,可从撷取的图像300中辨识出用户的眼睛(如310和320)。由于撷取的图像具有一特定的景深且图像撷取单元10的位置为已知,只要辨识出用户的眼睛,便可据此取得用户眼睛的坐标及用户的一注视向量。因为注视向量只是了用户的注视方向,可因此依据用户的位置及注视向量获得用户的注视点。在另一实施例中,用户的头部姿势、鼻尖和其他脸部标志或特征的信息被用于推测用户的注视点。

接着,只要用户的位置,特别是用户眼睛的位置被确定之后,处理器单元可推测用户正在观看哪一个设备并将其决定为目标设备。举例来说,处理器单元依据注视向量、用户的位置及多个设备的位置估计用户的一注视点以判断用户是否正在观看其中一个设备。明显地,注视点p1是用户的左眼向量v1(即代表从用户左眼的观看方向)和右眼向量v2(即从用户右眼观看的方向)交叉的点,如图4a所示。在如图4b所示的另一实施例中,基于注视向量v3估计注视点p2。在一个例子中,关于已知的多个注视点对应于不同的注视向量的大量的数据被提供到控制系统100以预先建立一训练模型。通过本领域技术人员熟悉的深度学习、机器学习或者相似的技术,可基于注视向量较佳地估计注视点。有多种本领域技术人员熟知的技术以决定注视向量以及注视点。上述仅为例子而不应做为本发明的限制。

如果注视点被判断为位于一目标设备上(例如两者的坐标互相符合),处理器单元设定此目标设备作为一受控制的设备。举例来说,可发出一服务状态信号以改变输入接口12或处理器单元14的设定以适应于目标设备的功能。因此,用户可应用输入接口12(包含设置在附近的按钮、开关、旋钮或一触控面板)以命令/控制此目标设备。

或者,输入接口12可耦接至一独立控制器,如可控制多个设备的一移动装置。在此情况下,在控制系统100、多个设备和此独立控制器之间建立一通信连结,如无线热点(wi-fi)、蓝芽等。因此,独立控制器虽然独立于控制系统,仍可通过通信连结控制多个设备。在一实施例中,假设此控制是通过一行动装置,用户可进一步将内容(如音乐、视频等)从行动装置传送到在用户的控制之下的娱乐装置中。

图5a绘示依据本揭露一实作基于注视点决定目标设备的示意图。如图5a所示,注视点p3系基于眼部向量v4及v5而被决定。处理器单元14接着判断注视点p3是否与其中一个设备的位置相符合。举例来说,当处理器单元14判断注视点p3与空调50的位置相符时,空调50被决定为目标设备且做出设定以使用户可通过输入接口12控制空调50。

图5b绘示依据本揭露另一实作基于注视点决定目标设备的示意图。在此实作中,注视点p4系基于注视向量v6而被决定。不论采用何种方法决定注视点,处理器单元14接着判断注视点p4是否与其中一个设备的位置相符合。一旦确定用户的注视点p4在空调50上,处理器单元14可决定空调50为目标设备,并设定输入接口12以使用户可通过输入接口12控制空调50。修改输入接口12的目前的设定以提供控制。当应用一控制空调50的设定时,控制讯号可包含但不限于开启/关闭空调50、调高/低温度或其他应用于空调50的控制。

此外,本领域技术人员应理解的是用户的其他脸部标志,如鼻尖、眉毛嘴唇等的坐标也可被考虑以决定用户的注视方向、头部姿势、注视角度等而得出注视点。上述仅为例子而不应被视为限制本发明的实施。

在本揭露的另一例子中,每一设备可具有一预先定义的操作区域以判断用户是否盯着一设备。可以通过将设备的参考点向外扩展一定距离来描绘出操作区域,或者操作区域可以是有或没有缓冲空间的设备的边界。如果处理器单元14判断用户的注视点落入操作区域内,对应的设备则会通过操作而受到用户的控制。在一些实施例中,控制系统100在一情况下可采用超过一种的方式来定义多个设备的操作区域。操作区域的描绘系参照图6a作详细的说明。

如图6a所示,空调50的操作区域z1可以用从参考点rp圈出半径r的圆形的范围来描绘,或者由空调的边界(包含或不包含一缓冲空间)来描绘(如图6a中的点状的圆形范围z2)。应注意的是参考点可以是空调50上的任意一点。在如图6a所示的场景中,参考点rp为中心点。也可使用其他方式来定义操作区域的范围,上述例子仅为示范性说明用途。如前所述,控制系统100可在一种情况下采用多于一种的方式来定义多个不同设备的操作区域。也就是说,可参照一种设备的中心绘制此设备的操作区域,而藉由另一个设备的边界来定义另一个设备的操作区域。

图6b绘示一种依据本揭露一实作的参考一操作区域局定一目标设备的示意图。如所揭露的,处理器单元14例如基于注视向量v7推测注视点p5。处理器单元14接着判断注视点p5是否位于操作区域(z1或z2)内。在一实施例中,处理器单元14接着例如参考操作区域的边缘的四个点(即bp1、bp2、bp3及bp4)判断注视点p5是否位于操作区域内。也可使用其他方法判断注视点p5是否位于操作区域内,上述例子仅供说明用途,而不应构成本揭露的限制。

图7a~7d绘示车辆内的用户试图通过控制系统100控制车辆内的多个设备的多个示意图。如图7a所示,这些设备包括一空调2、一娱乐系统3、一左后照镜4a及一右后照镜4b。如所揭露的,这些设备的位置/坐标为已知且被控制系统100所记录。应注意的是这四个设备仅为说明用途而被提及。也有可能具有更多其他类型的设备,例如雨刷、天窗等可被控制系统100控制。

如图7b所示,假设用户(即驾驶人)正专心驾驶并看向前方;也就是说,注视向量v0指示注视点p0正在前方某处而非任何一个设备上。如果驾驶人现在想要播放娱乐系统3的这张专辑的下一首曲子,则他将会转移他的注视朝向娱乐系统3。这种注视的改变会被图像撷取单元10所撷取。如图7c所示,参照世界坐标系统计算注视向量va。基于已知的驾驶人位置和多个设备的位置,处理器单元14基于目前的注视向量va估计目前的注视点pa。一旦取得了注视点pa,处理器单元14可接着判断注视点pa是否位于娱乐系统3上。

可选的,每一设备皆具有一操作区域,处理器单元14可判断是否一个设备受到用户的控制。在一实施例中,如图7d所示,假设对应这些设备的操作区域分别为mz2、mz3、mz4a及mz4b。在此例中的操作区域可被上数的一或多种方法所定义。

假设注视点pa被判断位于娱乐系统3上,或者位于操作区域mz3内,处理器单元14发出一服务状态信号以改变输入接口12或处理器单元14的设定以适应娱乐系统3的功能。接下来,用户可操作设置在附近位置的输入接口12以控制娱乐系统3,例如改变曲目、或调高/低音量等。如所揭露的,输入接口12可以是设置在用户附近某处的一组按钮/开关。在前面的例子中,用户可例如藉由按压对应的按钮/开关来改变显示在娱乐系统3上的曲目。或者,如果输入接口12耦接至一独立的控制器,用户可改变曲目及/或在一通信连结已经被建立的情况下通过独立控制器将内容传送到娱乐系统3。

如所揭露的,基于受控制的设备的性质,控制系统100的处理器单元14发出一服务状态信号以设定输入接口12使其适用受控制的设备。举例来说,娱乐系统3的控制可包括改变频道、调高/低音量、播放音乐等。相似的,如果是要控制左后照镜4,控制设定应能调整左后照镜4的位置。另一方面,如果是要控制空调2,控制信号可包含开启/关闭、调高/调低温度等。无论何种情况,设定都应能适用各种不同的功能,也因此可控制种不同类型的设备。

应注意的是在图7b~7d中,注视点(如pa)的推测是依据用户的注视向量(如va)。然而,如上面揭露的,也可参考其他脸部特征来推测注视点,例如用户的眼部向量、头部姿势及脸部标志(如鼻尖)等。采用注视向量仅为一例子而不应成为本发明的限制。

应当注意的是,在一些情况下,或许是因为多个设备太接近彼此或者因为操作区域并没有很好的被定义,有可能导致用户目前的注视点被推定位于超过一个的设备上,且因此导致不确定哪个设备为受控制的设备的情况。

为了解决这个问题,可使用用户的确认来协助定义受控制的设备。举例来说,当从输入接口12接收到用户做出的一确认信号时,处理器单元14将目标设备设定为受控制的设备。在另一个例子中,当用户盯着目标设备超过一段时间(例如2秒)时,目标设备被确认为受控制的设备。在一些其他例子中,用户的脸部动作被用来作为目标设备的确认。在确认之后,用户可接手控制该设备。在此情况下,即使用户将视线从确认的目标设备看向其他地方,用户仍可通过输入接口12控制该设备。换句话说,驾驶人不须看着该设备以发号命令,驾驶人可将驾驶时同时将视线保持在前方路面,并发出命令到该设备,藉此减少分心的状况。因此,本揭露提供一种方便及安全的方法来让驾驶人控制多个设备。

或者,可使用一兴趣点来定义受控制的设备。在一实作中,兴趣点可用一机率模型来表示,此模型被建立用来决定用户比较有可能想要控制哪个设备。可基于多个不同的因素来决定此机率模型,例如用户的一注视点、用户的位置及用户的偏好(如用户的习惯或过去的行为)。可提供这些因素给控制系统100以预先建立一训练模型。通过本领域技术人员熟悉的深度学习、机器学习或类似的技术可估计兴趣点。依照上述的例子以及如图8所示,假设空调2和娱乐系统3太接近使得(基于注视向量v计算得出的)用户的注视点可能会出现两个设备(如810和820)的边缘之上或附近。因此,如果没有决定哪个设备较有可能的机制,通过输入接口12的控制可能无法正常运作。另一方面,如果在此情况下判定用户较有可能盯着看空调2,处理器单元14发出一服务状态信号以改变输入接口12的设定使得用户可控制空调2。或者,控制系统100可调整操作区域的定义的方式以完全避开重迭。在一个例子中,如前面讨论过的,可藉由设备的轮廓来定义一操作区域。在这种情况下,可避免发生重迭的问题。

有些时候,一个设备在被其实际被控制之前可能会需要一段时间启动。在这种情况下,用户可能需要等待启动。为了缩短延迟时间,处理器单元14可预测用胡可能会看向哪个方向,并因此沿着预测路径在用户盯着该设备之前准备/预先启动该设备。举例来说,处理器单元14依据脸部特征的变化预测一注视轨迹,例如用户的眼睛、头部姿势持续的位置改变或者用户之前的习惯等。

在另一实施例中,处理器单元14可依据多种不同的因素预测一受控制的设备,例如车辆状态、兴趣点及用户偏好。举例来说,如果用户倾向于在调整左后照镜之后调整右后照镜。处理器单元14预测这种倾向且在用户正在调整左后照镜时,先准备右后照镜。通过这种方式可减少延迟时间。进一步地,因为娱乐系统被估计为兴趣点或者当车辆停止时,处理器单元14启动娱乐系统。

在一些实施例中,控制系统100预先启动其中一个设备。图9绘示基于用户持续的注视方向/位置的改变推测的一预测路径的示意图。如上面所揭露的,图像撷取单元10持续撷取用户的脸部图像使得控制系统100可追踪用户的注视的移动。基于这些移动,预测用户注视的方向或设备的一注视轨迹(如910),并沿着预测路径准备设备。举例来说,如图9所示,假设控制系统100判断用户的注视向量正向右移动从原本的vt0到现在的方向vt1。换句话说,用户现在正盯着空调2,且因此空调2正受到控制。基于持续的位置/方向改变,预测用户的视线倾向向右下方移动。因此,控制系统100则准备沿着预测路径(如注视轨迹910)的所有设备。在此例子中,预先启动的设备是娱乐系统3。藉由预测用户可能会看哪个设备并预先准备该设备,可减少延迟时间。

然而,应注意的是只因为某些设备被预先启动,并不表示这西设备最终会被用户控制。在本揭露的设计之下,唯有当用户的注视点落在目标设备上(即用户实际盯着目标设备时),才可以通过输入接口12执行控制。

在一些实施例中,为了更佳的理解哪个设备正在被控制,在每一设备上设置一指标(例如一发光二极管)来显示控制的状态。进一步地,发光二极管可具有不同的颜色以指示设备的状态。举例来说,设备为非活动的(inactive),即不受到控制的,或正通过输入接口12受到用户的控制的,又或者设备被启动且准备好要在用户盯着该设备时被用户控制的。在另一个例子中,如果多个显示器被操作,例如一光标可出现在被控制的显示器上,使得用户可了解他正在控制哪个显示器。图10绘示依据本揭露一实作的控制多个显示器的一场景。在此实作中,三个显示设备(例如1010、1020及1030)可被用户控制。假设判断出用户(沿着注视向量v10)的注视点p10是在显示设备1030上,一光标(如1050)出现在显示设备1030上。虽然在此例子中描绘三个显示器,本领域技术人员应当理解为本揭露的设置下可有任何数量的显示设备。进一步地,也应注意的是光标仅为一示范性的例子以通知用户他正在控制哪个设备/显示器。任何指针,例如一个字母、在显示器外框使用不同颜色的一光线或者其他强调的方式也可用做相同用途,且因此应被包含在本揭露的范围内。

在一些实施例中,在同一空间中可能有多人想要控制设备。假设控制系统100是安装在一车辆内,驾驶人或乘客可能试图控制/调整设备。因此,知道谁具有权力和优先权来控制是很重要的。进一步地,由于可能有其他独立控制器可控制设备,控制系统100应能够区分主要控制器与其他的控制器。在一实施例中,控制系统100可提供一登入服务以验证用户。验证可以经由例如脸部辨识来执行。举例来说,一用户可在他可以通过控制系统100控制设备之前被要求注册他的脸部身分。脸部身分可以储存在控制系统100的一储存器中。因为可能会有多于一个的用户注册脸部身分,控制系统100可确定多个注册用户的优先级。

在一情形中,一用户可例如藉由出现在图像撷取单元10的前方与控制系统100进行互动,图像撷取单元10撷取用户的脸部特征以得到脸部身分,接着处理器单元14藉由比较脸部身分和储存在储存器中的数据验证用户是否为其中一个注册用户。如果脸部身分被验证成功,用户可通过输入接口12的操作控制连接到控制系统100的设备。除非并直到用户离开控制系统100,他就是最优先控制所有控制系统100的控制的超级用户。或者,用户可通过他先前曾注册到控制系统100的行动装置登入控制系统100。

在另一个情况下,例如车辆内的驾驶人和乘客皆为注册用户且都试图要控制连接的装置。在这个例子中,取决于排名,控制系统100将决定谁(即驾驶人或乘客)具有较高的优先权。一旦决定之后,连接到控制系统100的设备会受到超级用户的控制。以相同的方式,只有超级用户持有的独立控制器才能用于控制/调整设备。控制系统100可以藉由也存储的生物数据(例如脸部身分)来识别独立控制器。

有多种方式可验证用户的身分,脸部识别仅是用来解释如何达成验证的一个例子,而不应被构成本发明的限制。

图11绘示依据本揭露一实施例的控制多个设备的方法的流程图。如图所示,提供一种协助使用者控制多个设备的方法。此方法包括以下动作。在动作s800中,建立一世界坐标系统以指示用户及多个设备的位置。在动作801中,撷取用户的一或多个脸部图像。在动作s802中,参照世界坐标系统从撷取的图像中取得用户的一注视向量。在动作s803中,基于注视向量推测指示用户盯着那里的一兴趣点。在动作s804中,基于多个设备的坐标判断兴趣点是否位于一目标设备上。在动作s805中,若兴趣点在目标设备上,目标设备受用户的命令而被控制。

如先前讨论过的,提供一控制系统以控制多种不同的设备。因此,本揭露的方法更包括修改输入接口的设定以适用于目标设备的功能。此外,注视点的决定可基于用户的眼部向量、头部姿势、鼻尖等。除此之外,本揭露的方法更包括定义每一设备的一操作区域以判断注视点是否落入任一操作区域内以决定目标设备。进一步地,本揭露的方法更包括通过指示受到控制的目标设备的一指针来通知用户。

除了上述内容之外,本揭露的方法更可预测指示用户可能看向的方向的一预测路径,并沿着预测路径预先启动设备。预测路径可考虑到用户的眼镜或者头部姿势的位置/方向变化以即用户的过去的行为。

最后,本揭露的方法还包括要求用户注册及登入到系统;以及对注册用户排优先级以决定谁对设备的控制占有优先权。

综上所述,本揭露可降低分心程度并简化用户操作设备的流程。本揭露的多个实施例可包括上面描述的多种操作,或者较少的操作,或者和上面描述的顺序不完全相同。这些操作可使用机器可执行的指令实现,机器可执行指令通常使用通用或专用的处理器执行这些操作。也就是说,可以因应于计算器系统或其他数据处理系统中的处理器(例如微处理器)执行一系列的指令而在计算器系统或其他数据处理系统中执行该技术。就如同计算器程序可以存储在机器可读取媒体中或在机器可读取媒体中传输。机器可读取媒体包括可通过机器(例如,计算器、网络设备、个人数字助理及处理器)存取的形式提供(即,存储和/或发送)信息的任何机制。举例来说,一机器可读取媒体包括可记录/不可记录的媒体,例如但不限于一机器可读取存储媒体(例如,包括软盘、光盘、只读光盘(cd-rom)、任何类型的磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程序只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、快闪存储器、磁卡或光卡、适用于存储电子指令的任何类型的媒体));或者一机器可读取传输媒体,例如但不限于任何类型的电、光学、声学或其他形式的传播信号(例如,载波、红外线信号、数字信号)。

上面所示或所描述的实作仅为例子。虽然在前面的描述中已经描述了本揭露的许多特征和优点,包含了本揭露的结构和功能的细节,但本揭露仅是说明性的,并且可在本揭露的原理内及包含权利要求所使用的用以的最广一般含义的全部范围内,对细节上作改变,包含各组件的形状、尺寸、和布置。在不脱离本揭露的范围的情况下,可以对本文所述的系统、装置和方法进行修改、增加或省略。例如,系统和设备的组件可以被整合或分离。此外,本街露公开的系统和装置的操作可以由更多、更少或其他组件执行,并且所描述的方法可以包括更多、更少或其他步骤。另外,可以以任何合适的顺序执行步骤。


技术特征:

1.一种控制系统,其特征在于,包括:

一图像撷取单元,用以撷取一用户的复数个图像;

一输入接口,用以从该用户接收一输入信号;以及

一处理器单元,耦接至该图像撷取单元及该输入接口,并用以执行:

从该些图像中辨识一脸部特征;

依据该脸部特征推测该用户的一注视点;

依据该用户的注视点从多个设备中决定一目标设备;

接收一确认信号;

当接收到该确认信号时,将该目标设备设定为一受控制的设备;以及

因应于从该输入接口接收到的一控制信号控制该受控制的设备。

2.如权利要求1所述的控制系统,其中该处理器单元更用以执行:

依据该些图像取得该用户的一位置;

取得该些设备的多个位置;以及

依据该用户的该注视点、该用户的该位置及该些设备的该些位置决定该目标设备。

3.如权利要求2所述的控制系统,其中该处理器单元更用以执行:

依据该用户的该注视点、该用户的该位置、该些设备的该些位置及一用户偏好估计一兴趣点;以及

依据该兴趣点决定该目标设备。

4.如权利要求1所述的控制系统,其中该处理器单元更用以执行:

依据该脸部特征的一变化预测一注视轨迹;

依据该注视轨迹决定一预测设备;以及

启动该预测设备。

5.如权利要求3所述的控制系统,其中该处理器单元更用以执行:

依据该兴趣点决定一预测设备;以及

启动该预测设备。

6.如权利要求2所述的控制系统,其中该每一设备具有一操作区域,且该处理器单元更用以执行:

依据一注视向量及该用户的该位置推测该用户的该注视点该兴趣点决定一预测设备;以及

判断该注视点是否落入该操作区域的其中之一内;

其中当该该注视点落入该操作区域的其中之一内时,具有对应该注视点的该操作区域的该设备被决定为该目标设备。

7.如权利要求1所述的控制系统,其中该每一设备具有一操作区域,且该处理器单元更用以执行:

提供指示该受控制的设备的一指标。

8.一种用于控制多个设备的方法,其特征在于,包括:

一图像撷取单元撷取一用户的复数个图像;

一处理器单元从该些图像中辨识一脸部特征;及

该处理器单元依据该脸部特征推测该用户的一注视点;

该处理器单元依据该用户的注视点从多个设备中决定一目标设备;

该处理器单元接收一确认信号;

当接收到该确认信号时,该处理器单元将该目标设备设定为一受控制的设备;以及

该处理器单元因应于从一输入接口接收到的一控制信号控制该受控制的设备。

9.如权利要求8所述的方法,其中决定该目标设备的步骤更包括:

该处理器单元依据该些图像取得该用户的一位置;

该处理器单元取得该些设备的多个位置;以及

该处理器单元依据该用户的该注视点、该用户的该位置及该些设备的该些位置决定该目标设备。

10.如权利要求9所述的方法,其中决定该目标设备的步骤更包括:

该处理器单元依据该用户的该注视点、该用户的该位置、该些设备的该些位置及一用户偏好估计一兴趣点;以及

该处理器单元依据该兴趣点决定该目标设备。

11.如权利要求8所述的方法,更包括:

该处理器单元依据该脸部特征的一变化预测一注视轨迹;

该处理器单元依据该注视轨迹决定一预测设备;以及

该处理器单元启动该预测设备。

12.如权利要求10所述的方法,更包括:

该处理器单元依据该兴趣点决定一预测设备;以及

该处理器单元启动该预测设备。

13.如权利要求9所述的方法,其中该每一设备具有一操作区域,且该方法更包括:

该处理器单元依据一注视向量及该用户的该位置推测该用户的该注视点该兴趣点决定一预测设备;以及

该处理器单元判断该注视点是否落入该操作区域的其中之一内;

其中当该该注视点落入该操作区域的其中之一内时,具有对应该注视点的该操作区域的该设备被决定为该目标设备。

14.如权利要求9所述的方法,其中该每一设备具有一操作区域,且该方法更包括:

该处理器单元提供指示该受控制的设备的一指标。

15.一种车辆,其特征在于,包括:

多个设备;

一控制系统,包括:

一图像撷取单元,用以撷取一用户的复数个图像;

一输入接口,用以从该用户接收一输入信号;以及

一处理器单元,耦接至该图像撷取单元及该输入接口,并用以执行:

从该些图像中辨识一脸部特征;

依据该脸部特征推测该用户的一注视点;

依据该用户的注视点从多个设备中决定一目标设备;

接收一确认信号;

当接收到该确认信号时,将该目标设备设定为一受控制的设备;以及

因应于从该输入接口接收到的一控制信号控制该受控制的设备。

16.如权利要求15所述的车辆,其中该处理器单元更用以执行:

依据该些图像取得该用户的一位置;

取得该些设备的多个位置;以及

依据该用户的该注视点、该用户的该位置及该些设备的该些位置决定该目标设备。

17.如权利要求16所述的车辆,其中该处理器单元更用以执行:

依据该用户的该注视点、该用户的该位置、该些设备的该些位置及一用户偏好估计一兴趣点;以及

依据该兴趣点决定该目标设备。

18.如权利要求15所述的车辆,其中该处理器单元更用以执行:

依据该脸部特征的一变化预测一注视轨迹;

依据该注视轨迹决定一预测设备;以及

启动该预测设备。

19.如权利要求17所述的车辆,其中该处理器单元更用以执行:

依据该兴趣点决定一预测设备;以及

启动该预测设备。

20.如权利要求16所述的车辆,其中该每一设备具有一操作区域,且该处理器单元更用以执行:

依据一注视向量及该用户的该位置推测该用户的该注视点该兴趣点决定一预测设备;以及

判断该注视点是否落入该操作区域的其中之一内;

其中当该该注视点落入该操作区域的其中之一内时,具有对应该注视点的该操作区域的该设备被决定为该目标设备。

技术总结
本揭露提供一种控制系统。控制系统包括图像撷取单元、输入接口以及处理器单元。图像撷取单元用以撷取一用户的复数个图像。输入接口用以从用户接收一输入信号。处理器单元用以从该些图像中辨识一脸部特征;依据脸部特征推测用户的一注视点;依据用户的注视点从多个设备中决定一目标设备;接收一确认信号;当接收到确认信号时,将目标设备设定为一受控制的设备;以及因应于从输入接口接收到的一控制信号控制受控制的设备。

技术研发人员:江昱嫺;黃慕真
受保护的技术使用者:英属开曼群岛商麦迪创科技股份有限公司
技术研发日:2020.01.07
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-54147.html

最新回复(0)