智能家居的控制方法、装置、存储介质、处理器及智能家居与流程

专利2022-06-29  57


本发明涉及智能家居控制技术领域,具体而言,涉及一种智能家居的控制方法、装置、存储介质、处理器及智能家居。



背景技术:

在要使用智能家居进行工作时,往往需要向智能家居输入智能家居能够识别的控制指令。由于智能家居的智能化,在相关技术中,对智能家居的控制也体现了一定的智能性,例如,可以直接依据图片识别出控制指令,也可以依据具体的手势等识别出控制指令。但在这些识别的过程中,往往存在一些不属于控制指令的误识别。例如,当举手表示对智能家居进行打开控制时,有时候由于不经意的举手,而此时的举手并非想用于对智能家居进行控制。由于智能家居并不能对此动作是否对应于用于对智能家居进行控制的控制指令,因此,有时候会误识别为对智能家居的控制,从而导致误码控制。因此,在相关技术中对智能家居的控制指令进行识别时,存在识别不准确的技术问题。

针对上述的问题,目前尚未提出有效的解决方案。



技术实现要素:

本发明实施例提供了一种智能家居的控制方法、装置、存储介质、处理器及智能家居,以至少解决在相关技术中对智能家居的控制指令进行识别时,存在识别不准确的技术问题。

根据本发明实施例的一个方面,提供了一种智能家居的控制方法,包括:采集视频;将所述视频输入识别模型,通过识别模型确定与所述视频对应的控制指令,其中,所述识别模型为使用多组训练数据,通过机器学习训练得出的,所述多组训练数据中的每组数据均包括:视频和与该视频对应的控制指令;根据所述控制指令对所述智能家居进行控制。

可选地,通过以下方式至少之一,采集所述视频:通过对预定范围进行拍摄的方式,采集所述视频;通过对预定范围进行监控的方式,采集所述视频。

可选地,在将所述视频输入所述识别模型,通过所述识别模型确定与所述视频对应的控制指令之前,所述方法还包括:获取多个视频,以及与所述多个视频分别对应的控制指令;对所述多个视频,以及与所述多个视频对应的控制指令进行训练,得到所述识别模型。

可选地,获取与所述多个视频分别对应的控制指令包括:对所述多个视频中的每个视频进行分帧,得到每个视频对应的多个帧的图像;根据所述多个帧的图像确定每个视频的视频特征;根据所述视频特征确定每个视频对应的控制指令。

可选地,根据所述控制指令对所述智能家居进行控制包括:接收到用于对所述智能家居进行控制的控制信息;对所述控制信息的权限和所述控制指令的权限进行比较,在所述控制指令的权限大于所述控制信息的权限的情况下,根据所述控制指令对所述智能家居进行控制。

可选地,所述视频包括以下至少之一:二维视频,三维视频。

根据本发明实施例的另一方面,还提供了一种智能家居的控制装置,包括:采集模块,用于采集视频;确定模块,用于将所述视频输入识别模型,通过识别模型确定与所述视频对应的控制指令,其中,所述识别模型为使用多组训练数据,通过机器学习训练得出的,所述多组训练数据中的每组数据均包括:视频和与该视频对应的控制指令;控制模块,用于根据所述控制指令对所述智能家居进行控制。

根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质存储有程序指令,其中,在所述程序指令运行时控制所述存储介质所在设备执行上述中任意一项所述的智能家居的控制方法。

根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的智能家居的控制方法。

根据本发明实施例的另一方面,还提供了一种智能家居,包括:存储器和处理器,所述存储器存储有计算机程序;所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时执行上述中任意一项所述的智能家居的控制方法。

在本发明实施例中,采用采集视频;将所述视频输入识别模型,通过识别模型确定与所述视频对应的控制指令,其中,所述识别模型为使用多组训练数据,通过机器学习训练得出的,所述多组训练数据中的每组数据均包括:视频和与该视频对应的控制指令;根据所述控制指令对所述智能家居进行控制的方式,通过识别模型识别视频,得到与该视频对应的控制指令,达到了提高视频识别准确率的目的,从而实现了对智能家居准确而有效控制的技术效果,进而解决了在相关技术中对智能家居的控制指令进行识别时,存在识别不准确的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例的智能家居的控制方法的流程图;

图2是根据本发明实施例的智能家居的控制装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例,提供了一种智能家居的控制方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的智能家居的控制方法的流程图,如图1所示,该方法包括如下步骤:

步骤s102,采集视频;

步骤s104,将视频输入识别模型,通过识别模型确定与视频对应的控制指令,其中,识别模型为使用多组训练数据,通过机器学习训练得出的,多组训练数据中的每组数据均包括:视频和与该视频对应的控制指令;

步骤s106,根据控制指令对智能家居进行控制。

通过上述步骤,可以实现通过识别模型识别视频,得到与该视频对应的控制指令,通过机器学习的智能识别模型来对视频进行识别,达到了提高视频识别准确率的目的,从而实现了对智能家居准确而有效控制的技术效果,进而解决了在相关技术中对智能家居的控制指令进行识别时,存在识别不准确的技术问题。

上述采集视频是由视频采集设备实现的,其中,视频采集设备可以是智能家居空间中的监控器、摄像头、手机等,也可以是安装在智能家居设备上的嵌入式摄像头等。需要说明的是,采集视频可以在预定时间或者是预定范围内进行,其中,预定时间可以是某一时间段,例如,早上7点至8点,晚上8点至9点等,也可以是全天候,如24小时不间断。预定范围可以是智能家居的工作区域的全部或者部分,例如,门口或者是卧室等,也可以是采集设备最大的采集区域或者预设的采集区域。

上述识别模型需要预先建立并进行训练,建立基于卷积神经网络的识别模型,通过机器学习对该识别模型进行训练,使得识别模型具备识别能力,可以实现将视频输入该识别模型,即可输出与该视频对应的控制指令。在对识别模型进行训练时,由机器学习完成对大量的训练数据的训练,其中,上述训练数据包括:视频和与该视频对应的控制指令。此外,将视频中的视频特征分类为对应控制指令的正样本和负样本,将分类为正样本的训练数据与分类为负样本的训练数据,用于训练识别模型。通过上述训练后得到的识别模型,不仅识别能力大大提高,而且增强了识别的准确性。

在将采集视频输入识别模型,得到相对应的控制指令,进而通过该控制指令实现对智能家居的控制。通过上述方法实现了利用视频控制智能家居,由于视频是一系列帧的图片形成的,因此,在依据视频进行识别时,是对一系列帧的图片进行识别的,相对于相关技术中仅对静态的图片进行识别,有效避免了静态检测引起的误判,提高了智能家居的识别准确率。

可选地,通过以下方式至少之一,采集视频:通过对预定范围进行拍摄的方式,采集视频;通过对预定范围进行监控的方式,采集视频。

上述采集视频的方式可以采用多种形式,例如,采用拍摄、监控等,在选择采集视频的方式时,可以根据智能家居工作环境具体选择,上述智能家居工作环境包括:空间格局,智能家居设备的布局,空间采光效果等。上述预定范围可以是采集设备的最大采集区域,也可以是预设的采集区域。需要说明的是,上述预定范围既可以是整个智能家居工作区域,又可以是智能家居工作区域的某一部分。在本发明的实施例中,智能家居通过对预定范围进行拍摄,监控来采集视频。需要说明的是,智能家居利用上述采集方式不仅能够实现连续不断的采集视频,还能够在预定时间间隔内采集视频。

可选地,在将视频输入识别模型,通过识别模型确定与视频对应的控制指令之前,方法还包括:获取多个视频,以及与多个视频分别对应的控制指令;对多个视频,以及与多个视频对应的控制指令进行训练,得到识别模型。

上述识别模型是基于卷积神经网建立的,在对该识别模型进行训练时,可以输入获取的多个视频,以及与多个视频分别对应的控制指令,直至识别模型收敛。上述训练采用机器学习形式,通过机器学习使得识别模型具备根据视频能够准确得到该视频对应的控制指令的能力。需要说明的是,在识别模型训练时,可以通过分类器根据视频的视频特征不同,及其对应控制指令的正样本和负样本的训练,通过上述训练,可以提高识别模型的识别能力,减少由于虚假的控制指令影响导致的误判。

可选地,获取与多个视频分别对应的控制指令包括:对多个视频中的每个视频进行分帧,得到每个视频对应的多个帧的图像;根据多个帧的图像确定每个视频的视频特征;根据视频特征确定每个视频对应的控制指令。

上述分帧是将视频分割成图像序列,通过分帧将每个视频生成与该视频对应的多个帧的图像,使得更容易获取到相关的视频特征。其中,视频特征可以包括:图片特征和动图特征,进而可以根据相应的特征生成对应的控制指令。需要说明的是,在对智能家居控制时,图片特征预测准确度高,但是特征的代表性差,局限性大,动图特征的预测准确率较低,但是动图特征的代表性较强,可以具有变化特征,更加完善用户的动作特征。通过上述视频特征及其对应的控制指令可以有效提高智能家居控制的准确性。此外,可以根据视频特征分类对应控制指令的正样本和负样本,即可以将视频特征中真正的控制指令与视频特征中虚假的控制指令进行区分,形成对应的正样本和负样本。进而可以有效提高视频特征与其对应的控制指令的精确度,可以避免视频中虚假的控制指令对智能家居控制的不利影响。

可选地,根据控制指令对智能家居进行控制包括:接收到用于对智能家居进行控制的控制信息;对控制信息的权限和控制指令的权限进行比较,在控制指令的权限大于控制信息的权限的情况下,根据控制指令对智能家居进行控制。

在经过识别模型对视频进行识别后,得到的控制指令,从而对智能家居进行控制。除了上述方法外,对智能家居的控制还存在多种形式,例如,还可以通过键盘遥控器,手机,语音,手势等以及智能家居设备本身具有的控制按键等方式,实现对智能家居的控制。在对智能家居控制时,可能存在上述多种控制方式共存的问题,智能家居根据上述多种控制方式,生成相应的控制信息的权限,此时智能家居会根据默认或者是用户预设的权限等级进行比较判断。例如,采用视频对应的控制指令和遥控器实现对智能家居进行控制,用户设置控制指令的权限优先于遥控器生成的控制信息的权限,无论遥控器早于、晚于或者同时与视频对应的控制指令对智能家居进行控制,智能家居都会按照视频对应的控制指令执行相关任务。通过上述方法可以实现对智能家居的多样化控制,同时又可以避免控制方式过多导致的控制混乱的现象。

可选地,视频包括以下至少之一:二维视频,三维视频。

上述二维视频是平面视频,上述三维视频是立体视频。需要说明的是,上述三维视频可以由计算机对多个二维视频进行堆叠得到,看起来更加直观。在本发明实施例中,根据不同的应用需求选择相应的视频类型,可以通过二维视频获取平面特征信息,也可以通过三维视频获取立体特征信息,此外,还包括四维视频,即能够获取全方位的特征信息,这样不仅极大丰富了获取视频类型的多样性和选择性,也满足了不同的应用需求。

下面对本发明的优选实施方式进行说明。

通过视频采集装置对智能家居周围进行视频采集,获取到周围物体的视频后,对该视频进行分帧和解帧处理,并计算得出该视频的不同帧的图像,对该图像进行筛选和特征提取,将得到的视频特征分类为控制指令的正样本和负样本,对多个视频采用上述相同的处理,得到多个视频对应的正样本和负样本,并对多个视频对应的正样本和负样本进行训练,得到卷积神经网络模型(即上述识别模型),将采集到的视频输入至该卷积神经网络模型中,输出与该视频对应的控制指令,根据该控制指令对智能家居进行控制。

举例来说,在室内安装上述视频采集装置及处理器,通过视频采集装置实时采集室内用户的动作视频,通过该动作视频,根据对该动作视频的分析和处理,如上述的处理方法,通过将采集到的用户的动作视频输入至上述识别模型,从而得到对智能家居进行控制的控制指令。在具体训练卷积神经网络模型时,可以利用多个视频对应的视频特征的正样本和负样本进行训练,例如,在具体操作时,可以将视频对应的视频特征分为两类,一类是通过图片特征对该卷积神经网络模型(对应采用其中的图片识别模型)进行训练,可以根据图像特征的识别得到对智能家居进行控制的控制指令(即图片控制指令),另一类是根据动图(即小视频)的特征对该卷积神经网络模型(动图识别模型)进行训练,可以根据动图特征的识别得到对智能家居进行控制控制指令(即动图控制指令)。需要说明的是,图像特征预测准确度高,但是特征的代表性差,局限性大;动图的预测准确率较低,但是动图特征的代表性较强,可以具有变化特征,更加完善用户的动作特征。因此,在具体实现对智能家居进行控制时,可以同时结合上述图片识别模型识别出的图片控制指令和通过动图识别模型识别出的动图控制指令,得到用于对智能家居进行控制的完整控制指令。

需要说明的是,上述智能家居可以包括扫地机器人或者空调,通过对视频进行识别,得到用于对上述智能家居进行控制的控制指令。通过将图片识别模型与动图识别模型结合的得到的识别模型对视频进行检测,可以有效检测到动态物体,通过变化的物体进行检测,可以有效避免静态检测的缺陷,防止各种静态检测的误判情况。

相比于相关技术而言,通过对视频的处理来实现对智能家居的控制指令的识别,使得识别准确度提高。既可以保证对智能家居的控制指令的识别准确率,从而提高智能家居的智能程度。

图2是根据本发明实施例的智能家居的控制装置的结构示意图;如图2所示,该智能家居的控制装置,包括:采集模块22,确定模块24和控制模块26。下面对该智能家居的控制装置进行详细说明。

采集模块22,用于采集视频;确定模块24,与上述采集模块22相连接,用于将视频输入识别模型,通过识别模型确定与视频对应的控制指令,其中,识别模型为使用多组训练数据,通过机器学习训练得出的,多组训练数据中的每组数据均包括:视频和与该视频对应的控制指令;控制模块26,与上述确定模块24相连接,用于根据控制指令对智能家居进行控制。

通过上述模块,该智能家居的控制装置可以实现通过识别模型识别视频,得到与该视频对应的控制指令,通过机器学习的智能识别模型来对视频进行识别,达到了提高视频识别准确率的目的,从而实现了对智能家居准确而有效控制的技术效果,进而解决了在相关技术中对智能家居的控制指令进行识别时,存在识别不准确的技术问题。

上述采集视频可以是由视频采集设备实现的,其中,上述视频采集设备可以是智能家居空间中的监控器、摄像头、手机等,也可以是安装在智能家居设备上的嵌入式摄像头等。需要说明的是,采集视频可以在预定时间或者是预定范围内进行,其中,预定时间可以是某一时间段,例如,早上7点至8点,晚上8点至9点等,也可以是全天候,如24小时不间断。预定范围可以是智能家居的工作区域的全部或者部分,例如,门口或者是卧室等,也可以是采集设备最大的采集区域或者预设的采集区域。

上述识别模型需要预先建立并进行训练,建立基于卷积神经网络的识别模型,通过机器学习对该识别模型进行训练,使得识别模型具备识别能力,可以实现将视频输入该识别模型,即可输出与该视频对应的控制指令。在对识别模型进行训练时,由机器学习完成对大量的训练数据的训练,其中,上述训练数据包括:视频和与该视频对应的控制指令。此外,将视频中的视频特征分类为对应控制指令的正样本和负样本,将分类为正样本的训练数据与分类为负样本的训练数据,用于训练识别模型。通过上述训练后得到的识别模型,不仅识别能力大大提高,而且增强了识别的准确性。

在将采集视频输入识别模型,得到相对应的控制指令,进而通过该控制指令实现对智能家居的控制。通过上述方法实现了利用视频控制智能家居,有效避免了静态检测引起的误判,提高了智能家居的智能化程度。

根据本发明实施例的另一方面,还提供了一种存储介质,存储介质存储有程序指令,其中,在程序指令运行时控制存储介质所在设备执行上述中任意一项的智能家居的控制方法。

根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的智能家居的控制方法。

根据本发明实施例的另一方面,还提供了一种智能家居,包括:存储器和处理器,存储器存储有计算机程序;处理器,用于执行存储器中存储的计算机程序,计算机程序运行时执行上述中任意一项的智能家居的控制方法。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。


技术特征:

1.一种智能家居的控制方法,其特征在于,包括:

采集视频;

将所述视频输入识别模型,通过识别模型确定与所述视频对应的控制指令,其中,所述识别模型为使用多组训练数据,通过机器学习训练得出的,所述多组训练数据中的每组数据均包括:视频和与该视频对应的控制指令;

根据所述控制指令对所述智能家居进行控制。

2.根据权利要求1所述的方法,其特征在于,通过以下方式至少之一,采集所述视频:

通过对预定范围进行拍摄的方式,采集所述视频;

通过对预定范围进行监控的方式,采集所述视频。

3.根据权利要求1所述的方法,其特征在于,在将所述视频输入所述识别模型,通过所述识别模型确定与所述视频对应的控制指令之前,所述方法还包括:

获取多个视频,以及与所述多个视频分别对应的控制指令;

对所述多个视频,以及与所述多个视频对应的控制指令进行训练,得到所述识别模型。

4.根据权利要求3所述的方法,其特征在于,获取与所述多个视频分别对应的控制指令包括:

对所述多个视频中的每个视频进行分帧,得到每个视频对应的多个帧的图像;

根据所述多个帧的图像确定每个视频的视频特征;

根据所述视频特征确定每个视频对应的控制指令。

5.根据权利要求1至4中任一项所述的方法,其特征在于,根据所述控制指令对所述智能家居进行控制包括:

接收到用于对所述智能家居进行控制的控制信息;

对所述控制信息的权限和所述控制指令的权限进行比较,在所述控制指令的权限大于所述控制信息的权限的情况下,根据所述控制指令对所述智能家居进行控制。

6.根据权利要求5所述的方法,其特征在于,所述视频包括以下至少之一:二维视频,三维视频。

7.一种智能家居的控制装置,其特征在于,包括:

采集模块,用于采集视频;

确定模块,用于将所述视频输入识别模型,通过识别模型确定与所述视频对应的控制指令,其中,所述识别模型为使用多组训练数据,通过机器学习训练得出的,所述多组训练数据中的每组数据均包括:视频和与该视频对应的控制指令;

控制模块,用于根据所述控制指令对所述智能家居进行控制。

8.一种存储介质,其特征在于,所述存储介质存储有程序指令,其中,在所述程序指令运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的智能家居的控制方法。

9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的智能家居的控制方法。

10.一种智能家居,其特征在于,包括:存储器和处理器,

所述存储器存储有计算机程序;

所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时执行权利要求1至6中任意一项所述的智能家居的控制方法。

技术总结
本发明公开了一种智能家居的控制方法、装置、存储介质、处理器及智能家居。其中,该方法包括:采集视频;将视频输入识别模型,通过识别模型确定与视频对应的控制指令,其中,识别模型为使用多组训练数据,通过机器学习训练得出的,多组训练数据中的每组数据均包括:视频和与该视频对应的控制指令;根据控制指令对智能家居进行控制。本发明解决了在相关技术中对智能家居的控制指令进行识别时,存在识别不准确的技术问题。

技术研发人员:易斌;许权南;冯德兵
受保护的技术使用者:珠海格力电器股份有限公司
技术研发日:2018.11.28
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-53294.html

最新回复(0)