随机网络的训练方法、装置、存储介质以及处理器与流程

专利2022-06-29  50


本发明涉及机器学习领域,具体而言,涉及一种随机网络的训练方法、装置、存储介质以及处理器。



背景技术:

近年来人工智能(ai)技术得到了日新月异的发展,它让机器越来越聪明,能够像人一样做出推理和判断,从而更好的为人类服务,从根本上改变了人们的生活。“神经网络”作为一种ai技术起源自上世纪70年代,到了本世纪初逐渐异军突起,超过了其他ai技术,在处理大数据时,将复杂推理、预测、决策的能力提升到了新高度,在某些领域甚至达到或超过了人类。前几年以ai驱动的alphago算法就战胜了人类最厉害的围棋手,向全世界展示了ai给机器带来的令人惊叹的智能。

神经网络技术采用复杂的多层网络模型,包含庞大的参数集群,可多大上千万个参数。该技术需要利用大数据训练模型,才能获得智能特性。这个训练过程非常消耗计算资源,同时需要专业的ai工程师花费长时间优化网络结构,调整训练参数,不断的尝试和改进。因此近几年发展起了一种神经网络自动训练技术(automl),该技术能够自动预处理大数据(特征工程),调整网络结构,调整网络超参数,最终自动训练出高性能网络。这样就大大降低了使用该技术的门槛,使没有ai专业技术的人员也能训练出高质量的网络模型。

然而,automl对处理单一结构的大数据,比如图像识别已经取得了一定的成功,但automl不适用于所有类型的网络,也不适用于所有类型的大数据。对于图片检测问题,automl性能很好,但对于数据类型复杂的问题,它往往就无能为力了,不能自动训练出令人满意的网络模型。例如,预测电力购电系统的购电延迟,其大数据是电力购电系统中多模块数据传输的日志,天气数据,投诉数据。这样复杂的数据组合使得automl不能发挥出很好的效能。

针对上述的问题,目前尚未提出有效的解决方案。



技术实现要素:

本发明实施例提供了一种随机网络的训练方法、装置、存储介质以及处理器,以至少解决现有技术中在无法训练出能够有效处理数据类型复杂的问题的网络模型的技术问题。

根据本发明实施例的一个方面,提供了一种随机网络的训练方法,包括:构建随机网络,其中,所述随机网络包括复杂神经元;基于机器学习对所述随机网络进行训练,得到第一网络模型;基于所述第一网络模型对所述随机网络进行微调,训练后得到第二网络模型;比较所述第一网络模型和所述第二网络模型的预测准确率,在所述第二网络模型的预测准确率大于所述第一网络模型的预测准确率的情况下,则使用所述第二网络模型替代所述第一网络模型。

可选地,构建随机网络包括:对所述随机网络进行初始化。

可选地,基于机器学习对所述随机网络进行训练,得到第一网络模型包括:获取预定数量的训练数据,其中,所述训练数据包括:不同类型的网络参数和对应的预测结果;使用所述训练数据通过机器学习训练得出所述第一网络模型。

可选地,基于所述第一网络模型对所述随机网络进行微调,训练后得到第二网络模型包括:选择至少一个复杂神经元,其中,至少一个所述复杂神经元用于增加所述随机网络的复杂度;基于至少一个所述复杂神经元修改所述随机网络的网络结构;根据修改后的所述随机网络的网络结构进行训练,得到所述第二网络模型。

可选地,比较所述第一网络模型和所述第二网络模型的预测准确率,在所述第二网络模型的预测准确率大于所述第一网络模型的预测准确率的情况下,则使用所述第二网络模型替代所述第一网络模型还包括:根据所述第一网络模型和所述第二网络模型的预测结果,分别计算出所述第一网络模型的第一预测准确率和所述第二网络模型的第二预测准确率;确定所述第一预测准确率和和所述第二预测准确率之间的差值;判断所述差值是否在阈值范围内,如果所述差值在所述阈值范围内,则停止训练所述随机网络;如果所述差值不在所述阈值范围内,则继续训练所述随机网络。

根据本发明实施例的另一方面,还提供了一种随机网络的训练装置,包括:构建模块,用于构建随机网络,其中,所述随机网络包括复杂神经元;第一训练模块,用于基于机器学习对所述随机网络进行训练,得到第一网络模型;第二训练模块,用于基于所述第一网络模型对所述随机网络进行微调,训练后得到第二网络模型;替代模块,用于比较所述第一网络模型和所述第二网络模型的预测准确率,在所述第二网络模型的预测准确率大于所述第一网络模型的预测准确率的情况下,则使用所述第二网络模型替代所述第一网络模型。

可选地,所述构建模块包括:初始化单元,用于对所述随机网络进行初始化。

可选地,所述第一训练模块包括:获取单元,用于获取预定数量的训练数据,其中,所述训练数据包括:不同类型的网络参数和对应的预测结果;第一训练单元,用于使用所述训练数据通过机器学习训练得出所述第一网络模型。

可选地,所述第二训练模块包括:选择单元,用于选择至少一个复杂神经元,其中,至少一个所述复杂神经元用于增加所述随机网络的复杂度;修改单元,用于基于至少一个所述复杂神经元修改所述随机网络的网络结构;第二训练单元,用于根据修改后的所述随机网络的网络结构进行训练,得到所述第二网络模型。

可选地,所述替代模块还包括:计算单元,用于根据所述第一网络模型和所述第二网络模型的预测结果,分别计算出所述第一网络模型的第一预测准确率和所述第二网络模型的第二预测准确率;确定单元,用于确定所述第一预测准确率和和所述第二预测准确率之间的差值;判断单元,用于判断所述差值是否在阈值范围内,如果所述差值在所述阈值范围内,则停止训练所述随机网络;如果所述差值不在所述阈值范围内,则继续训练所述随机网络。

根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的随机网络的训练方法。

根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的随机网络的训练方法。

在本发明实施例中,采用构建随机网络,其中,所述随机网络包括复杂神经元;基于机器学习对所述随机网络进行训练,得到第一网络模型;基于所述第一网络模型对所述随机网络进行微调,训练后得到第二网络模型;比较所述第一网络模型和所述第二网络模型的预测准确率,在所述第二网络模型的预测准确率大于所述第一网络模型的预测准确率的情况下,则使用所述第二网络模型替代所述第一网络模型的方式,通过自动训练并不断调整随机网络,达到了适应更多类型的大数据分析的目的,从而实现了节省人工,降低训练所需的专业知识的技术效果,进而解决了现有技术中在无法训练出能够有效处理数据类型复杂的问题的网络模型技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例的随机网络的训练方法的流程图;

图2是根据本发明实施例的复杂神经元内部结构的示意图;

图3是根据本发明可选实施例的随机网络的训练方法的流程图;

图4是根据本发明实施例的随机网络的训练装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例,提供了一种随机网络的训练方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的随机网络的训练方法的流程图,如图1所示,该方法包括如下步骤:

步骤s102,构建随机网络,其中,随机网络包括复杂神经元;

上述随机网络是随机产生的简单网络,该随机网络随着后续训练的深入越来越复杂,直到预测效果达到预期。

步骤s104,基于机器学习对随机网络进行训练,得到第一网络模型;

步骤s106,基于第一网络模型对随机网络进行微调,训练后得到第二网络模型;

步骤s108,比较第一网络模型和第二网络模型的预测准确率,在第二网络模型的预测准确率大于第一网络模型的预测准确率的情况下,则使用第二网络模型替代第一网络模型。

上述方式可以应用于预测购电延迟,也适用于其他成分复杂的大数据分析问题。

通过上述步骤,可以实现采用构建随机网络,其中,随机网络包括复杂神经元;基于机器学习对随机网络进行训练,得到第一网络模型;基于第一网络模型对随机网络进行微调,训练后得到第二网络模型;比较第一网络模型和第二网络模型的预测准确率,在第二网络模型的预测准确率大于第一网络模型的预测准确率的情况下,则使用第二网络模型替代第一网络模型的方式,通过自动训练并不断调整随机网络,达到了适应更多类型的大数据分析的目的,从而实现了节省人工,降低训练所需的专业知识的技术效果,进而解决了现有技术中在无法训练出能够有效处理数据类型复杂的问题的网络模型技术问题。

可选地,构建随机网络包括:对随机网络进行初始化。

通过上述随机网络的初始化,可以使得随机网络的初始复杂度降低,便于在后续训练中不断增加网络复杂度,以取得更好的训练效果。

可选地,基于机器学习对随机网络进行训练,得到第一网络模型包括:获取预定数量的训练数据,其中,训练数据包括:不同类型的网络参数和对应的预测结果;使用训练数据通过机器学习训练得出第一网络模型。

通过大量的数据对随机网络进行训练,得到的第一网络模型,能够具有更好的识别能力,可以使得预测结果更加准确。例如,将待检测的网络参数输入该第一网络模型,则该第一网络模型可以准确输出与待检测的网络参数对应的预测结果。

可选地,基于第一网络模型对随机网络进行微调,训练后得到第二网络模型包括:选择至少一个复杂神经元,其中,至少一个复杂神经元用于增加随机网络的复杂度;基于至少一个复杂神经元修改随机网络的网络结构;根据修改后的随机网络的网络结构进行训练,得到第二网络模型。

上述使用更加灵活的结构,用更加复杂的小型神经网络代替神经元,称之为复杂神经元。图2是根据本发明实施例的复杂神经元内部结构的示意图,如图2所示,每一个复杂神经元可以灵活采用各种复杂度的结构,既可以是一个传统的简单神经元结构,也可以是复杂得多的神经网络,而采用什么样的网络结构是训练过程自动完成的。

每一个复杂神经元内部可以是简单的传统结构,也可以是一个小型的神经网络。对于同一层的信息,网络会自动选择复杂度相差迥异的一系列复杂神经元来处理。这样的网络具有更大灵活性,而且在训练中可以自动调节复杂度,而传统的网络是不能自动调节复杂度的,这需要ai工程师根据经验手动调节不断实验。

因此,更灵活的网络结构可以处理成分复杂的大数据,适应更多类型的大数据分析问题。网络复杂度可以在训练中自动调节完成,更节省了人工,降低了训练所需的专业知识。

可选地,比较第一网络模型和第二网络模型的预测准确率,在第二网络模型的预测准确率大于第一网络模型的预测准确率的情况下,则使用第二网络模型替代第一网络模型还包括:根据第一网络模型和第二网络模型的预测结果,分别计算出第一网络模型的第一预测准确率和第二网络模型的第二预测准确率;确定第一预测准确率和和第二预测准确率之间的差值;判断差值是否在阈值范围内,如果差值在阈值范围内,则停止训练随机网络;如果差值不在阈值范围内,则继续训练随机网络。

通过上述方法,可以判断当前网络的预测能力是否达到了训练预期的效果,使得训练后的网络模型能够准确预测,进一步提高网络模型的预测能力或者识别能力。

下面对本申请一种可选的实施方式进行说明。

图3是根据本发明可选实施例的随机网络的训练方法的流程图,如图3所示,该方法包括如下步骤:

(1)初始化随机网络:随机产生一个简单网络,随着训练网络会越来越复杂,直到预测效果达到预期。

(2)训练:用大数据对网络进行训练,得到在该网络配置下比较好的网络参数和预测能力。

(3)微调:对网络进行随机微调,包括随机选择一个复杂神经元,随机修改其网络结构,包括增加网络复杂度,增加幅度不宜过大。

(4)性能提高:对比微调前后的网络的预测准确率,判断微调后的网络是否有提高。

(5)达到预期:判断当前网络的预测能力是否达到了训练预期的效果,如果达到了就停止训练。

需要说明的是,上述方法中,在网络中引入了复杂神经元概念,增加了网络复杂度灵活性,增加了网络结构灵活性。在自动训练的过程中引入了随机调整网络复杂度的机制,使得可以自动寻找最优的网络复杂度。

实施例2

根据本发明实施例的另外一个方面,还提供了一种随机网络的训练装置,图4是根据本发明实施例的随机网络的训练装置的示意图,如图4所示,该随机网络的训练装置包括:构建模块42、第一训练模块44、第二训练模块46和替代模块48。下面对该随机网络的训练装置进行详细说明。

构建模块42,用于构建随机网络;

第一训练模块44,连接至上述构建模块42,用于基于机器学习对随机网络进行训练,得到第一网络模型;

第二训练模块46,连接至上述第一训练模块44,用于基于第一网络模型对随机网络进行微调,训练后得到第二网络模型;

替代模块48,连接至上述第二训练模块46,用于比较第一网络模型和第二网络模型的预测准确率,在第二网络模型的预测准确率大于第一网络模型的预测准确率的情况下,则使用第二网络模型替代第一网络模型。

上述装置得到的网络模型可以应用于预测购电延迟,也适用于其他成分复杂的大数据分析问题。

上述装置可以通过自动训练并不断调整随机网络,达到了适应更多类型的大数据分析的目的,从而实现了节省人工,降低训练所需的专业知识的技术效果,进而解决了现有技术中在无法训练出能够有效处理数据类型复杂的问题的网络模型技术问题。

此处需要说明的是,上述构建模块42、第一训练模块44、第二训练模块46和替代模块48对应于实施例1中的步骤s102至s108,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

可选地,构建模块包括:初始化单元,用于对随机网络进行初始化。

可选地,第一训练模块包括:获取单元,用于获取预定数量的训练数据,其中,训练数据包括:不同类型的网络参数和对应的预测结果;第一训练单元,用于使用训练数据通过机器学习训练得出第一网络模型。

可选地,第二训练模块包括:选择单元,用于选择至少一个复杂神经元,其中,至少一个复杂神经元用于增加随机网络的复杂度;修改单元,用于基于至少一个复杂神经元修改随机网络的网络结构;第二训练单元,用于根据修改后的随机网络的网络结构进行训练,得到第二网络模型。

可选地,替代模块还包括:计算单元,用于根据第一网络模型和第二网络模型的预测结果,分别计算出第一网络模型的第一预测准确率和第二网络模型的第二预测准确率;确定单元,用于确定第一预测准确率和和第二预测准确率之间的差值;判断单元,用于判断差值是否在阈值范围内,如果差值在阈值范围内,则停止训练随机网络;如果差值不在阈值范围内,则继续训练随机网络。

实施例3

根据本发明实施例的另一方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述中任意一项的随机网络的训练方法。

实施例4

根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的随机网络的训练方法。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。


技术特征:

1.一种随机网络的训练方法,其特征在于,包括:

构建随机网络,其中,所述随机网络包括复杂神经元;

基于机器学习对所述随机网络进行训练,得到第一网络模型;

基于所述第一网络模型对所述随机网络进行微调,训练后得到第二网络模型;

比较所述第一网络模型和所述第二网络模型的预测准确率,在所述第二网络模型的预测准确率大于所述第一网络模型的预测准确率的情况下,则使用所述第二网络模型替代所述第一网络模型。

2.根据权利要求1所述的方法,其特征在于,构建随机网络包括:

对所述随机网络进行初始化。

3.根据权利要求1所述的方法,其特征在于,基于机器学习对所述随机网络进行训练,得到第一网络模型包括:

获取预定数量的训练数据,其中,所述训练数据包括:不同类型的网络参数和对应的预测结果;

使用所述训练数据通过机器学习训练得出所述第一网络模型。

4.根据权利要求1所述的方法,其特征在于,基于所述第一网络模型对所述随机网络进行微调,训练后得到第二网络模型包括:

选择至少一个复杂神经元,其中,至少一个所述复杂神经元用于增加所述随机网络的复杂度;

基于至少一个所述复杂神经元修改所述随机网络的网络结构;

根据修改后的所述随机网络的网络结构进行训练,得到所述第二网络模型。

5.根据权利要求1至4中任意一项所述的方法,其特征在于,比较所述第一网络模型和所述第二网络模型的预测准确率,在所述第二网络模型的预测准确率大于所述第一网络模型的预测准确率的情况下,则使用所述第二网络模型替代所述第一网络模型还包括:

根据所述第一网络模型和所述第二网络模型的预测结果,分别计算出所述第一网络模型的第一预测准确率和所述第二网络模型的第二预测准确率;

确定所述第一预测准确率和和所述第二预测准确率之间的差值;

判断所述差值是否在阈值范围内,如果所述差值在所述阈值范围内,则停止训练所述随机网络;如果所述差值不在所述阈值范围内,则继续训练所述随机网络。

6.一种随机网络的训练装置,其特征在于,包括:

构建模块,用于构建随机网络,其中,所述随机网络包括复杂神经元;

第一训练模块,用于基于机器学习对所述随机网络进行训练,得到第一网络模型;

第二训练模块,用于基于所述第一网络模型对所述随机网络进行微调,训练后得到第二网络模型;

替代模块,用于比较所述第一网络模型和所述第二网络模型的预测准确率,在所述第二网络模型的预测准确率大于所述第一网络模型的预测准确率的情况下,则使用所述第二网络模型替代所述第一网络模型。

7.根据权利要求6所述的装置,其特征在于,所述构建模块包括:

初始化单元,用于对所述随机网络进行初始化。

8.根据权利要求6所述的装置,其特征在于,所述第一训练模块包括:

获取单元,用于获取预定数量的训练数据,其中,所述训练数据包括:不同类型的网络参数和对应的预测结果;

第一训练单元,用于使用所述训练数据通过机器学习训练得出所述第一网络模型。

9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的随机网络的训练方法。

10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的随机网络的训练方法。

技术总结
本发明公开了一种随机网络的训练方法、装置、存储介质以及处理器。其中,该方法包括:构建随机网络,其中,随机网络包括复杂神经元;基于机器学习对随机网络进行训练,得到第一网络模型;基于第一网络模型对随机网络进行微调,训练后得到第二网络模型;比较第一网络模型和第二网络模型的预测准确率,在第二网络模型的预测准确率大于第一网络模型的预测准确率的情况下,则使用第二网络模型替代第一网络模型。本发明解决了现有技术中在无法训练出能够有效处理数据类型复杂的问题的网络模型的技术问题。

技术研发人员:郝佳恺;赵广怀;高鹏;郝毅;牛海洋
受保护的技术使用者:国网北京市电力公司;国家电网有限公司;北京智慧触角科技有限公司;北京博瑞翔伦科技发展有限公司
技术研发日:2019.12.31
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-52579.html

最新回复(0)