本发明涉及机器学习模型的性能监控,尤其是涉及一种机器学习模型的实时性能管理方法和装置。
背景技术:
1、机器学习模型发布到生产环境后,随着业务数据量的增加和新增数据特征的变化,会逐渐影响模型的评价指标,导致模型退化。
2、经发明人研究发现,模型的评价指标不满足的情况不能被及时发现,而需要算法人员主动探知。当算法人员发现在模型的评价指标不满足要求时,往往使用新数据集对模型进行重新训练,此种方式导致模型的应用可靠性较低。
技术实现思路
1、本发明的目的在于提供一种机器学习模型的实时性能管理方法和装置,以缓解了现有技术中存在的模型应用可靠性较低的技术问题。
2、第一方面,本发明实施例提供了一种机器学习模型的实时性能管理方法,包括:
3、对机器学习模型的运行进行实时监控;
4、若监控到所述机器学习模型的运行出现偏差,则触发无监督自学习模式;
5、基于所述无监督自学习模式,更新所述机器学习模型。
6、结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,对机器学习模型的运行进行实时监控的步骤,包括:
7、构建机器学习模型的模型画像;
8、基于所述模型画像,实时监控所述机器学习模型的运行。
9、结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,构建机器学习模型的模型画像的步骤,包括:
10、基于建立所述机器学习模型所需的模型数据,应用所述机器学习模型所需的输入输出数据,所述机器学习模型对应的服务和所述机器学习模型的性能期望指标,建立所述机器学习模型的模型画像。
11、结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述方法还包括:
12、根据所述机器学习模型对应的多个指标变量,计算所述性能期望指标。
13、结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,若监控到所述机器学习模型的运行出现偏差,则触发无监督自学习模式的步骤,包括:
14、若所述机器学习模型的性能期望指标超过期望指标阈值范围,则确定所述机器学习模型的运行出现偏差,并控制无监督自学习模式触发。
15、结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,基于所述无监督自学习模式,更新所述机器学习模型的步骤,包括:
16、控制所述机器学习模型进入所述无监督自学习模式,将所述机器学习模型的版本和服务进行更新。
17、结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述方法还包括:
18、若监控到所述机器学习模型的运行出现偏差,则进行报警。
19、第二方面,本发明实施例还提供一种机器学习模型的实时性能管理装置,包括:
20、监控模块,对机器学习模型的运行进行实时监控;
21、触发模块,若监控到所述机器学习模型的运行出现偏差,则触发无监督自学习模式;
22、更新模块,基于所述无监督自学习模式,更新所述机器学习模型。
23、第三方面,实施例提供一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。
24、第四方面,实施例提供一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。
25、本发明实施例带来了一种机器学习模型的实时性能管理方法和装置,实时对机器学习模型进行监控,当监控到机器学习模型的运行出现偏差时,则触发机器学习模型的无监督自学习模式,对机器学习模型的性能和服务进行更新,以实现对退化的机器学习模型进行及时监控和更新的目的,保证机器学习模型的应用可靠性。
26、本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
27、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
1.一种机器学习模型的实时性能管理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,对机器学习模型的运行进行实时监控的步骤,包括:
3.根据权利要求2所述的方法,其特征在于,构建机器学习模型的模型画像的步骤,包括:
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,若监控到所述机器学习模型的运行出现偏差,则触发无监督自学习模式的步骤,包括:
6.根据权利要求1所述的方法,其特征在于,基于所述无监督自学习模式,更新所述机器学习模型的步骤,包括:
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
8.一种机器学习模型的实时性能管理装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序,所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-7中任意一项所述的方法。
