一种面向MSP客户的公有云资源自动化巡检系统的制作方法

专利2022-06-29  108


本发明涉及计算机应用及云计算技术领域,具体为一种面向msp客户的公有云资源自动化巡检系统。



背景技术:

近年来,在政府和产业的双重推动下,云计算技术在我国得到迅速推广。随着数字化转型的不断深入,云计算技术与企业的业务不断融合,用户已经充分认识到云计算的价值,企业上云的速度在加快,很多客户开始积极使用各种公有云,包括阿里云、华为云、aws和azure等;

企业客户广泛使用公有云后,一个较大的挑战是如何对云上的资源进行有效的管理和控制,及时掌握云上资源的运行状况。通常情况下,客户要么搭建企业自己的运维团队对云上的资源进行运维管理,要么找专业的云管理服务提供商(cloudmanagedserviceprovider,简称cloudmsp)帮助自己来管理云上资源。

cloudmsp需要在超大规模云服务提供商方面拥有深厚的技术专长,拥有功能强大的云管理平台,尽可能利用自动化的托管服务,能够交付针对云优化的解决方案,不管客户在部署新的云原生应用程序,还是从现有的传统数据中心迁移原有的工作负载。

目前这两种对云上的资源进行有效的管理和控制的方式均存在对运维技术人员的技术能力依赖程度高,而且运维人员巡检的工作量大,巡检依靠人为进行判断,效率低,标准化程度低问题。



技术实现要素:

本发明的目的在于提供一种面向msp客户的公有云资源自动化巡检系统,以解决上述背景技术中提出的问题。

为实现上述目的,本发明提供如下技术方案:一种面向msp客户的公有云资源自动化巡检系统,该系统包括:

多云接口适配器:负责适配各个公有云厂商的接口,把云资源巡检引擎命令转换为对应的公有云厂商api接口;

云资源巡检引擎:根据巡检项配置库中的巡检项规则调用多云接口适配器转换后的接口对各个公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器;

巡检报告生成器:接收到云资源巡检引擎传递过来的巡检结果数据后,根据报告模板库中配置的模板生成相应的巡检报告文件;

邮件发送模块:负责把巡检报告文件以email附件的形式发送给对应的接收人;

巡检项配置库:用于保存各个公有云租户需要巡检的内容清单及详细规则;

报告模板库:用于保存巡检报告的定义模板,每个模板定义了巡检报告文件格式、输出内容项、布局和数据格式。

优选的,所述该系统还包括巡检项配置模块:用于对巡检项配置库中的巡检项进行维护。

优选的,所述该系统还包括报告模板配置模块:用于对报告模板库中的模板进行维护。

优选的,所述多云接口适配器包括:

阿里云接口适配器:用于对阿里云的接口进行适配,根据云资源巡检引擎传递的命令转换为阿里云对应的接口命令;

华为云接口适配器:用于对华为云的接口进行适配,根据云资源巡检引擎传递的命令转换为华为云对应的接口命令;

azure接口适配器:用于对azure的接口进行适配,根据云资源巡检引擎传递的命令转换为azure对应的接口命令;

aws接口适配器:用于对aws的接口进行适配,根据云资源巡检引擎传递的命令转换为aws对应的接口命令。

优选的,所述云资源巡检引擎包括:

日巡检子单元:用于执行每日巡检任务,根据巡检项配置库中的日巡检检查项清单调用多云接口适配器转换后的接口对各公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器;

月巡检子单元:用于执行每月巡检任务,根据巡检项配置库中的月巡检检查项清单调用多云接口适配器转换后的接口对各公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器。

优选的,所述巡检报告生成器包括:

pdf文件生成器:根据报告模板库中设定的pdf模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成pdf格式的巡检报告文件;

word文件生成器:根据报告模板库中设定的word模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成word格式的巡检报告文件;

excel文件生成器:根据报告模板库中设定的excel模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成excel格式的巡检报告文件。

优选的,所述该系统的流程是一个后台定时任务。

与现有技术相比,本发明的有益效果是:

本发明,构建了一个自动化任务引擎,可以根据预先配置好的巡检规则,对客户在各个公有云上的资源进行自动化的巡检,然后根据预先定义好的巡检报告输出模板,自动把巡检结果内容填充到巡检报告输出模板中,生成巡检报告,通过邮件自动发送给客户和msp运维人员。这样大大减少了运维人员手动巡检的工作量,降低对运维人员的技术能力的依赖度,提高了巡检的效率以及标准化程度。

附图说明

图1为本发明的结构示意图;

图2是月巡检报告word文件样例;

图3是日巡检报告excel文件样例;

图4为本发明的流程图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例1:

请参阅图1-4,本发明提供一种技术方案:一种面向msp客户的公有云资源自动化巡检系统,该系统包括:

多云接口适配器:负责适配各个公有云厂商的接口,把云资源巡检引擎命令转换为对应的公有云厂商api接口;

云资源巡检引擎:根据巡检项配置库中的巡检项规则调用多云接口适配器转换后的接口对各个公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器;

巡检报告生成器:接收到云资源巡检引擎传递过来的巡检结果数据后,根据报告模板库中配置的模板生成相应的巡检报告文件;

邮件发送模块:负责把巡检报告文件以email附件的形式发送给对应的接收人;

巡检项配置库:用于保存各个公有云租户需要巡检的内容清单及详细规则;

报告模板库:用于保存巡检报告的定义模板,每个模板定义了巡检报告文件格式、输出内容项、布局和数据格式。

具体的,所述多云接口适配器包括:

阿里云接口适配器:用于对阿里云的接口进行适配,根据云资源巡检引擎传递的命令转换为阿里云对应的接口命令;主要包含aksk验证接口、iaas层资源信息接口、paas层资源信息接口、监控指标数据获取接口和警报规则接口等。

华为云接口适配器:用于对华为云的接口进行适配,根据云资源巡检引擎传递的命令转换为华为云对应的接口命令;主要包含凭据验证接口、iaas层资源信息接口、paas层资源信息接口、监控指标数据获取接口等。

azure接口适配器:用于对azure的接口进行适配,根据云资源巡检引擎传递的命令转换为azure对应的接口命令;主要包含应用程序注册验证接口、账号管理接口、iaas层资源信息接口、paas层资源信息接口、监控指标数据获取接口、事件和日志接口和警报规则接口等。

aws接口适配器:用于对aws的接口进行适配,根据云资源巡检引擎传递的命令转换为aws对应的接口命令。主要包含凭据验证接口、iaas层资源信息接口、paas层资源信息接口、监控指标数据获取接口等。

具体的,所述云资源巡检引擎包括:

日巡检子单元:用于执行每日巡检任务,根据巡检项配置库中的日巡检检查项清单调用多云接口适配器转换后的接口对各公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器;

月巡检子单元:用于执行每月巡检任务,根据巡检项配置库中的月巡检检查项清单调用多云接口适配器转换后的接口对各公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器。

具体的,所述巡检报告生成器包括:

pdf文件生成器:根据报告模板库中设定的pdf模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成pdf格式的巡检报告文件;

word文件生成器:根据报告模板库中设定的word模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成word格式的巡检报告文件;

excel文件生成器:根据报告模板库中设定的excel模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成excel格式的巡检报告文件。

实施例2:

如图1所示,本实施例和实施例1的区别在于该系统还包括巡检项配置模块:用于对巡检项配置库中的巡检项进行维护,巡检项配置模块包括日巡检项配置子模块:用于维护规则库中日巡检项配置参数值,包括虚拟机巡检项配置子单元、数据库巡检项配置子单元和备份巡检项配置子单元,虚拟机巡检项配置子单元用于维护规则库中虚拟机巡检项配置参数值,包括虚拟机名称、型号、操作系统、内部ip、公网ip、开关机状态、cpu利用率红灯阈值、内存利用率红灯阈值、磁盘剩余空间红灯阈值、巡检状态;数据库巡检项配置子单元用于维护规则库中数据库巡检项配置参数值,包括数据库名称、型号、资源fqdn名、cpu利用率红灯阈值、dtu利用率红灯阈值、存储空间使用率红灯阈值、巡检状态;备份巡检项配置子单元用于维护规则库中备份巡检项配置参数值,包括备份项名称、最新还原点、最近一次备份状态、巡检状态;

月巡检项配置子模块:用于维护规则库中月巡检项配置参数值,包括资源现状巡检项配置子单元、安全现状巡检项配置子单元和闲置资源优化巡检项配置子单元,资源现状巡检项配置子单元用于维护规则库中资源现状巡检项配置参数值,包括虚拟机、存储账号、虚拟网络、vpn网络连接、网络安全组、sql数据库、mysql、webapp和redis等类型资源的属性;安全现状巡检项配置子单元用于维护规则库中安全巡检项配置参数值,包括未启用子网上的nsg、未启用虚拟机上的nsg、限制面向internet的终结点、未加密的存储账号、未启用waf的webapp、不满足高可用性的虚拟机;闲置资源优化巡检项配置子单元用于检测可优化的闲置资源清单,包括超过1个月未开机的虚拟机、闲置的磁盘、闲置的公网ip。

实施例3:

如图1所示,本实施例和实施例2的区别在于该系统还包括报告模板配置模块:用于对报告模板库中的模板进行维护,而且该系统的流程是一个后台定时任务,会定时发起日巡检和月巡检任务,其中日巡检任务具体步骤如下:

步骤1,后台定时引擎检查是否需要启动新的巡检任务实例,具体方法为:

步骤1-1,检查当天的日巡检任务实例是否已执行,如果已执行,则回到步骤1等待下一日的日巡检任务的执行;如果未执行,则执行步骤1-2;

步骤1-2,启动新的日巡检任务实例,执行步骤2;

步骤2,从巡检项配置库中获取日巡检项配置参数,包括虚拟机巡检项配置参数值、数据库巡检项配置参数值和备份巡检项配置参数值。

步骤3,根据步骤2获取的日巡检项配置参数值调用多云接口适配器获取各公有云厂商的云资源巡检结果数据,具体方法为:

步骤3-1,调用多云适配器,获取虚拟机巡检结果数据;

步骤3-2,调用多云适配器,获取sql数据库巡检结果数据;

步骤3-3,调用多云适配器,获取备份巡检结果数据;

步骤4,对巡检返回数据进行分析,根据日巡检项配置参数对虚拟机和sql数据库特定指标数据进行判断,确定巡检状态;

步骤4-1,对返回的每台虚拟机最近24小时的cpu利用率指标数据进行分析,如果虚拟机的cpu利用率持续半个小时超过cpu利用率红灯阈值,则该台虚拟机cpu利用率巡检结果设置为红灯;否则,cpu利用率巡检结果设置为绿灯;

步骤4-2,对返回的每台虚拟机最近24小时的内存利用率指标数据进行分析,如果虚拟机的内存利用率持续半个小时超过内存利用率红灯阈值,则该台虚拟机内存利用率巡检结果设置为红灯;否则,内存利用率巡检结果设置为绿灯;

步骤4-3,对返回的每台虚拟机最近的磁盘剩余空间指标数据进行分析,如果虚拟机的磁盘剩余空间小于磁盘剩余空间红灯阈值,则该台虚拟机磁盘剩余空间巡检结果设置为红灯;否则,磁盘剩余空间巡检结果设置为绿灯;

步骤4-4,如果cpu利用率巡检结果、内存利用率巡检结果、磁盘剩余空间巡检结果中有一个是红灯,则该台虚拟机的巡检状态为红灯;否则,巡检状态为绿灯。

步骤4-5,对返回的每个sql数据库实例最近24小时的cpu利用率指标数据进行分析,如果cpu利用率持续半个小时超过cpu利用率红灯阈值,则该sql数据库实例cpu利用率巡检结果设置为红灯;否则,cpu利用率巡检结果设置为绿灯;

步骤4-6,对返回的每个sql数据库实例最近24小时的dtu利用率指标数据进行分析,如果dtu利用率持续半个小时超过dtu利用率红灯阈值,则该sql数据库实例dtu利用率巡检结果设置为红灯;否则,dtu利用率巡检结果设置为绿灯;

步骤4-7,对返回的每个sql数据库实例最近的存储空间使用率指标数据进行分析,如果存储空间使用率超过储存空间使用率红灯阈值,则该sql数据库实例存储空间使用率巡检结果设置为红灯;否则,存储空间使用率巡检结果设置为绿灯;

步骤4-8,如果cpu利用率巡检结果、dtu利用率巡检结果、存储空间使用率巡检结果中有一个是红灯,则该sql数据库实例的巡检状态为红灯;否则,巡检状态为绿灯。

步骤5,根据报告模板库中设定的日巡检报告excel模板格式,把步骤3和步骤4获取的巡检结果数据填充后生成excel格式的日巡检报告文件。

步骤6,调用邮件发送模块,把日巡检报告文件以email附件的形式发送给对应的接收人。

月巡检任务具体步骤和上述日巡检任务类似,不再详细叙述。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。


技术特征:

1.一种面向msp客户的公有云资源自动化巡检系统,其特征在于该系统包括:

多云接口适配器:负责适配各个公有云厂商的接口,把云资源巡检引擎命令转换为对应的公有云厂商api接口;

云资源巡检引擎:根据巡检项配置库中的巡检项规则调用多云接口适配器转换后的接口对各个公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器;

巡检报告生成器:接收到云资源巡检引擎传递过来的巡检结果数据后,根据报告模板库中配置的模板生成相应的巡检报告文件;

邮件发送模块:负责把巡检报告文件以email附件的形式发送给对应的接收人;

巡检项配置库:用于保存各个公有云租户需要巡检的内容清单及详细规则;

报告模板库:用于保存巡检报告的定义模板,每个模板定义了巡检报告文件格式、输出内容项、布局和数据格式。

2.根据权利要求1所述的一种面向msp客户的公有云资源自动化巡检系统,其特征在于:所述该系统还包括巡检项配置模块:用于对巡检项配置库中的巡检项进行维护。

3.根据权利要求2所述的一种面向msp客户的公有云资源自动化巡检系统,其特征在于:所述该系统还包括报告模板配置模块:用于对报告模板库中的模板进行维护。

4.根据权利要求1所述的一种面向msp客户的公有云资源自动化巡检系统,其特征在于:所述多云接口适配器包括:

阿里云接口适配器:用于对阿里云的接口进行适配,根据云资源巡检引擎传递的命令转换为阿里云对应的接口命令;

华为云接口适配器:用于对华为云的接口进行适配,根据云资源巡检引擎传递的命令转换为华为云对应的接口命令;

azure接口适配器:用于对azure的接口进行适配,根据云资源巡检引擎传递的命令转换为azure对应的接口命令;

aws接口适配器:用于对aws的接口进行适配,根据云资源巡检引擎传递的命令转换为aws对应的接口命令。

5.根据权利要求4所述的一种面向msp客户的公有云资源自动化巡检系统,其特征在于:所述云资源巡检引擎包括:

日巡检子单元:用于执行每日巡检任务,根据巡检项配置库中的日巡检检查项清单调用多云接口适配器转换后的接口对各公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器;

月巡检子单元:用于执行每月巡检任务,根据巡检项配置库中的月巡检检查项清单调用多云接口适配器转换后的接口对各公有云厂商的云资源进行巡检,把巡检产生的结果数据传递给巡检报告生成器。

6.根据权利要求1所述的一种面向msp客户的公有云资源自动化巡检系统,其特征在于:所述巡检报告生成器包括:

pdf文件生成器:根据报告模板库中设定的pdf模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成pdf格式的巡检报告文件;

word文件生成器:根据报告模板库中设定的word模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成word格式的巡检报告文件;

excel文件生成器:根据报告模板库中设定的excel模板格式,把从云资源巡检引擎传递过来的巡检结果数据填充后生成excel格式的巡检报告文件。

7.根据权利要求6所述的一种面向msp客户的公有云资源自动化巡检系统,其特征在于:所述该系统的流程是一个后台定时任务。

8.根据权利要求2所述的一种面向msp客户的公有云资源自动化巡检系统,其特征在于:所述巡检项配置模块包括:

日巡检项配置子模块:用于维护规则库中日巡检项配置参数值,包括虚拟机巡检项配置子单元、数据库巡检项配置子单元和备份巡检项配置子单元;

月巡检项配置子模块:用于维护规则库中月巡检项配置参数值,包括资源现状巡检项配置子单元、安全现状巡检项配置子单元和闲置资源优化巡检项配置子单元。

技术总结
本发明公开了一种面向MSP客户的公有云资源自动化巡检系统,该系统包括:多云接口适配器、云资源巡检引擎、巡检报告生成器、邮件发送模块、巡检项配置库和报告模板库。本发明,构建了一个自动化任务引擎,可以根据预先配置好的巡检规则,对客户在各个公有云上的资源进行自动化的巡检,然后根据预先定义好的巡检报告输出模板,自动把巡检结果内容填充到巡检报告输出模板中,生成巡检报告,通过邮件自动发送给客户和MSP运维人员。这样大大减少了运维人员手动巡检的工作量,降低对运维人员的技术能力的依赖度,提高了巡检的效率以及标准化程度。

技术研发人员:朱晓潮;周广朋;刘志强;王珏;王嘉靖;曾佑轩
受保护的技术使用者:上海南洋万邦软件技术有限公司
技术研发日:2020.01.11
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-20516.html

最新回复(0)