一种大数据运维监控的多平台适配方法与流程

专利2022-06-29  66


本发明涉及大数据运维监控领域,特别涉及一种大数据运维监控的多平台适配方法。



背景技术:

ambari跟hadoop等开源软件一样,也是apachesoftwarefoundation中的一个项目,并且是顶级项目。就ambari的作用来说,就是创建、管理、监视hadoop的集群,这里的hadoop是广义,指的是hadoop整个生态圈(例如hive,hbase,sqoop,zookeeper等),而并不仅是特指hadoop。用一句话来说,ambari就是为了让hadoop以及相关的大数据软件更容易使用的一个工具。ambari作为大数据运维监控的顶级开源项目,在大数据平台搭建和运维中得到广泛应用。然而官方的ambari默认只支持x86的cpu架构,以及centos和ubuntu操作系统,在国产操作系统上无法运行。

随着计算机行业国产化发展成为新的发展趋势,基于国产芯片、操作系统的各类软件也需实现国产化兼容。大数据则是目前计算机行业广泛应用的新技术。大数据运维监控作为来源于国外的大数据技术,其大多功能组件均不能直接运行于国产芯片和操作系统平台。大数据运维监控作为大数据应用中的重要功能,同样需要进行国产化兼容。



技术实现要素:

本发明的目的在于:提供了一种大数据运维监控的多平台适配方法,解决了大数据运维监控作为来源于国外的大数据技术,其大多功能组件均不能直接运行于国产芯片和操作系统平台,大数据运维监控作为大数据应用中的重要功能,同样需要进行国产化兼容的问题。

本发明采用的技术方案如下:

一种大数据运维监控的多平台适配方法,基于开源大数据运维监控平台,包括以下步骤:

s1、获取开源大数据运维监控平台的源代码;

s2、对步骤s1获取的源代码进行解析,获取源代码中操作系统及版本定义文件;

s3、对步骤s2获取的源代码中操作系统及版本定义文件进行解析,判断目标主机的操作系统是否在源代码的支持范围内,若目标主机的操作系统在源代码的支持范围内则转入步骤s5,否则转入步骤s4;

s4、将目标主机的操作系统加入源代码中操作系统及版本定义文件,然后转入步骤s5;

s5、使用修改后的源代码进行主机注册,判断是否注册成功,若注册成功,则完成运维监控的多平台适配,若注册未成功,则转入步骤s6;

s6、修改源代码中的主机注册信息,将主机对应的操作系统信息加入主机注册信息中,完成后转入步骤s5。

进一步的,还包括大数据运维监控平台的组件的安装方法,所述安装方法包括以下步骤:

s01、读取大数据运维监控平台的组件安装脚本,解析组件安装脚本,判断目标主机的操作系统是否属于组件安装脚本默认的操作系统范围,若目标主机的操作系统属于组件安装脚本默认的操作系统范围,则转入步骤s03,否则转入步骤s02;

s02、将目标主机的操作系统加入组件安装脚本默认的操作系统,然后转入步骤s03;

s03、读取大数据运维监控平台的软件仓库,解析软件仓库,判断目标主机的操作系统是否属于组件仓库默认的操作系统范围,若目标主机的操作系统属于组件仓库默认的操作系统范围,则完成大数据运维监控平台的组件的安装,否则将组件仓库默认的操作系统修改为目标主机的操作系统。

进一步的,所述开源大数据运维监控平台采用ambari项目实现。ambari跟hadoop等开源软件一样,也是apachesoftwarefoundation中的一个项目,并且是顶级项目。就ambari的作用来说,就是创建、管理、监视hadoop的集群,这里的hadoop是广义,指的是hadoop整个生态圈,而并不仅是特指hadoop。用一句话来说,ambari就是为了让hadoop以及相关的大数据软件更容易使用的一个工具。

进一步的,所述目标主机采用kylin操作系统。银河麒麟kylin是由国防科技大学研制的开源服务器操作系统。此操作系统是863计划重大攻关科研项目,目标是打破国外操作系统的垄断,研发一套中国自主知识产权的服务器操作系统。它有以下几个特点:高安全、高可靠、高可用、跨平台、中文化。

进一步的,步骤s3中判断目标主机的操作系统是否在源代码的支持范围内的方法包括以下步骤:

s301、对源代码进行解析,检索源代码中操作系统及版本定义文件,确定文件的路径;

s302、读取操作系统及版本定义文件,判断目标主机的操作系统是否记载在操作系统及版本定义文件中,若记载在操作系统及版本定义文件中,转入步骤s303,否则主机的操作系统不在源代码的支持范围内;

s303、使用源代码对目标主机的操作系统进行操作系统校验,若校验通过,则主机的操作系统在源代码的支持范围内;否则主机的操作系统不在源代码的支持范围内。

进一步的,步骤s4将目标主机的操作系统加入源代码中操作系统及版本定义文件的方法包括以下步骤:

s401、读取目标主机的操作系统及版本,在源代码的操作系统文件里定义目标主机的操作系统及版本;

s402、读取源代码的操作系统校验文件的默认参数,将默认参数修改为目标主机的操作系统及版本。

进一步的,步骤s4将目标主机的操作系统加入源代码中操作系统及版本定义文件后还包括在源代码中对目标主机的操作系统资源目录进行定义。

综上所述,由于采用了上述技术方案,本发明的有益效果是:

1.本发明一种大数据运维监控的多平台适配方法,解决了大数据运维监控作为来源于国外的大数据技术,其大多功能组件均不能直接运行于国产芯片和操作系统平台,大数据运维监控作为大数据应用中的重要功能,同样需要进行国产化兼容的问题;

2.本发明一种大数据运维监控的多平台适配方法,能够适应多种国产操作系统,适配性好,且不需要进行太多的重复开发工作,节约大数据运维监控工具国产化适配的成本,弥补了大数据运维工具的国产化兼容问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,其中:

图1是本发明的适配流程示意图;

图2是ambari适配修改对照表。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面将结合图1、图2对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。

实施例1

一种大数据运维监控的多平台适配方法,基于开源大数据运维监控平台,包括以下步骤:

s1、获取开源大数据运维监控平台的源代码;

s2、对步骤s1获取的源代码进行解析,获取源代码中操作系统及版本定义文件;

s3、对步骤s2获取的源代码中操作系统及版本定义文件进行解析,判断目标主机的操作系统是否在源代码的支持范围内,若目标主机的操作系统在源代码的支持范围内则转入步骤s5,否则转入步骤s4;

s4、将目标主机的操作系统加入源代码中操作系统及版本定义文件,然后转入步骤s5;

s5、使用修改后的源代码进行主机注册,判断是否注册成功,若注册成功,则完成运维监控的多平台适配,若注册未成功,则转入步骤s6;

s6、修改源代码中的主机注册信息,将主机对应的操作系统信息加入主机注册信息中,完成后转入步骤s5。

实施例2

本实施例在实施例1的基础上进一步的,还包括大数据运维监控平台的组件的安装方法,所述安装方法包括以下步骤:

s01、读取大数据运维监控平台的组件安装脚本,解析组件安装脚本,判断目标主机的操作系统是否属于组件安装脚本默认的操作系统范围,若目标主机的操作系统属于组件安装脚本默认的操作系统范围,则转入步骤s03,否则转入步骤s02;

s02、将目标主机的操作系统加入组件安装脚本默认的操作系统,然后转入步骤s03;

s03、读取大数据运维监控平台的软件仓库,解析软件仓库,判断目标主机的操作系统是否属于组件仓库默认的操作系统范围,若目标主机的操作系统属于组件仓库默认的操作系统范围,则完成大数据运维监控平台的组件的安装,否则将组件仓库默认的操作系统修改为目标主机的操作系统。

实施例3

本实施例在实施例1的基础上进一步的,所述开源大数据运维监控平台采用ambari项目实现。ambari跟hadoop等开源软件一样,也是apachesoftwarefoundation中的一个项目,并且是顶级项目。就ambari的作用来说,就是创建、管理、监视hadoop的集群,这里的hadoop是广义,指的是hadoop整个生态圈,而并不仅是特指hadoop。用一句话来说,ambari就是为了让hadoop以及相关的大数据软件更容易使用的一个工具。

进一步的,所述目标主机采用kylin操作系统。银河麒麟kylin是由国防科技大学研制的开源服务器操作系统。此操作系统是863计划重大攻关科研项目,目标是打破国外操作系统的垄断,研发一套中国自主知识产权的服务器操作系统。它有以下几个特点:高安全、高可靠、高可用、跨平台、中文化。

实施例4

本实施例在实施例1的基础上进一步的,步骤s3中判断目标主机的操作系统是否在源代码的支持范围内的方法包括以下步骤:

s301、对源代码进行解析,检索源代码中操作系统及版本定义文件,确定文件的路径;

s302、读取操作系统及版本定义文件,判断目标主机的操作系统是否记载在操作系统及版本定义文件中,若记载在操作系统及版本定义文件中,转入步骤s303,否则主机的操作系统不在源代码的支持范围内;

s303、使用源代码对目标主机的操作系统进行操作系统校验,若校验通过,则主机的操作系统在源代码的支持范围内;否则主机的操作系统不在源代码的支持范围内。

进一步的,步骤s4将目标主机的操作系统加入源代码中操作系统及版本定义文件的方法包括以下步骤:

s401、读取目标主机的操作系统及版本,在源代码的操作系统文件里定义目标主机的操作系统及版本;

s402、读取源代码的操作系统校验文件的默认参数,将默认参数修改为目标主机的操作系统及版本。

进一步的,步骤s4将目标主机的操作系统加入源代码中操作系统及版本定义文件后还包括在源代码中对目标主机的操作系统资源目录进行定义。

实施例5

本实施例为将ambari安装到采用国产cpu飞腾和国产操作系统银河麒麟作为服务器上的实例由于该服务器属于国产平台,原生的ambari无法直接安装或通过编译源码实现安装运行,必须采用上述方法才能解决;

如图2所示,根据本方案对ambari进行适配修改,适配的步骤包括:

一、操作系统校验

1、操作系统及版本定义:由于ambari默认只支持centos和ubuntu操作系统,kylin不在支持范围内,所以需要在操作系统文件里定义kylin及其版本,即图2中序号1的修改;

2、操作系统校验:操作系统校验需要比较名称和版本是否正确。默认的参数和当前操作系统无法进行匹配,需要修改参数为kylin4,即图2中序号2的修改;

3、定义kylin系统资源目录:ambari初始化需要一个合法的资源目录,需要进行对应操作系统的定义,即图2中序号3、4的修改。

二、主机注册

主机注册:主机注册用于完成ambari集群的初始化。初始化过程中,ambari-server服务通过安全协议与每台主机的ambari-agent服务建立连接并接收agent推送的主机相关信息。默认的agent推送的机器信息无法进行注册,会抛出操作系统不匹配错误。需修改返回的操作系统信息,即图2中序号5的修改。

三、组件安装

hadoop组件安装,以zookeeper为例:由于ambari安装组件时的安装脚本和软件仓库默认指定了操作系统范围,需增加操作系统类型,否则无法安装即图2中序号6、7的修改。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。


技术特征:

1.一种大数据运维监控的多平台适配方法,基于开源大数据运维监控平台,其特征在于:包括以下步骤:

s1、获取开源大数据运维监控平台的源代码;

s2、对步骤s1获取的源代码进行解析,获取源代码中操作系统及版本定义文件;

s3、对步骤s2获取的源代码中操作系统及版本定义文件进行解析,判断目标主机的操作系统是否在源代码的支持范围内,若目标主机的操作系统在源代码的支持范围内则转入步骤s5,否则转入步骤s4;

s4、将目标主机的操作系统加入源代码中操作系统及版本定义文件,然后转入步骤s5;

s5、使用修改后的源代码进行主机注册,判断是否注册成功,若注册成功,则完成运维监控的多平台适配,若注册未成功,则转入步骤s6;

s6、修改源代码中的主机注册信息,将主机对应的操作系统信息加入主机注册信息中,完成后转入步骤s5。

2.根据权利要求1所述的一种大数据运维监控的多平台适配方法,其特征在于:还包括大数据运维监控平台的组件的安装方法,所述安装方法包括以下步骤:

s01、读取大数据运维监控平台的组件安装脚本,解析组件安装脚本,判断目标主机的操作系统是否属于组件安装脚本默认的操作系统范围,若目标主机的操作系统属于组件安装脚本默认的操作系统范围,则转入步骤s03,否则转入步骤s02;

s02、将目标主机的操作系统加入组件安装脚本默认的操作系统,然后转入步骤s03;

s03、读取大数据运维监控平台的软件仓库,解析软件仓库,判断目标主机的操作系统是否属于组件仓库默认的操作系统范围,若目标主机的操作系统属于组件仓库默认的操作系统范围,则完成大数据运维监控平台的组件的安装,否则将组件仓库默认的操作系统修改为目标主机的操作系统。

3.根据权利要求1所述的一种大数据运维监控的多平台适配方法,其特征在于:所述开源大数据运维监控平台采用ambari项目实现。

4.根据权利要求1所述的一种大数据运维监控的多平台适配方法,其特征在于:所述目标主机采用kylin操作系统。

5.根据权利要求1所述的一种大数据运维监控的多平台适配方法,其特征在于:步骤s3中判断目标主机的操作系统是否在源代码的支持范围内的方法包括以下步骤:

s301、对源代码进行解析,检索源代码中操作系统及版本定义文件,确定文件的路径;

s302、读取操作系统及版本定义文件,判断目标主机的操作系统是否记载在操作系统及版本定义文件中,若记载在操作系统及版本定义文件中,转入步骤s303,否则主机的操作系统不在源代码的支持范围内;

s303、使用源代码对目标主机的操作系统进行操作系统校验,若校验通过,则主机的操作系统在源代码的支持范围内;否则主机的操作系统不在源代码的支持范围内。

6.根据权利要求5所述的一种大数据运维监控的多平台适配方法,其特征在于:步骤s4将目标主机的操作系统加入源代码中操作系统及版本定义文件的方法包括以下步骤:

s401、读取目标主机的操作系统及版本,在源代码的操作系统文件里定义目标主机的操作系统及版本;

s402、读取源代码的操作系统校验文件的默认参数,将默认参数修改为目标主机的操作系统及版本。

7.根据权利要求1所述的一种大数据运维监控的多平台适配方法,其特征在于:步骤s4将目标主机的操作系统加入源代码中操作系统及版本定义文件后还包括在源代码中对目标主机的操作系统资源目录进行定义。

技术总结
本发明公开了一种大数据运维监控的多平台适配方法,对大数据运维监控工具依次进行操作系统校验、主机注册和组件安装的操作,通过对大数据运维监控工具的源代码进行适配的判断和修改,使不能安装在国产操作系统上的大数据运维监控工具能够与国产操作系统进行适配,解决了大数据运维监控作为来源于国外的大数据技术,其大多功能组件均不能直接运行于国产芯片和操作系统平台,大数据运维监控作为大数据应用中的重要功能,同样需要进行国产化兼容的问题。

技术研发人员:查文宇;张艳清;李东青;杨尧;张永飞;殷腾蛟
受保护的技术使用者:成都四方伟业软件股份有限公司
技术研发日:2020.05.06
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-29454.html

最新回复(0)