存储系统元数据集群测试方法、系统、终端及存储介质与流程

专利2022-06-30  63


本发明涉及存储系统测试技术领域,具体涉及一种存储系统元数据集群测试方法、系统、终端及存储介质。



背景技术:

海量存储管理系统一种分布式存储系统可满足云计算,大数据,基于软件定义和硬件重构理念,为文件存储、对象存储、块存储提供了统一的软件定义解决方案。

元数据集群作为海量存储中一项重要的特性技术,在数据备份,高性能,大数据分析等多个客户交付场景中都发挥着重要作用。而元数据集群由于其功能易用,测试命令可控,同时也需要不同节点数量来测试不同场景。

由于元数据集群测试有多种,因此人工测试耗费人力资源和时间。



技术实现要素:

针对现有技术的上述不足,本发明提供一种存储系统元数据集群测试方法、系统、终端及存储介质,以解决上述技术问题。

第一方面,本发明提供一种存储系统元数据集群测试方法,包括:

创建测试节点存储资源池;

监控所述资源池的节点状态并筛选出空闲节点;

调度所述空闲节点组建测试集群;

在所述测试集群执行预存的元数据集群测试脚本;

实时收集所述测试脚本执行过程中生成的测试日志。

进一步的,所述方法还包括:

将测试节点设置ssh无密码访问。

进一步的,所述方法还包括:

创建测试脚本库;

在所述测试脚本库存储常用测试脚本,所述常用测试脚本包括功能开关脚本、元数据集群状态查询脚本、集群个数设置脚本、集群策略设置脚本、更改目标所属元数据服务测试脚本中的至少一个。

进一步的,所述方法还包括:

随机从测试脚本库中调取测试脚本在所述测试集群执行;

将执行完成的测试脚本标记已执行;

判断所述测试脚本库内是否存在未标记已执行的测试脚本:

若是,则随机调取未标记已执行的测试脚本;

若否,则输出测试脚本全部执行的提示。

进一步的,所述方法还包括:

采集每个预存测试脚本所需节点数量;

从测试集群中为每个测试脚本分配相应所需数量的节点;

在测试脚本各自的分配节点上执行所述测试脚本。

进一步的,在所述收集测试脚本执行过程中生成的测试日志之后,所述方法还包括:

对测试集群内的节点做格式化处理;

解散所述测试集群。

第二方面,本发明提供一种存储系统元数据集群测试系统,包括:

基础创建单元,配置用于创建测试节点存储资源池;

空闲筛选单元,配置用于监控所述资源池的节点状态并筛选出空闲节点;

集群创建单元,配置用于调度所述空闲节点组建测试集群;

脚本执行单元,配置用于在所述测试集群执行预存的元数据集群测试脚本;

日志收集单元,配置用于实时收集所述测试脚本执行过程中生成的测试日志。

进一步的,所述系统还包括:

脚本库设置单元,配置用于创建测试脚本库;

脚本存储单元,配置用于在所述测试脚本库存储常用测试脚本,所述常用测试脚本包括功能开关脚本、元数据集群状态查询脚本、集群个数设置脚本、集群策略设置脚本、更改目标所属元数据服务测试脚本中的至少一个。

第三方面,提供一种终端,包括:

处理器、存储器,其中,

该存储器用于存储计算机程序,

该处理器用于从存储器中调用并运行该计算机程序,使得终端执行上述的终端的方法。

第四方面,提供了一种计算机存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。

本发明的有益效果在于,

本发明提供的存储系统元数据集群测试方法、系统、终端及存储介质,访问对测试端节点进行控制访问,根据服务端管理节点发布的调度任务部署搭建集群,执行自动化任务,并反馈自动化测试结果。同时根据测试端节点个数可同时进行多个自动化调度任务并发执行。为便于多任务队列调度,可在每个测试任务结束后初始化测试端节点集群信息,方便后续任务队列执行。本发明能够自动执行对存储系统的元数据集群测试,提高了测试效率,节省了测试时间,且在测试时不影响存储系统其它业务的正常运行。

此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的方法的示意性流程图。

图3是本发明一个实施例的系统的示意性框图。

图4为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

图1是本发明一个实施例的方法的示意性流程图。其中,图1执行主体可以为一种存储系统元数据集群测试系统。

如图1所示,该方法100包括:

步骤110,创建测试节点存储资源池;

步骤120,监控所述资源池的节点状态并筛选出空闲节点;

步骤130,调度所述空闲节点组建测试集群;

步骤140,在所述测试集群执行预存的元数据集群测试脚本;

步骤150,实时收集所述测试脚本执行过程中生成的测试日志。

为了便于对本发明的理解,下面以本发明存储系统元数据集群测试方法的原理,结合实施例中对存储系统元数据集群进行测试的过程,对本发明提供的存储系统元数据集群测试方法做进一步的描述。

请参考图2,具体的,所述存储系统元数据集群测试方法包括:

s1、创建测试节点存储资源池。

根据服务端管理节点和存储节点组建自动化测试平台,服务端管理节点执行本实施例提供的方法,存储节点作为测试节点。

创建测试节点存储资源池,设置每个测试节点ssh无密码访问。存储节点和管理节点无密码ssh访问。

s2、监控所述资源池的节点状态并筛选出空闲节点。调度所述空闲节点组建测试集群。

实时监控资源池的节点状态,筛选出资源池的空闲节点。初始筛选出的空闲节点组建测试集群,在测试过程中,每次监控到资源池有新的空闲节点就将该空闲节点添加至测试集群。

s3、在所述测试集群执行预存的元数据集群测试脚本。

预先存储测试脚本,本实施例中创建测试脚本库,库中存储常用测试脚本。常用测试脚本包括功能开关脚本、元数据集群状态查询脚本、集群个数设置脚本、集群策略设置脚本、更改目标所属元数据服务测试脚本中的至少一个。这些常用测试脚本是现有技术,测试脚本具体内容代码不属于本发明的保护范围,因此不再赘述。

本实施例中随机从测试脚本库中随机调取一个未标记已执行的测试脚本,在测试集群中执行该测试脚本,执行完成后将该测试脚本标记为已执行,然后重新调取未标记的测试脚本,直至测试脚本库中不存在未标记测试脚本。

在本发明的其他实施方式中,鉴于每个测试脚本所需的节点数量不同,因此采集每个测试脚本所需的节点数量,将测试集群中相应数量的脚本分配给相应测试脚本。测试脚本在各自的分配节点上执行,这样可以同时执行多个测试脚本。节省了测试时间。

s4、实时收集所述测试脚本执行过程中生成的测试日志。

采集每个测试脚本执行过程中生成的测试日志,存储至指定目录下。测试完成后将测试集群中的节点格式化,并解散测试集群,释放存储资源。

如图3所示,该系统300包括:

基础创建单元310,配置用于创建测试节点存储资源池;

空闲筛选单元320,配置用于监控所述资源池的节点状态并筛选出空闲节点;

集群创建单元330,配置用于调度所述空闲节点组建测试集群;

脚本执行单元340,配置用于在所述测试集群执行预存的元数据集群测试脚本;

日志收集单元350,配置用于实时收集所述测试脚本执行过程中生成的测试日志。

可选地,作为本发明一个实施例,所述系统还包括:

脚本库设置单元,配置用于创建测试脚本库;

脚本存储单元,配置用于在所述测试脚本库存储常用测试脚本,所述常用测试脚本包括功能开关脚本、元数据集群状态查询脚本、集群个数设置脚本、集群策略设置脚本、更改目标所属元数据服务测试脚本中的至少一个。

可选地,作为本发明一个实施例,所述系统还包括:

访问设置单元,配置用于将测试节点设置ssh无密码访问。

可选地,作为本发明一个实施例,所述系统还包括:

随机调取单元,配置用于随机从测试脚本库中调取测试脚本在所述测试集群执行;

执行标记单元,配置用于将执行完成的测试脚本标记已执行;

标记判断单元,配置用于判断所述测试脚本库内是否存在未标记已执行的测试脚本;

脚本调取单元,配置用于若所述测试脚本库内存在未标记已执行的测试脚本,则随机调取未标记已执行的测试脚本;

提示输出单元,配置用于若所述测试脚本库内不存在未标记已执行的测试脚本,则输出测试脚本全部执行的提示。

可选地,作为本发明一个实施例,所述系统还包括:

数量采集单元,配置用于采集每个预存测试脚本所需节点数量;

节点分配单元,配置用于从测试集群中为每个测试脚本分配相应所需数量的节点;

测试执行单元,配置用于在测试脚本各自的分配节点上执行所述测试脚本。

可选地,作为本发明一个实施例,所述系统还包括:

清空处理单元,配置用于对测试集群内的节点做格式化处理;

集群解散单元,配置用于解散所述测试集群。

图4为本发明实施例提供的一种终端系统400的结构示意图,该终端系统400可以用于执行本发明实施例提供的存储系统元数据集群测试方法。

其中,该终端系统400可以包括:处理器410、存储器420及通信单元430。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

其中,该存储器420可以用于存储处理器410的执行指令,存储器420可以由任何类型的易失性或非易失性存储终端或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。当存储器420中的执行指令由处理器410执行时,使得终端400能够执行以下上述方法实施例中的部分或全部步骤。

处理器410为存储终端的控制中心,利用各种接口和线路连接整个电子终端的各个部分,通过运行或执行存储在存储器420内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(integratedcircuit,简称ic)组成,例如可以由单颗封装的ic所组成,也可以由连接多颗相同功能或不同功能的封装ic而组成。举例来说,处理器410可以仅包括中央处理器(centralprocessingunit,简称cpu)。在本发明实施方式中,cpu可以是单运算核心,也可以包括多运算核心。

通信单元430,用于建立通信信道,从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-onlymemory,简称:rom)或随机存储记忆体(英文:randomaccessmemory,简称:ram)等。

因此,本发明访问对测试端节点进行控制访问,根据服务端管理节点发布的调度任务部署搭建集群,执行自动化任务,并反馈自动化测试结果。同时根据测试端节点个数可同时进行多个自动化调度任务并发执行。为便于多任务队列调度,可在每个测试任务结束后初始化测试端节点集群信息,方便后续任务队列执行。本发明能够自动执行对存储系统的元数据集群测试,提高了测试效率,节省了测试时间,且在测试时不影响存储系统其它业务的正常运行,本实施例所能达到的技术效果可以参见上文中的描述,此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中如u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。


技术特征:

1.一种存储系统元数据集群测试方法,其特征在于,包括:

创建测试节点存储资源池;

监控所述资源池的节点状态并筛选出空闲节点;

调度所述空闲节点组建测试集群;

在所述测试集群执行预存的元数据集群测试脚本;

实时收集所述测试脚本执行过程中生成的测试日志。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

将测试节点设置ssh无密码访问。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

创建测试脚本库;

在所述测试脚本库存储常用测试脚本,所述常用测试脚本包括功能开关脚本、元数据集群状态查询脚本、集群个数设置脚本、集群策略设置脚本、更改目标所属元数据服务测试脚本中的至少一个。

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

随机从测试脚本库中调取测试脚本在所述测试集群执行;

将执行完成的测试脚本标记已执行;

判断所述测试脚本库内是否存在未标记已执行的测试脚本:

若是,则随机调取未标记已执行的测试脚本;

若否,则输出测试脚本全部执行的提示。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

采集每个预存测试脚本所需节点数量;

从测试集群中为每个测试脚本分配相应所需数量的节点;

在测试脚本各自的分配节点上执行所述测试脚本。

6.根据权利要求1所述的方法,其特征在于,在所述收集测试脚本执行过程中生成的测试日志之后,所述方法还包括:

对测试集群内的节点做格式化处理;

解散所述测试集群。

7.一种存储系统元数据集群测试系统,其特征在于,包括:

基础创建单元,配置用于创建测试节点存储资源池;

空闲筛选单元,配置用于监控所述资源池的节点状态并筛选出空闲节点;

集群创建单元,配置用于调度所述空闲节点组建测试集群;

脚本执行单元,配置用于在所述测试集群执行预存的元数据集群测试脚本;

日志收集单元,配置用于实时收集所述测试脚本执行过程中生成的测试日志。

8.根据权利要求7所述的系统,其特征在于,所述系统还包括:

脚本库设置单元,配置用于创建测试脚本库;

脚本存储单元,配置用于在所述测试脚本库存储常用测试脚本,所述常用测试脚本包括功能开关脚本、元数据集群状态查询脚本、集群个数设置脚本、集群策略设置脚本、更改目标所属元数据服务测试脚本中的至少一个。

9.一种终端,其特征在于,包括:

处理器;

用于存储处理器的执行指令的存储器;

其中,所述处理器被配置为执行权利要求1-6任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

技术总结
本发明提供一种存储系统元数据集群测试方法、系统、终端及存储介质,包括:创建测试节点存储资源池;监控所述资源池的节点状态并筛选出空闲节点;调度所述空闲节点组建测试集群;在所述测试集群执行预存的元数据集群测试脚本;实时收集所述测试脚本执行过程中生成的测试日志。本发明能够自动执行对存储系统的元数据集群测试,提高了测试效率,节省了测试时间,且在测试时不影响存储系统其它业务的正常运行。

技术研发人员:张小博;赵万里
受保护的技术使用者:苏州浪潮智能科技有限公司
技术研发日:2020.01.02
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-59195.html

最新回复(0)