基于超融合架构的资源调节方法、物联网服务器及介质与流程

专利2022-06-30  63


本发明涉及数据处理技术领域,尤其涉及一种基于超融合架构的资源调节方法、物联网服务器及介质。



背景技术:

为了实现系统的平衡,当系统压力比较大时需要增加物联网服务器的存储节点数量实现扩容,目前是通过物联网服务器发出异常(例如不能访问服务的接口)来提醒用户当前的系统压力比较大,再通过用户主动增加物联网服务器的存储节点的数量实现扩容,现有技术中扩容采用的方式缺乏自发性,当出现系统压力增加时造成的物联网服务器异常会影响系统正常运行。

当系统压力比较小时,如果无法及时地缩减物联网服务器的存储节点的数量,则又可能导致资源的浪费。因此如何更好地自动调节物联网服务器资源满足系统的正常运行成为了亟需解决的技术问题。



技术实现要素:

本发明的主要目的在于提供一种基于超融合架构的资源调节方法、物联网服务器及介质,旨在如何实现自动调节物联网服务器资源满足系统的正常运行的问题。

为实现上述目的,本发明提供的一种基于超融合架构的资源调节方法,应用于物联网服务器,该方法包括:

侦测步骤:实时侦测并获取该物联网服务器所属物联网服务器集群中每个物联网服务器的预设指标值及存储节点的初始数量,利用预先确定的统计算法计算得到所述物联网服务器集群中每个物联网服务器的综合评估值;

扩充步骤:对比每个所述物联网服务器的综合评估值与预设阈值之间的大小,当所述物联网服务器的综合评估值小于或等于预设阈值时,向所述物联网服务器发出资源扩充请求,根据所述资源扩充请求在存储节点的初始数量的基础上为所述物联网服务器增加第一预设数量的存储节点至小于或等于预设最大节点数量;及

缩减步骤:当所述物联网服务器的综合评估值大于预设阈值时,向所述物联网服务器发出资源缩减请求,根据所述资源缩减请求在存储节点的初始数量的基础上为所述物联网服务器删除第二预设数量的存储节点至大于或等于预设最小节点数量。

优选地,所述统计算法为:

s总=wx1sx1 wx2sx2 ... wxnsxn

sxn=int[(totalresources-useresources)*10/totalresources)]

其中,s总为单个物联网服务器的综合评分值,x表示各预设指标项,wxn为各项预设指标资源占总资源的权重值,sxn为单个物联网服务器上各预设指标资源的权重得分,totalresources为预设指标资源总量,useresources为该预设指标资源已经使用量,并对计算结果用int取整,最后获得该预设指标资源的权重得分。

优选地,该方法还包括数据存储步骤:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成第三预设数量的数据块,对每个所述数据块进行复制得到至少一个备份块,同时为每个所述数据块及对应的备份块分配唯一的第一预设标识;及

将具有相同所述第一预设标识的数据块与备份块分别存储至第一存储节点与第二存储节点。

优选地,该方法还包括数据读取步骤:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识,根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

侦测所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;

识别所述异常数据块对应的第一预设标识,根据所述第一预设标识从第二存储节点中找到具有相同第一预设标识的备份块,将所述备份块与所述异常数据块进行替换。

优选地,所述数据存储步骤还包括:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成至少一个条带,其中,每个所述条带包括n个数据块和m个校验块,n、m均为正整数,n>1,m>=2;及

将每个所述条带的数据块和校验块分别存储至不同的第三存储节点。

优选地,所述数据读取步骤还包括:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识,根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;及

根据所述异常数据块从第三存储节点中找到对应的校验块,并为所述异常数据块分配一空间,启动所述异常数据块的修复进程,采用纠删码算法进行数据修复工作。

为实现上述目的,本发明还进一步提供一种物联网服务器,所述物联网服务器包括存储器和处理器,所述存储器上存储有基于超融合架构的资源调节程序,所述基于超融合架构的资源调节程序被所述处理器执行时实现如下步骤:

侦测步骤:实时侦测并获取该物联网服务器所属物联网服务器集群中每个物联网服务器的预设指标值及存储节点的初始数量,利用预先确定的统计算法计算得到所述物联网服务器集群中每个物联网服务器的综合评估值;

扩充步骤:对比每个所述物联网服务器的综合评估值与预设阈值之间的大小,当所述物联网服务器的综合评估值小于或等于预设阈值时,向所述物联网服务器发出资源扩充请求,根据所述资源扩充请求在存储节点的初始数量的基础上为所述物联网服务器增加第一预设数量的存储节点至小于或等于预设最大节点数量;及

缩减步骤:当所述物联网服务器的综合评估值大于预设阈值时,向所述物联网服务器发出资源缩减请求,根据所述资源缩减请求在存储节点的初始数量的基础上为所述物联网服务器删除第二预设数量的存储节点至大于或等于预设最小节点数量。

优选地,所述统计算法为:

s总=wx1sx1 wx2sx2 ... wxnsxn

sxn=int[(totalresources-useresources)*10/totalresources)]

其中,s总为单个物联网服务器的综合评分值,x表示各预设指标项,wxn为各项预设指标资源占总资源的权重值,sxn为单个物联网服务器上各预设指标资源的权重得分,totalresources为预设指标资源总量,useresources为该预设指标资源已经使用量,并对计算结果用int取整,最后获得该预设指标资源的权重得分。

优选地,所述基于超融合架构的资源调节程序被所述处理器执行时还实现如下步骤:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成第三预设数量的数据块,对每个所述数据块进行复制得到至少一个备份块,同时为每个所述数据块及对应的备份块分配唯一的第一预设标识;及

将具有相同所述第一预设标识的数据块与备份块分别存储至第一存储节点与第二存储节点。

为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于超融合架构的资源调节程序,所述基于超融合架构的资源调节程序可被一个或者多个处理器执行,以实现如上所述的基于超融合架构的资源调节方法的步骤。

本发明提出的基于超融合架构的资源调节方法、物联网服务器及介质,通过实时侦测并获取物联网所属物联网服务器集群中每个物联网服务器的预设指标值及存储节点的初始数量,计算得到每个物联网服务器的综合评估值,对比每个物联网服务器的综合评估值与预设阈值之间的大小,当物联网服务器的综合评估值小于或等于预设阈值时,向物联网服务器发出资源扩充请求,为物联网服务器增加第一预设数量的存储节点;当物联网服务器的综合评估值大于预设阈值时,向物联网服务器发出资源缩减请求,为物联网服务器删除第二预设数量的存储节点。本发明既能够防止由于物联网服务器存储能力不足导致无法顺利进行数据存储,又能避免由于物联网服务器存储能力过剩,导致资源浪费。

附图说明

图1为本发明物联网服务器较佳实施例的应用环境图;

图2为图1中基于超融合架构的资源调节程序较佳实施例的程序模块示意图;

图3为本发明基于超融合架构的资源调节方法较佳实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例,参附图做进一步说明。

具体实施方式

为了使本发明的目的、技术本实施例及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术本实施例可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在,也不在本发明要求的保护范围之内。

本发明提供一种物联网服务器1。

所述物联网服务器1包括,但不仅限于,存储器11、处理器12及网络接口13。

其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是物联网服务器1的内部存储单元,例如该物联网服务器1的硬盘。存储器11在另一些实施例中也可以是物联网服务器1的外部存储设备,例如该物联网服务器1上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。

进一步地,存储器11还可以既包括物联网服务器1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于物联网服务器1的应用软件及各类数据,例如基于超融合架构的资源调节程序10的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行基于超融合架构的资源调节程序10等。

网络接口13可选的可以包括标准的有线接口、无线接口(如wi-fi接口),通常用于在该物联网服务器1与其他电子设备之间建立通信连接。

客户端可以是桌上型计算机、笔记本、平板电脑、手机等。

网络可以为互联网、云网络、无线保真(wi-fi)网络、个人网(pan)、局域网(lan)和/或城域网(man)。网络环境中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络。这样的有线和无线通信协议的例子可以包括但不限于以下中的至少一个:传输控制协议和互联网协议(tcp/ip)、用户数据报协议(udp)、超文本传输协议(http)、文件传输协议(ftp)、zigbee、edge、ieee802.11、光保真(li-fi)、802.16、ieee802.11s、ieee802.11g、多跳通信、无线接入点(ap)、设备对设备通信、蜂窝通信协议和/或蓝牙(bluetooth)通信协议或其组合。

可选地,该物联网服务器1还可以包括用户接口,用户接口可以包括显示器(display)、输入单元比如键盘(keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode,有机发光二极管)触摸器等。其中,显示器也可以称为显示屏或显示单元,用于显示在物联网服务器1中处理的信息以及用于显示可视化的用户界面。

图1仅示出了具有组件11-13以及基于超融合架构的资源调节程序10的物联网服务器1,本领域技术人员可以理解的是,图1示出的结构并不构成对物联网服务器1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

在本实施例中,图1的基于超融合架构的资源调节程序10被处理器12执行时,实现以下步骤:

侦测步骤:实时侦测并获取该物联网服务器1所属物联网服务器集群中每个物联网服务器1的预设指标值及存储节点的初始数量,利用预先确定的统计算法计算得到所述物联网服务器集群中每个物联网服务器1的综合评估值;

扩充步骤:对比每个所述物联网服务器1的综合评估值与预设阈值之间的大小,当所述物联网服务器1的综合评估值小于或等于预设阈值时,向所述物联网服务器1发出资源扩充请求,根据所述资源扩充请求在存储节点的初始数量的基础上为所述物联网服务器1增加第一预设数量的存储节点至小于或等于预设最大节点数量;及

缩减步骤:当所述物联网服务器1的综合评估值大于预设阈值时,向所述物联网服务器1发出资源缩减请求,根据所述资源缩减请求在存储节点的初始数量的基础上为所述物联网服务器1删除第二预设数量的存储节点至大于或等于预设最小节点数量。

在另一实施例中,该程序还执行以下步骤:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成第三预设数量的数据块,对每个所述数据块进行复制得到至少一个备份块,同时为每个所述数据块及对应的备份块分配唯一的第一预设标识;及

将具有相同所述第一预设标识的数据块与备份块分别存储至第一存储节点与第二存储节点。

在另一实施例中,该程序还执行以下步骤:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识,根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

侦测所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;

识别所述异常数据块对应的第一预设标识,根据所述第一预设标识从第二存储节点中找到具有相同第一预设标识的备份块,将所述备份块与所述异常数据块进行替换。

在另一实施例中,该程序还执行以下步骤:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成至少一个条带,其中,每个所述条带包括n个数据块和m个校验块,n、m均为正整数,n>1,m>=2;及

将每个所述条带的数据块和校验块分别存储至不同的第三存储节点。

在另一实施例中,该程序还执行以下步骤:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识,根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;及

根据所述异常数据块从第三存储节点中找到对应的校验块,并为所述异常数据块分配一空间,启动所述异常数据块的修复进程,采用纠删码算法进行数据修复工作。

关于上述步骤的详细介绍,请参照下述图2关于基于超融合架构的资源调节程序10实施例的程序模块示意图及图3关于基于超融合架构的资源调节方法实施例的方法流程示意图的说明。

参照图2所示,为图1中基于超融合架构的资源调节程序10实施例的程序模块示意图。基于超融合架构的资源调节程序10被分割为多个模块,该多个模块存储于存储器11中,并由处理器12执行,以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。

在本实施例中,所述基于超融合架构的资源调节程序10包括侦测模块110、扩充模块120及缩减模块130。

侦测模块110,用于实时侦测并获取该物联网服务器1所属物联网服务器集群中每个物联网服务器1的预设指标值及存储节点的初始数量,利用预先确定的统计算法计算得到所述物联网服务器集群中每个物联网服务器1的综合评估值。

超融合架构(hyper-convergedinfrastructure)是一种集成了虚拟计算资源和存储设备的信息基础架构。在这样的架构环境中,同一套单元设备中不但具备了计算、网络、存储和物联网服务器1虚拟化等资源和技术,而且多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale—out),形成统一的资源池。

在本实施例中,通过实时侦测该物联网服务器1所属物联网服务器集群中每个物联网服务器1的预设指标值及存储节点的初始数量的变动情况,同时实时获取每个物联网服务器1的预设指标值及存储节点,并利用预先确定的统计算法计算得到物联网服务器集群中每个物联网服务器1的综合评估值。

所述预设指标包括cpu使用率、cpu负载、内存使用率、内存空闲率、网络出入流量、磁盘使用率、磁盘的io、http请求数量、tcp连接数及网络丢包率等等。

所述统计算法为:

s总=wx1sx1 wx2sx2 ... wxnsxn

sxn=int[(totalresources-useresources)*10/totalresources)]

其中,s总为单个物联网服务器1的综合评分值,x表示各预设指标项,wxn为各项预设指标资源占总资源的权重值,sxn为单个物联网服务器1上各预设指标资源的权重得分,totalresources为预设指标资源总量,useresources为该预设指标资源已经使用量,并对计算结果用int取整,最后获得该预设指标资源的权重得分。

通过计算得到每个物联网服务器1的综合评估值,可用于后续判断某一物联网服务器1是否需要进行资源扩充或缩减。

扩充模块120,用于对比每个所述物联网服务器1的综合评估值与预设阈值之间的大小,当所述物联网服务器1的综合评估值小于或等于预设阈值时,向所述物联网服务器1发出资源扩充请求,根据所述资源扩充请求在存储节点的初始数量的基础上为所述物联网服务器1增加第一预设数量的存储节点至小于或等于预设最大节点数量。

在本实施例中,通过统计算法计算每个物联网服务器1的综合估计值,分别与预设阈值之间进行大小比较,当物联网服务器1的综合评估值(例如40)小于或等于预设阈值(例如60)时,向物联网服务器1发出资源扩充请求,根据资源扩充请求在存储节点的初始数量的基础上为该物联网服务器1增加第一预设数量的存储节点至小于或等于预设最大节点数量(具体可根据物联网服务器集群的可分配总资源而定),从而增加物联网服务器1的存储能力。

缩减模块130,用于当所述物联网服务器1的综合评估值大于预设阈值时,向所述物联网服务器1发出资源缩减请求,根据所述资源缩减请求在存储节点的初始数量的基础上为所述物联网服务器1删除第二预设数量的存储节点至大于或等于预设最小节点数量。

在本实施例中,当物联网服务器1的综合评估值(例如80)小于或等于预设阈值(例如60)时,说明物联网服务器1资源过剩,则可适当减少节点,节约物联网服务器1资源。通过向物联网服务器1发出资源缩减请求,根据资源缩减请求在存储节点的初始数量的基础上为该物联网服务器1增加第二预设数量的存储节点至大于或等于预设最小节点数量(例如3)。

本发明通过实时侦测物联网服务器1的综合评估值与预设阈值之间的数值关系,从而实现动态调节物联网服务器1的资源分配,既能够防止由于物联网服务器1存储能力不足导致无法顺利进行数据存储,又能避免由于物联网服务器1存储能力过剩,导致资源浪费。

在另一实施例中,该程序还执行数据存储模块,用于:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成第三预设数量的数据块,对每个所述数据块进行复制得到至少一个备份块,同时为每个所述数据块及对应的备份块分配唯一的第一预设标识(例如编码);及

将具有相同所述第一预设标识的数据块与备份块分别存储至第一存储节点与第二存储节点。

具体地,通过将待存储数据分割成第三预设数量的数据块进行分布式存储,能够提升数据的存储和读取的效率。

同时将每个数据块进行复制得到至少一个备份块,能够避免数据在读取过程中出现错误或丢失时,备份块能够代替出现错误或丢失的数据块继续完成数据读取。

优选地,该数据存储模块还用于:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成至少一个条带,其中,每个所述条带包括n个数据块和m个校验块,n、m均为正整数,n>1,m>=2;及

将每个所述条带的数据块和校验块分别存储至不同的第三存储节点。

在另一实施例中,该程序还执行数据读取模块,用于:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识(例如id),根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

侦测所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;

识别所述异常数据块对应的第一预设标识,根据所述第一预设标识从第二存储节点中找到具有相同第一预设标识的备份块,将所述备份块与所述异常数据块进行替换。

优选地,该数据读取模块还用于:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识,根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;及

根据所述异常数据块从第三存储节点中找到对应的校验块,并为所述异常数据块分配一空间,启动所述异常数据块的修复进程,采用纠删码算法进行数据修复工作。

具体地,利用纠删码技术进行数据的备份和数据恢复,相对于将待存储数据处理成数据块及备份块的方式,利用纠删码技术能够减少备份块的数量,耗资源量少,一旦进行数据恢复,将不会对物联网服务器集群造成大的影响。

此外,本发明还提供一种基于超融合架构的资源调节方法。参照图3所示,为本发明基于超融合架构的资源调节方法的实施例的方法流程示意图。物联网服务器1的处理器12执行存储器11中存储的基于超融合架构的资源调节程序10时实现基于超融合架构的资源调节方法的如下步骤:

s110,实时侦测并获取该物联网服务器1所属物联网服务器集群中每个物联网服务器1的预设指标值及存储节点的初始数量,利用预先确定的统计算法计算得到所述物联网服务器集群中每个物联网服务器1的综合评估值。

超融合架构(hyper-convergedinfrastructure)是一种集成了虚拟计算资源和存储设备的信息基础架构。在这样的架构环境中,同一套单元设备中不但具备了计算、网络、存储和物联网服务器1虚拟化等资源和技术,而且多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale—out),形成统一的资源池。

在本实施例中,通过实时侦测物联网服务器集群中每个物联网服务器1的预设指标值及存储节点的初始数量的变动情况,同时实时获取每个物联网服务器1的预设指标值及存储节点,并利用预先确定的统计算法计算得到每个物联网服务器1的综合评估值。

所述预设指标包括cpu使用率、cpu负载、内存使用率、内存空闲率、网络出入流量、磁盘使用率、磁盘的io、http请求数量、tcp连接数及网络丢包率等等。

所述统计算法为:

s总=wx1sx1 wx2sx2 ... wxnsxn

sxn=int[(totalresources-useresources)*10/totalresources)]

其中,s总为单个物联网服务器1的综合评分值,x表示各预设指标项,wxn为各项预设指标资源占总资源的权重值,sxn为单个物联网服务器1上各预设指标资源的权重得分,totalresources为预设指标资源总量,useresources为该预设指标资源已经使用量,并对计算结果用int取整,最后获得该预设指标资源的权重得分。

通过计算得到每个物联网服务器1的综合评估值,可用于后续判断某一物联网服务器1是否需要进行资源扩充或缩减。

s120,对比每个所述物联网服务器1的综合评估值与预设阈值之间的大小,当所述物联网服务器1的综合评估值小于或等于预设阈值时,向所述物联网服务器1发出资源扩充请求,根据所述资源扩充请求在存储节点的初始数量的基础上为所述物联网服务器1增加第一预设数量的存储节点至小于或等于预设最大节点数量。

在本实施例中,通过统计算法计算每个物联网服务器1的综合估计值,分别与预设阈值之间进行大小比较,当物联网服务器1的综合评估值(例如40)小于或等于预设阈值(例如60)时,向物联网服务器1发出资源扩充请求,根据资源扩充请求在存储节点的初始数量的基础上为该物联网服务器1增加第一预设数量的存储节点至小于或等于预设最大节点数量(具体可根据物联网服务器集群的可分配总资源而定),从而增加物联网服务器1的存储能力。

s130,当所述物联网服务器1的综合评估值大于预设阈值时,向所述物联网服务器1发出资源缩减请求,根据所述资源缩减请求在存储节点的初始数量的基础上为所述物联网服务器1删除第二预设数量的存储节点至大于或等于预设最小节点数量。

在本实施例中,当物联网服务器1的综合评估值(例如80)小于或等于预设阈值(例如60)时,说明物联网服务器1资源过剩,则可适当减少节点,节约物联网服务器1资源。通过向物联网服务器1发出资源缩减请求,根据资源缩减请求在存储节点的初始数量的基础上为该物联网服务器1增加第二预设数量的存储节点至大于或等于预设最小节点数量(例如3)。

本发明通过实时侦测物联网服务器1的综合评估值与预设阈值之间的数值关系,从而实现动态调节物联网服务器1的资源分配,既能够防止由于物联网服务器1存储能力不足导致无法顺利进行数据存储,又能避免由于物联网服务器1存储能力过剩,导致资源浪费。

在另一实施例中,该方法还包括数据存储步骤:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成第三预设数量的数据块,对每个所述数据块进行复制得到至少一个备份块,同时为每个所述数据块及对应的备份块分配唯一的第一预设标识(例如编码);及

将具有相同所述第一预设标识的数据块与备份块分别存储至第一存储节点与第二存储节点。

具体地,通过将待存储数据分割成第三预设数量的数据块进行分布式存储,能够提升数据的存储和读取的效率。

同时将每个数据块进行复制得到至少一个备份块,能够避免数据在读取过程中出现错误或丢失时,备份块能够代替出现错误或丢失的数据块继续完成数据读取。

优选地,该数据存储步骤还包括:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成至少一个条带,其中,每个所述条带包括n个数据块和m个校验块,n、m均为正整数,n>1,m>=2;及

将每个所述条带的数据块和校验块分别存储至不同的第三存储节点。

在另一实施例中,该方法还包括数据读取步骤:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识(例如id),根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

侦测所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;

识别所述异常数据块对应的第一预设标识,根据所述第一预设标识从第二存储节点中找到具有相同第一预设标识的备份块,将所述备份块与所述异常数据块进行替换。

优选地,该数据读取步骤还包括:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识,根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;及

根据所述异常数据块从第三存储节点中找到对应的校验块,并为所述异常数据块分配一空间,启动所述异常数据块的修复进程,采用纠删码算法进行数据修复工作。

具体地,利用纠删码技术进行数据的备份和数据恢复,相对于将待存储数据处理成数据块及备份块的方式,利用纠删码技术能够减少备份块的数量,耗资源量少,一旦进行数据恢复,将不会对物联网服务器集群造成大的影响。

此外,本发明实施例还提出一种计算机可读存储介质,计算机可读存储介质可以是硬盘、多媒体卡、sd卡、闪存卡、smc、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括基于超融合架构的资源调节程序10,本发明之计算机可读存储介质的具体实施方式与上述基于超融合架构的资源调节方法以及物联网服务器1的具体实施方式大致相同,在此不再赘述。

需要说明的是,上述本发明实施例序日仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序日仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术本实施例本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,物联网服务器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。


技术特征:

1.一种基于超融合架构的资源调节方法,应用于物联网服务器,其特征在于,该方法包括:

侦测步骤:实时侦测并获取该物联网服务器所属物联网服务器集群中每个物联网服务器的预设指标值及存储节点的初始数量,利用预先确定的统计算法计算得到所述物联网服务器集群中每个物联网服务器的综合评估值;

扩充步骤:对比每个所述物联网服务器的综合评估值与预设阈值之间的大小,当所述物联网服务器的综合评估值小于或等于预设阈值时,向所述物联网服务器发出资源扩充请求,根据所述资源扩充请求在存储节点的初始数量的基础上为所述物联网服务器增加第一预设数量的存储节点至小于或等于预设最大节点数量;及

缩减步骤:当所述物联网服务器的综合评估值大于预设阈值时,向所述物联网服务器发出资源缩减请求,根据所述资源缩减请求在存储节点的初始数量的基础上为所述物联网服务器删除第二预设数量的存储节点至大于或等于预设最小节点数量。

2.如权利要求1所述的基于超融合架构的资源调节方法,其特征在于,所述统计算法为:

s总=wx1sx1 wx2sx2 ... wxnsxn

sxn=int[(totalresources-useresources)*10/totalresources)]

其中,s总为单个物联网服务器的综合评分值,x表示各预设指标项,wxn为各项预设指标资源占总资源的权重值,sxn为单个物联网服务器上各预设指标资源的权重得分,totalresources为预设指标资源总量,useresources为该预设指标资源已经使用量,并对计算结果用int取整,最后获得该预设指标资源的权重得分。

3.如权利要求1所述的基于超融合架构的资源调节方法,其特征在于,该方法还包括数据存储步骤:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成第三预设数量的数据块,对每个所述数据块进行复制得到至少一个备份块,同时为每个所述数据块及对应的备份块分配唯一的第一预设标识;及

将具有相同所述第一预设标识的数据块与备份块分别存储至第一存储节点与第二存储节点。

4.如权利要求3所述的基于超融合架构的资源调节方法,其特征在于,该方法还包括数据读取步骤:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识,根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

侦测所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;

识别所述异常数据块对应的第一预设标识,根据所述第一预设标识从第二存储节点中找到具有相同第一预设标识的备份块,将所述备份块与所述异常数据块进行替换。

5.如权利要求1所述的基于超融合架构的资源调节方法,其特征在于,所述数据存储步骤还包括:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成至少一个条带,其中,每个所述条带包括n个数据块和m个校验块,n、m均为正整数,n>1,m>=2;及

将每个所述条带的数据块和校验块分别存储至不同的第三存储节点。

6.如权利要求5所述的基于超融合架构的资源调节方法,其特征在于,所述数据读取步骤还包括:

接收客户端上传的数据读取请求,对所述数据读取请求进行解析得到待读取数据的第二预设标识,根据所述第二预设标识从第一存储节点中找到所有具有相同第二预设标识的数据块,将所述数据块传输至所述客户端;

所述第一存储节点将数据块传输至所述客户端的数据读取过程,当侦测到某一数据块传输错误时,定位该数据块的存储位置,并将其标记为异常数据块;及

根据所述异常数据块从第三存储节点中找到对应的校验块,并为所述异常数据块分配一空间,启动所述异常数据块的修复进程,采用纠删码算法进行修复工作。

7.一种物联网服务器,其特征在于,所述物联网服务器包括存储器和处理器,所述存储器上存储有基于超融合架构的资源调节程序,所述基于超融合架构的资源调节程序被所述处理器执行时实现如下步骤:

侦测步骤:实时侦测并获取该物联网服务器所属物联网服务器集群中每个物联网服务器的预设指标值及存储节点的初始数量,利用预先确定的统计算法计算得到所述物联网服务器集群中每个物联网服务器的综合评估值;

扩充步骤:对比每个所述物联网服务器的综合评估值与预设阈值之间的大小,当所述物联网服务器的综合评估值小于或等于预设阈值时,向所述物联网服务器发出资源扩充请求,根据所述资源扩充请求在存储节点的初始数量的基础上为所述物联网服务器增加第一预设数量的存储节点至小于或等于预设最大节点数量;及

缩减步骤:当所述物联网服务器的综合评估值大于预设阈值时,向所述物联网服务器发出资源缩减请求,根据所述资源缩减请求在存储节点的初始数量的基础上为所述物联网服务器删除第二预设数量的存储节点至大于或等于预设最小节点数量。

8.如权利要求7所述的物联网服务器,其特征在于,所述统计算法为:

s总=wx1sx1 wx2sx2 ... wxnsxn

sxn=int[(totalresources-useresources)*10/totalresources)]

其中,s总为单个物联网服务器的综合评分值,x表示各预设指标项,wxn为各项预设指标资源占总资源的权重值,sxn为单个物联网服务器上各预设指标资源的权重得分,totalresources为预设指标资源总量,useresources为该预设指标资源已经使用量,并对计算结果用int取整,最后获得该预设指标资源的权重得分。

9.如权利要求7所述的物联网服务器,其特征在于,所述基于超融合架构的资源调节程序被所述处理器执行时还实现如下步骤:

接收客户端上传的数据存储请求,对所述数据存储请求进行解析得到待存储数据;

将所述待存储数据分割成第三预设数量的数据块,对每个所述数据块进行复制得到至少一个备份块,同时为每个所述数据块及对应的备份块分配唯一的第一预设标识;及

将具有相同所述第一预设标识的数据块与备份块分别存储至第一存储节点与第二存储节点。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于超融合架构的资源调节程序,所述基于超融合架构的资源调节程序可被一个或者多个处理器执行,以实现如权利要求1-6中任一项所述的基于超融合架构的资源调节方法的步骤。

技术总结
本发明公开了一种基于超融合架构的资源调节方法,应用于物联网服务器,该方法包括实时侦测并获取物联网所属物联网服务器集群中每个物联网服务器的预设指标值及存储节点的初始数量,计算每个物联网服务器的综合评估值,对比每个物联网服务器的综合评估值与预设阈值之间的大小,当综合评估值小于或等于预设阈值时向物联网服务器发出资源扩充请求,为物联网服务器增加第一预设数量的存储节点;当综合评估值大于预设阈值时向物联网服务器发出资源缩减请求,为物联网服务器删除第二预设数量的存储节点。本发明既能够防止由于物联网服务器存储能力不足导致无法顺利进行数据存储,又能避免由于物联网服务器存储能力过剩,导致资源浪费。

技术研发人员:郑继发
受保护的技术使用者:深圳物控智联科技有限公司
技术研发日:2020.01.09
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-55253.html

最新回复(0)