一种基于模块化硬件和软件定义的边缘智能计算平台的制作方法

专利2022-06-29  80


本申请涉及一种基于模块化硬件和软件定义的边缘智能计算平台,属于计算机技术领域。



背景技术:

目前边缘计算设备/模块均采用外接交换机的方式实现互联,部署时需要购入分立的边缘计算硬件、交换机等设备,部署空间需求大、布线复杂度高、部署效率低,增加了工作量和应用成本。并且,多个边缘计算设备(包括同构和异构)的管理、协同能力不足,不能动态应对处理任务的变化。边缘计算设备智能化欠缺,没有自我训练和学习功能,不能根据运行情况自我进化和升级。



技术实现要素:

本申请提供了一种基于模块化硬件和软件定义的边缘智能计算平台,可以解决现有方案中多个边缘计算设备的管理协同能力不足,不能动态应对处理任务的变化的问题,使得边缘计算设备具有自我学习、升级能力。本申请提供如下技术方案:

第一方面,提供了一种边缘智能计算平台,所述平台包括:

n个计算模块和交换组件,n为大于2的整数;

所述n个计算模块按照预设选举机制选举出一个计算模块作为主节点,其他计算模块为从节点;

所述主节点将所述从节点分为m组,用于控制每组从节点的网络访问以及组内和组间协作,m为正整数。

可选的,所述n个计算模块通过广播消息发现其他计算模块,发送投票请求至其他计算模块,接收其他计算模块的投票结果;

根据所述投票结果将得票最多的计算模块确定为所述主节点。

可选的,所述主节点发送分组规则至所述各个从节点将所述各个从节点分成m组。

可选的,所述从节点将自身的流量发送至所述主节点,所述主节点将接收到的流量按照时间顺序进行存储。

可选的,所述从节点将流量发送至目标从节点,所述主节点发送流量收集请求至所述目标从节点;

所述目标从节点在接收到所述流量收集请求之后,发送流量日志至所述主节点;

所述主节点对接收到的流量日志按照时间顺序进行存储。

可选的,所述主节点在按照时间顺序存储时,将需要存储的内容按照时间顺序存储在外部设备中。

可选的,所述主节点接收恢复请求;

所述主节点根据预先存储的流量信息,按照时间顺序进行还原。

可选的,所述从节点在进行流量还原时,根据还原过程进行自学习更新所述从节点的训练模型。

本申请的有益效果在于:

通过提供一种基于模块化硬件和软件定义的边缘智能计算平台,所述平台包括:n个计算模块和数据交换组件,n为大于2的整数;所述n个计算模块按照预设选举机制选举出一个计算模块作为主节点,其他计算模块为从节点;所述主节点将所述从节点分为m组,用于控制每组从节点的网络访问以及组内和组间协作,m为正整数。解决了现有技术中部署复杂、部署成本高,多个边缘计算设备(包括同构和异构)的管理、协同能力不足,不能动态应对处理任务的变化,以及边缘计算设备智能化欠缺,没有自我训练和学习功能,不能根据运行情况自我进化和升级的问题,提高了部署应用效率、增强了边缘计算平台的灵活性和计算资源利用率、赋予了边缘计算平台智能化特性。同时,通过将计算模块通过热插拔的方式与数据交换组件相连,使得可以根据实际应用需求增加或者减少计算模块的个数。

上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1为本发明所述的一种基于模块化硬件和软件定义的边缘智能计算平台的结构示意图;

图2为本发明所述的一种基于模块化硬件和软件定义的边缘智能计算平台的软件结构的框图。

图3为本发明所述的一种基于模块化硬件和软件定义的边缘智能计算平台的工作流程图。

具体实施方式

下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。

请参考图1,其示出了本申请一个实施例提供的一种基于模块化硬件和软件定义的边缘智能计算平台的示意图,如图1所示,所述平台包括:数据交换组件11、n个计算模块12以及每个计算模块12对应的网络接口13,n为大于2的整数;

所述n个计算模块12和所述数据交换组件11相连。

可选的,所述n个计算模块12通过热插拔的方式与所述数据交换组件11相连。通过将计算模块12与数据交换组件11通过热插拔的方式连接,使得可以对不同硬件配置规格以及同构和异构计算结构的支持。另外,通过热插拔的方式与数据交换组件11相连,也使得可以根据业务需求增加或者减少计算模块12的个数,增加了边缘智能计算平台的灵活度。

可选的,所述平台还包括管理接口14,所述管理接口14与所述数据交换组件11相连。通过将管理接口14与数据交换组件11相连,使得可以通过管理接口14访问n个计算模块12进而与各个计算模块12做数据交互。

可选的,所述平台还包括供电组件15,所述供电组件15用于为所述平台中的其他组件供电。也即供电组件15与数据交换组件11、n个计算模块12分别相连。该供电组件15可以为以上所说的各个组件供电,避免了为每个计算模块12分别设置供电组件时,部署空间大的问题。

此外,在供电组件15长时间供电时,供电组件15发热较多,此时,为了为供电组件15散热,所述平台还包括可以散热组件16,所述散热组件16设置在所述供电组件15的周侧,用于为所述供电组件15散热。其中,散热组件可以包括散热风扇,或者,包括散热通道和散热风扇,散热通道与需要散热的对象所在的空间以及散热风扇连通。

通过提供一种基于模块化硬件和软件定义的边缘智能计算平台,所述平台包括:数据交换组件11、n个计算模块12以及每个计算模块12对应的网络接口13,n为大于2的整数;所述n个计算模块12和所述数据交换组件11相连。解决了现有技术中部署空间需求大、布线复杂度高的问题,达到了可以节省部署空间和平台成本,提高部署应用效率的效果。同时,通过将计算模块通过热插拔的方式与数据交换组件相连,使得可以根据实际应用需求增加或者减少计算模块的个数。

在上述一种基于模块化硬件和软件定义的边缘智能计算平台中,n个计算模块按照预设选举机制选举出一个计算模块作为主节点,相应的,除了主节点之外的其他计算模块为从节点。并且,主节点将从节点分为m组,控制每组从节点的网络访问以及组内和组间协作。其中,m为正整数,且每个分组中的计算模块的个数相同或者不同,对此并不做限定。

其中,n个计算模块选举主节点的选举方式如下:

所述n个计算模块通过广播消息发现其他计算模块,发送投票请求至其他计算模块,接收其他计算模块的投票结果。

每个计算模块存在3种可能的状态:follower、candidate、leader。计算模块在初始时均处于follower状态,发出广播消息,通过发送的广播消息发现其他计算模块,此时,如果各个计算模块中不存在处于leader状态的计算模块,则各个计算模块将各自的状态切换为candidate,每个处于candidate状态的计算模块向其他计算模块发送投票请求,接收到投票请求的计算模块反馈投票结果至相应的计算模块,统计各个计算模块收集到的投票结果。

可选的,请参考图2,其示出了边缘智能计算平台的软件结构的框图,如图所示,软件结构包括底层的n个计算模块,基础功能层和应用层,各个计算模块中包括操作平台层和代理层,操作平台中包括各个板载驱动、各种基础工具等等。代理层(agent)包括数据采集、流量控制、主从节点转换、一致性选举协议数据广播协议、数据流存储等等。而由于每个计算模块中有一致性选举协议和数据广播协议,计算模块根据数据广播协议发送广播,并根据一致性选举协议进行投票。另外,如图所示,基础功能可以有流量重定向、流量回放、时序数据收集/存储,完整时序流量回放。应用层包括流量数据训练学习、ai训练自进化、平台自我训练以及对外表现各种架构等等。

一种简单且低成本的方式实现了计算与网络的融合,降低了边缘计算模块间通讯延迟,提高了通讯效率。可动态重构硬件,主节点可以动态调整边缘计算模块分组,提高资源利用率,提高处理效率。

根据所述投票结果将得票最多的计算模块确定为所述主节点。

根据各个计算模块收集到的投票结果将得票最多的计算模块确定为主节点,主节点的状态即为leader状态。

需要说明的是,在一轮投票之后,如果不能确定出得票最多的计算模块,则再次进行下一轮投票直至得到得票最多的计算模块,进而确定出主节点。

主节点将从节点分组得到m个分组的步骤包括:

主节点发送分组规则至各个从节点进而将各个从节点分成m组。其中,分组规则为基于历史经验设置的规则,在此不再赘述。

在主节点将各个从节点分成m组之后,每个分组作为一个整体表现为某一架构的设备,比如x86架构、arm(advancedriscmachines,arm处理器)或者mips(microprocessorwithoutinterlockedpipedstagesarchitecture或millioninstructionspersecond,一种risc处理器架构)架构。

可选的,在该平台中,在将各个从节点分成m组后,在进行业务交互时,从节点可能会产生流量,在本实施例中:

作为一种可能的实现方式,从节点将自身的流量发送至主节点,主节点将接收到的流量按照时间顺序进行存储。

作为另一种可能的实现方式,从节点还可以不发送流量至主节点,而是发送流量日志至其他从节点比如发送至目标从节点,相应的,其他从节点接收并存储流量日志。而对于此种情况,主节点可以发送流量收集请求至该目标从节点,目标从节点在接收到流量收集请求之后,发送流量日志至主节点,主节点对接收到的流量日志按照时间顺序进行存储。

在上述实现方式中,主节点在进行时序存储时,可以将所需存储的内容在外部存储设备中做时序化存储。

此后,当用户需要做流量还原时,用户可以发出恢复请求,相应的,主节点可以接收到恢复请求,并在接收到恢复请求之后,根据之前的时序化存储也即已经存储的流量信息,按照时间顺序进行还原。其中,用户发出的恢复请求可能是直接发送至主节点,此时主节点直接做还原;当然,用户发出的恢复请求也可能是发送至某一个从节点,对于此种情况,接收到恢复请求的从节点会转发恢复请求至主节点,此后主节点按照上述方式做流量还原。

实际实现时,主节点可以按照时序化存储将各个从节点的流量返回至该从节点,并由该从节点执行进而还原多架构时序场景。

可选的,在流量还原过程中,节点中的agent可以根据还原使得时序场景进行性训练学习,进而自动建立新的模型或者更新已有的学习模型。

其中,在一种可能的实现方式中,学习的过程如下:

a)收集原始时序化数据;

b)合并数据和清洗数据;

c)选择或构造特征;

d)模型构建,或从现有的模型部件中选择合适的模型结构

e)超参数调优;

f)后处理及模型验证;

g)在设备端升级部署。

在此不再赘述。

具有流量和网络访问重放能力,真实再现历史场景,边缘计算模块上的agent根据再现的场景进行训练学习,自动建立新的模型或升级已有的模型,提高了边缘计算软件的智能化程度。agent软件自学习机制可以为用户的业务场景提供自学习支持。

通过在流量还原时做自学习,使得对于缺乏ai人才,但是又拥有大业务量的企业来说,能够通过自学习来代替工程师的人力成本,降低了企业的人力成本以及调试成本。同时,通过自学习也节省了工程师的时间成本,提高了开发效率。

请参考图3,在一种可能的实现方式中,该平台的执行步骤如下:

1、各个计算模块通过一致性传输协议选举出一个节点作为主节点(图中以计算模块有n 1个来举例说明)。

2、主节点作为管理端进行动态资源调度,比如上述所说的对各个从节点进行分组。

3、每个分组的从节点对外表现为一台某一架构的设备,并且每个从节点进行数据特征分析及转发。

4、从节点将流量导入主节点,主节点做时序化存储。

5、从节点记录流量日志,主节点收集流量日志,进行时序化存储。(步骤4和步骤5可以同时存在也可以只存在其中之一,图中仅以存在本步骤的内容为例)

6、从节点根据数据流量自学习。

7、根据用户命令以及时序化存储的内容做流量回放。

以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。


技术特征:

1.一种基于模块化硬件和软件定义的边缘智能计算平台,其特征在于,所述平台包括:n个计算模块和数据交换组件,n为大于2的整数;

所述n个计算模块按照预设选举机制选举出一个计算模块作为主节点,其他计算模块为从节点;

所述主节点将所述从节点分为m组,用于控制每组从节点的网络访问以及组内和组间协作,m为正整数。

2.根据权利要求1所述的平台,其特征在于,

所述n个计算模块通过广播消息发现其他计算模块,发送投票请求至其他计算模块,接收其他计算模块的投票结果;

根据所述投票结果将得票最多的计算模块确定为所述主节点。

3.根据权利要求1所述的平台,其特征在于,

所述主节点发送分组规则至所述各个从节点将所述各个从节点分成m组。

4.根据权利要求1所述的平台,其特征在于,

所述从节点将自身的流量发送至所述主节点,所述主节点将接收到的流量按照时间顺序进行存储。

5.根据权利要求1所述的平台,其特征在于,

所述从节点将流量发送至目标从节点,所述主节点发送流量收集请求至所述目标从节点;

所述目标从节点在接收到所述流量收集请求之后,发送流量日志至所述主节点;

所述主节点对接收到的流量日志按照时间顺序进行存储。

6.根据权利要求4或5所述的平台,其特征在于,

所述主节点在按照时间顺序存储时,将需要存储的内容按照时间顺序存储在外部设备中。

7.根据权利要求4或5所述的平台,其特征在于,

所述主节点接收恢复请求;

所述主节点根据预先存储的流量信息,按照时间顺序进行还原。

8.根据权利要求7所述的平台,其特征在于,

所述从节点在进行流量还原时,根据还原过程进行自学习更新所述从节点的训练模型。

技术总结
本申请涉及一种基于模块化硬件和软件定义的边缘智能计算平台,属于计算机技术领域,所述平台包括:n个计算模块和数据交换组件,n为大于2的整数;所述n个计算模块按照预设选举机制选举出一个计算模块作为主节点,其他计算模块为从节点;所述主节点将所述从节点分为m组,用于控制每组从节点的网络访问以及组内和组间协作,m为正整数。解决了现有技术中部署复杂、部署成本高,多个边缘计算设备(包括同构和异构)的管理、协同能力不足,不能动态应对处理任务的变化的问题,提高了部署应用效率、增强了边缘计算平台的灵活性和计算资源利用率、赋予了边缘计算平台智能化特性。

技术研发人员:冯勇;尹哲;徐立峰;李昊
受保护的技术使用者:南京佶合信息科技有限公司
技术研发日:2020.01.07
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-20601.html

最新回复(0)