一种园区情报处理方法与流程

专利2022-06-30  96


本发明涉及信息处理技术领域,特别涉及一种园区情报处理方法。



背景技术:

随着大数据时代的到来,情报数据对园区安全尤为重要,因此,对情报数据的收集、传输与管控也变得越来越重要,其中,就目前而言,情报数据进行传输的过程中可能存在如下问题,一是,情报数据在传输时,可能会通过不同的存储节点所对应的传输链路进行传输,由于链路混乱,导致传输效率低下的问题;二是,情报数据在传输到对应的存储节点时,可能存在存储节点损坏的情况,导致数据缺失的问题,因为需要对数据传输效率低下和数据缺失等问题进行处理。



技术实现要素:

本发明提供一种园区情报处理方法,用以设置第一存储节点、节点转移的第二存储节点和建立情报传输链路,实现对情报数据的传输,可便于提高数据传输效率,同时,降低数据缺失的风险。

本发明实施例提供一种园区情报处理方法,包括:

基于收集节点,对每个目标园区的园区情报进行分类收集;

检测每个目标园区对应的第一存储节点,并根据检测结果,确定是否需要进行节点转移,若是,寻找第二存储节点;

建立与第二存储节点和不需要节点转移的第一存储节点相关的情报服务链,并将分类收集的园区情报传输到情报服务平台;

基于所述情报服务平台,对接收的园区情报进行预处理,得到情报推送信息,并推送到与所述目标园区对应的园区端进行显示。

在一种可能实现的方式中,所述收集每个目标园区的园区情报之前还包括:确定所述收集节点的合法性;

其中,基于预先建立的节点收集模型,对与所述收集节点相关的收集属性进行训练,确定所述收集属性是否存在预设错误,若不存在,则表明所述收集节点合法,将所述目标园区与所述收集节点进行绑定,并建立所述收集节点与对应的所述目标园区之间的传输关系;

否则,表明所述收集节点不合法,同时,寻找候选节点,实现与对应的所述目标园区之间的绑定。

在一种可能实现的方式中,所述检测每个目标园区对应的第一存储节点,并根据检测结果,确定是否需要进行节点转移的步骤包括:

确定所述第一存储节点与对应的所述目标园区之间的绑定关系,同时,判断所述第一存储节点是否满足预设条件,其中,判断过程包括:

判断所述第一存储节点的传输速度是否异常,若异常,确定所述第一存储节点需要进行节点转移;

否则,对与所述目标园区进行绑定的所述第一存储节点进行区域切割,并获取区域切割之后获得的子区域对应的存储容量,同时确定子区域对应的存储性能;

将存储容量大于区域容量,且存储性能不低于预设性能的子区域进行保留,并确定所保留的所有子区域的总容量是否大于预设容量;

若是,判定所述第一存储节点不需要节点转移,此时,将所述第一存储节点作为与所述目标园区具有绑定关系的存储节点;

否则,当所述第一存储节点不满足所述存储容量不大于区域容量、子区域的存储性能低于预设性能或总容量不大于预设容量中的任一个或多个时,判定所述第一存储节点需要节点转移;

当判断出所述第一存储节点需要进行节点转移时,从节点数据库中,获取所述第一存储节点的节点属性,并在所述节点数据库中,寻找与所述节点属性相关联的第二存储节点;

其中,所述第二存储节点需要满足所述第一存储节点所满足的预设条件。

在一种可能实现的方式中,

当将所述分类收集的园区情报存储到第二存储节点或者不需要节点转移的第一存储节点时,基于预先建立的映射数据表,将所述分类收集的园区情报分别分类存储到对应的子区域;

其中,在存储所述分类收集的园区情报之前,将所述子区域中的缓冲数据进行释放。

在一种可能实现的方式中,

所述建立与第二存储节点和不需要节点转移的第一存储节点相关的情报服务链的步骤包括:

建立与所述第一存储节点和第二存储节点相关的存储拓扑图;

基于所述存储拓扑图,确定根节点和叶子节点,同时确定不需要节点转移的第一存储节点和第二存储节点在所述存储拓扑图中的节点位置;

确定基于根节点、叶子节点、不需要节点转移的第一存储节点或第二存储节点所建立的拓扑链路,并在所述拓扑链路中寻找最优链路,并基于所述最优链路将园区情报的情报数据进行传输;

其中,所述最优链路即为所述情报服务链。

在一种可能实现的方式中,

所述并将收集的园区情报传输到情报服务平台的的过程中,还包括:对所述园区情报的情报数据进行异常数据的检测,其步骤包括:

将基于所述收集节点分类收集的所述园区情报的情报数据,传输到预先训练好的错误分类验证模型,进行识别验证,并确定所述情报数据中是否存在异常数据,若存在,将所述异常数据基于所述情报服务链传输到对应的目标园区的园区端;

接收基于所述目标园区的园区端输入的确认指令,若所述确认指令为所述异常数据对应的首次传输的情报数据为正常数据指令,则基于数据纠错模型对所述异常数据进行纠错处理,并对纠错处理后的数据进行再次识别验证,直到将所述异常数据消除;

若所述确认指令为所述异常数据对应的首次传输的数据为错误数据指令,则接收基于所述园区端输入的替换数据,并对所述替换数据进行识别验证,若验证通过,将所述异常数据替换为所述替换数据;

否则,基于所述数据纠错模型对所述替换数据进行纠错处理,直到所述替换数据验证通过。

在一种可能实现的方式中,

基于所述情报服务平台,对接收的园区情报进行预处理,得到情报推送信息的步骤包括:

对归类后的园区情报进行归一化处理,确定每类园区情报的情报安全保密等级;

基于预先建立的情报推送数据库,并根据所述情报安全保密等级,确定每类园区情报对应的情报推送信息;

并基于所述情报服务平台,将所述情报推送信息推送到若干个园区端。

在一种可能实现的方式中,

基于预先建立的映射数据表,将所述分类收集的园区情报分别分类存储到对应的子区域的过程中,还包括:对所分类存储的园区情报的数据容量和所述子区域的区域容量进行对比分析,若基于所述映射数据表,所述分类存储的数据容量小于或等于区域容量时,将所述分类存储的园区情报存储到所述子区域中;

若所述分类存储的数据容量大于区域容量时,对所述园区情报的情报数据进行数据预选,并将预选的数据进行数据转移,其转移步骤包括:

根据公式(1)确定与所述子区域相关的转移区域;

其中,ψ表示分类存储的园区情报的预选的数据;a1表示该子区域的区域容量,a2表示该子区域的出厂占比容量;n表示该子区域中的文件数量;j表示该子区域中的第j个文件;pj表示该子区域中的第j个文件的文件占比容量;∝表示正比符号;m表示所述该子区域对应的存储节点中除去该子区域之后的剩余子区域的子区域数量;ui表示m个子区域中的第i个子区域中的数据转移频率;δi表示m个子区域中的第i个子区域与该子区域的数据相关度;max{}表示最大函数;e表示自然常数;qi表示第i个子区域的待缓存容量;

其中,获取m个子区域中的待缓存容量,并将所述待缓存容量进行优先级排序,同时,根据所述预选的数据对应的预选容量获取优先级高的前第一预设数目个子区域作为转移区域;

其中,所述子区域是保留的存储容量大于区域容量,且存储性能不低于预设性能的子区域。

在一种可能实现的方式中,所述确定所述第一存储节点与对应的所述目标园区之间的绑定关系之前,还包括,对所述第一存储节点的节点成本进行确定,其步骤包括:

获取与园区情报相关的所有存储节点,并在所有存储节点中寻找与所述目标园区相关的第一存储节点;

同时根据公式(2)寻找n个第一存储节点的节点成本s;

其中,n1表示第一存储节点进行区域切割之后的所有子区域;l表示所有子区域中的第l个子区域;c1l表示第l个子区域的计算成本;c2l表示第l个子区域的存储成本;f()表示第一存储节点的速度成本函数;其中,表示第一存储节点中的第l个子区域的存储容量rl与响应时间tl之间的关系;表示第一存储节点的平均响应速度;δ表示对速度成本的微量修正函数;

对获取的节点成本s进行成本优先级排序,并获取节点成本低的前第二预设数目个第一存储节点,实现与对应的所述目标园区的绑定。

本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:

图1为本发明实施例中一种园区情报处理方法的流程图;

图2为本发明实施例中存储拓扑图的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。

本发明实施例提供一种园区情报处理方法,如图1所示,包括:

步骤1:基于收集节点,对每个目标园区的园区情报进行分类收集;

步骤2:检测每个目标园区对应的第一存储节点,并根据检测结果,确定是否需要进行节点转移,若是,寻找第二存储节点;

步骤3:建立与第二存储节点和不需要节点转移的第一存储节点相关的情报服务链,并将分类收集的园区情报传输到情报服务平台;

步骤4:基于所述情报服务平台,对接收的园区情报进行预处理,得到情报推送信息,并推送到与所述目标园区对应的园区端进行显示。

本实施例中只需要将需要的第一存储节点和第二存储节点建立情报服务链,不需要其他的存储节点进行参与,提高了其的服务效率,并且基于第一存储节点和第二存储节点构建服务链时,具备有统一性和针对性;

其中,需要说明的是,上述基于收集节点进行分类收集,可以是对一个目标园区的园区情报的情报数据进行数据分类,并将分类的数据存储到同一个存储节点中,且存储节点的子区域实现对数据的分类存储;上述基于收集节点进行分类收集,还可以是将若干个目标园区的园区情报的情报数据进行收集分类,并将收集分类后的同类所有目标园区的情报数据存储到一个存储节点,其存储节点是存储着不同园区的同类情报数据。通过采用上述两者方式,可以确定数据存储的灵活性。

上述收集节点,就是为了将目标园区产生的数据进行采集;

上述对第一存储节点进行检测,例如是判断其第一存储节点是否满足预设条件,如:检测容量、传输效率等;当检测结果满足预设条件时,确定第一存储节点不需要节点转移,否则,需要节点转移;

上述预处理,可以是对同类数据进行的归一化处理,或者是对同类数据进行验证处理,判断其同类数据是否完整。

上述园区端,例如是智能电子设备,如:手机、电脑等。

上述技术方案的有益效果是:设置第一存储节点、节点转移的第二存储节点和建立情报传输链路,实现对情报数据的传输,可便于提高数据传输效率,同时,降低数据缺失的风险。

本发明实施例提供一种园区情报处理方法,所述收集每个目标园区的园区情报之前还包括:确定所述收集节点的合法性;

其中,基于预先建立的节点收集模型,对与所述收集节点相关的收集属性进行训练,确定所述收集属性是否存在预设错误,若不存在,则表明所述收集节点合法,将所述目标园区与所述收集节点进行绑定,并建立所述收集节点与对应的所述目标园区之间的传输关系;

否则,表明所述收集节点不合法,同时,寻找候选节点,实现与对应的所述目标园区之间的绑定。

上述收集节点模型,是为了确定对收集节点进行识别,便于及时发现收集节点存在的故障;

上述确定合法性,本质上就是为了判断收集节点对应的收集属性中是否存在预设错误,如,获取数据的节点的传输速度属性,其对应的预设错误,是否存在节点传输故障;网络属性,其对应的预设错误是,是否存在节点网络故障等问题。

上述进行绑定,就是为了将园区情报数据传输到收集节点;

上述候选节点,是预先设定好的,是为了防止数据收集过程中出现数据收集失败的情况,与收集节点进行绑定,可以是多个目标园区与一个收集节点进行绑定,也可以是一个目标园区对应一个收集节点等。

上述技术方案的有益效果是:对收集节点的合法性进行判断,确保数据传输的有效性和稳定性,具体的通过确定收集节点是否存在预设错误,来确定收集节点的可靠性,同时设置候选节点,是为了保证收集节点不可靠时,可以通过其他节点实现对数据的收集。

本发明实施例提供一种园区情报处理方法,所述检测每个目标园区对应的第一存储节点,并根据检测结果,确定是否需要进行节点转移的步骤包括:

确定所述第一存储节点与对应的所述目标园区之间的绑定关系,同时,判断所述第一存储节点是否满足预设条件,其中,判断过程包括:

判断所述第一存储节点的传输速度是否异常,若异常,确定所述第一存储节点需要进行节点转移;

否则,对与所述目标园区进行绑定的所述第一存储节点进行区域切割,并获取区域切割之后获得的子区域对应的存储容量,同时确定子区域对应的存储性能;

将存储容量大于区域容量,且存储性能不低于预设性能的子区域进行保留,并确定所保留的所有子区域的总容量是否大于预设容量;

若是,判定所述第一存储节点不需要节点转移,此时,将所述第一存储节点作为与所述目标园区具有绑定关系的存储节点;

否则,当所述第一存储节点不满足所述存储容量不大于区域容量、子区域的存储性能低于预设性能或总容量不大于预设容量中的任一个或多个时,判定所述第一存储节点需要节点转移;

当判断出所述第一存储节点需要进行节点转移时,从节点数据库中,获取所述第一存储节点的节点属性,并在所述节点数据库中,寻找与所述节点属性相关联的第二存储节点;

其中,所述第二存储节点需要满足所述第一存储节点所满足的预设条件。

上述预设条件,可以是传输速度是否异常、子区域的存储容量是否大于区域容量、子区域的存储性能是否不低于预设性能等条件;

上述区域容量、预设性能和预设容量都是预先设定好的,且同个第一存储节点中的区域容量是小于预设容量的;

上述根据节点属性,寻找需要节点转移的第二存储节点,且第二存储节点也需要满足预设条件,且节点属性,例如是:传输速度、存储容量等。

上述技术方案的有益效果是:确定第一存储节点是都满足预设条件,进而确定是否需要进行节点转移,确保节点转移之后,数据传输的可靠性。

本发明实施例提供一种园区情报处理方法,当将所述分类收集的园区情报存储到第二存储节点或者不需要节点转移的第一存储节点时,基于预先建立的映射数据表,将所述分类收集的园区情报分别分类存储到对应的子区域;

其中,在存储所述分类收集的园区情报之前,将所述子区域中的缓冲数据进行释放。

上述将分类收集的园区情报分别分类存储到对应的子区域中,可以是对一个目标园区的园区情报的情报数据进行数据分类,并将分类的数据映射存储到同一个存储节点中的不同子区域中,且存储节点的子区域实现对数据的分类存储;上述基于收集节点进行分类收集,还可以是将若干个目标园区的园区情报的情报数据进行收集分类,并将收集分类后的同类所有目标园区的情报数据存储到一个存储节点,且存储节点中的每个子区域存储不同目标园区的同类情报数据,其存储节点是存储着不同园区的同类情报数据。

上述技术方案的有益效果是:通过将缓冲数据进行释放,便于获取可用空间,通过映射数据表,将分类数据进行对应映射,可保证数据的规律性。

本发明实施例提供一种园区情报处理方法,所述建立与第二存储节点和不需要节点转移的第一存储节点相关的情报服务链的步骤包括:

建立与所述第一存储节点和第二存储节点相关的存储拓扑图;

基于所述存储拓扑图,确定根节点和叶子节点,同时确定不需要节点转移的第一存储节点和第二存储节点在所述存储拓扑图中的节点位置;

确定基于根节点、叶子节点、不需要节点转移的第一存储节点或第二存储节点所建立的拓扑链路,并在所述拓扑链路中寻找最优链路,并基于所述最优链路将园区情报的情报数据进行传输;

其中,所述最优链路即为所述情报服务链。

上述存储拓扑图,是类似于树结构的图;

上述基于第一存储节点和第二存储节点是为了更好的规划情报服务链,且情报服务链可以是包括基于不需要进行节点转换的第一存储节点和第二存储节点在内的若干条子链,其若干个子链,也可构成拓扑链路,如:从目标园区1传输数据到不需要节点转换的第一存储节点11,再传输到情报服务平台,其可构成一条子链。

上述确定节点位置,就是为了确定可构成的子链中的子链路径,且寻找距离最短的,传输距离最快的,作为最优链路。

上述根节点可以是目标园区对应的园区端,上述叶子节点可以是情报服务平台。

例如,如图2所示,为存储拓扑图的结构图,其中,根节点依次与收集节点、不需要节点转移的第一存储节点和第二存储节点、叶子节点连接。

上述技术方案的有益效果是:通过设置存储拓扑图便于寻找最优链路,保证数据的传输效率。

本发明实施例提供一种园区情报处理方法,所述并将收集的园区情报传输到情报服务平台的的过程中,还包括:对所述园区情报的情报数据进行异常数据的检测,其步骤包括:

将基于所述收集节点分类收集的所述园区情报的情报数据,传输到预先训练好的错误分类验证模型,进行识别验证,并确定所述情报数据中是否存在异常数据,若存在,将所述异常数据基于所述情报服务链传输到对应的目标园区的园区端;

接收基于所述目标园区的园区端输入的确认指令,若所述确认指令为所述异常数据对应的首次传输的情报数据为正常数据指令,则基于数据纠错模型对所述异常数据进行纠错处理,并对纠错处理后的数据进行再次识别验证,直到将所述异常数据消除;

若所述确认指令为所述异常数据对应的首次传输的数据为错误数据指令,则接收基于所述园区端输入的替换数据,并对所述替换数据进行识别验证,若验证通过,将所述异常数据替换为所述替换数据;

否则,基于所述数据纠错模型对所述替换数据进行纠错处理,直到所述替换数据验证通过。

上述错位分类验证模型,是为了对不同类型数据进行的数据进行识别验证;

例如:从目标园区传输数据a,并将a传输到情报服务链,如果a中存储在异常数据a,则将a通过情报服务链,传输到园区端,且通过园区端输入确认指令,确定异常数据a之前是否是传输的正确数据,如果是,将异常数据a进行纠错处理,否则,将异常数据a进行替换处理,通过两者方式,来保证异常数据可以验证通过。

上述技术方案的有益效果是:通过对异常数据进行处理,可以确定数据传输过程中,数据的准确性,便于后续进行数据分析。

本发明实施例提供一种园区情报处理方法,基于所述情报服务平台,对接收的园区情报进行预处理,得到情报推送信息的步骤包括:

对归类后的园区情报进行归一化处理,确定每类园区情报的情报安全保密等级;

基于预先建立的情报推送数据库,并根据所述情报安全保密等级,确定每类园区情报对应的情报推送信息;

并基于所述情报服务平台,将所述情报推送信息推送到若干个园区端。

上述归一化处理,例如,是对某一类数据进行归一化,如:园区情报中包括:金融数据、业务数据等各种类型的数据;

上述安全保密等级,是根据不同的数据类型进行确定的,如:金融数据的安全保密等级大于业务数据的安全保密等级;对应的情报推送信息,可以是,比如金融数据,推送的金融情报信息等,其信息可以是目标园区的基本金融数据等。

上述技术方案的有益效果是:通过进行归一化处理,便于确定情报安全保密等级,提高情报推送信息的信息推送的高相关性,且通过推送到园区端,便于及时了解。

本发明实施例提供一种园区情报处理方法,基于预先建立的映射数据表,将所述分类收集的园区情报分别分类存储到对应的子区域的过程中,还包括:对所分类存储的园区情报的数据容量和所述子区域的区域容量进行对比分析,若基于所述映射数据表,所述分类存储的数据容量小于或等于区域容量时,将所述分类存储的园区情报存储到所述子区域中;

若所述分类存储的数据容量大于区域容量时,对所述园区情报的情报数据进行数据预选,并将预选的数据进行数据转移,其转移步骤包括:

根据公式(1)确定与所述子区域相关的转移区域;

其中,ψ表示分类存储的园区情报的预选的数据;a1表示该子区域的区域容量,a2表示该子区域的出厂占比容量;n表示该子区域中的文件数量;j表示该子区域中的第j个文件;pj表示该子区域中的第j个文件的文件占比容量;∝表示正比符号;m表示所述该子区域对应的存储节点中除去该子区域之后的剩余子区域的子区域数量;ui表示m个子区域中的第i个子区域中的数据转移频率;δi表示m个子区域中的第i个子区域与该子区域的数据相关度;max{}表示最大函数;e表示自然常数;qi表示第i个子区域的待缓存容量;

其中,获取m个子区域中的待缓存容量,并将所述待缓存容量进行优先级排序,同时,根据所述预选的数据对应的预选容量获取优先级高的前第一预设数目个子区域作为转移区域;

其中,所述子区域是保留的存储容量大于区域容量,且存储性能不低于预设性能的子区域。

上述待缓存容量,可以是子区域中的剩余空间容量,且设置待缓存容量,一方面是为了将数据进行短暂存储,另一方面是为了数据转移提供便利。

上述技术方案的有益效果是:通过采用上述方式,便于将超出的数据进行存储到有效的子区域中,实现数据的有效转移,并且,根据数据相关度等参数,便于有效的确定待缓存容量所对应子区域,同时,通过进行优先级排序,便于获取优先级高的几个子区域,作为转移区域,可避免因数据容量过大,转移失败。

本发明实施例提供一种园区情报处理方法,所述确定所述第一存储节点与对应的所述目标园区之间的绑定关系之前,还包括,对所述第一存储节点的节点成本进行确定,其步骤包括:

获取与园区情报相关的所有存储节点,并在所有存储节点中寻找与所述目标园区相关的第一存储节点;

同时根据公式(2)寻找n个第一存储节点的节点成本s;

其中,n1表示第一存储节点进行区域切割之后的所有子区域;l表示所有子区域中的第l个子区域;c1l表示第l个子区域的计算成本;c2l表示第l个子区域的存储成本;f()表示第一存储节点的速度成本函数;其中,表示第一存储节点中的第l个子区域的存储容量rl与响应时间tl之间的关系;表示第一存储节点的平均响应速度;δ表示对速度成本的微量修正函数;

对获取的节点成本s进行成本优先级排序,并获取节点成本低的前第二预设数目个第一存储节点,实现与对应的所述目标园区的绑定。

上述进行成本优先级排序,一般是将成本进行由低到高的排列,其前第二预设数目的选取,是根据目标园区的的园区情报进行确定的。

上述技术方案的有益效果是:通过计算第一存储节点的节点成本,并对节点成本进行优先级排序,获得成本较低的第一存储节点,且,通过对每个第一存储节点中所有子区域进行成本确定,便于更加精细的确定第一存储节点的节点成本,同时通过对速度成本采用微量修正函数进行修正,便于提高是速度成本的准确性,进一步保证了节点成本的可靠性和正确性,为后续选择提供便利。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。


技术特征:

1.一种园区情报处理方法,其特征在于,包括:

基于收集节点,对每个目标园区的园区情报进行分类收集;

检测每个目标园区对应的第一存储节点,并根据检测结果,确定是否需要进行节点转移,若是,寻找第二存储节点;

建立与所述第二存储节点和不需要节点转移的第一存储节点相关的情报服务链,并将分类收集的园区情报传输到情报服务平台;

基于所述情报服务平台,对接收的园区情报进行预处理,得到情报推送信息,并推送到与所述目标园区对应的园区端进行显示。

2.如权利要求1所述的一种园区情报处理方法,其特征在于,所述收集每个目标园区的园区情报之前还包括:确定所述收集节点的合法性;

其中,基于预先建立的节点收集模型,对与所述收集节点相关的收集属性进行训练,确定所述收集属性是否存在预设错误,若不存在,则表明所述收集节点合法,将所述目标园区与所述收集节点进行绑定,并建立所述收集节点与对应的所述目标园区之间的传输关系;

否则,表明所述收集节点不合法,同时,寻找候选节点,实现与对应的所述目标园区之间的绑定。

3.如权利要求1所述的一种园区情报处理方法,其特征在于,所述检测每个目标园区对应的第一存储节点,并根据检测结果,确定是否需要进行节点转移的步骤包括:

确定所述第一存储节点与对应的所述目标园区之间的绑定关系,同时,判断所述第一存储节点是否满足预设条件,其中,判断过程包括:

判断所述第一存储节点的传输速度是否异常,若异常,确定所述第一存储节点需要进行节点转移;

否则,对与所述目标园区进行绑定的所述第一存储节点进行区域切割,并获取区域切割之后获得的子区域对应的存储容量,同时确定子区域对应的存储性能;

将存储容量大于区域容量,且存储性能不低于预设性能的子区域进行保留,并确定所保留的所有子区域的总容量是否大于预设容量;

若是,判定所述第一存储节点不需要节点转移,此时,将所述第一存储节点作为与所述目标园区具有绑定关系的存储节点;

否则,当所述第一存储节点不满足所述存储容量不大于区域容量、子区域的存储性能低于预设性能或总容量不大于预设容量中的任一个或多个时,判定所述第一存储节点需要节点转移;

当判断出所述第一存储节点需要进行节点转移时,从节点数据库中,获取所述第一存储节点的节点属性,并在所述节点数据库中,寻找与所述节点属性相关联的第二存储节点;

其中,所述第二存储节点需要满足所述第一存储节点所满足的预设条件。

4.如权利要求3所述的一种园区情报处理方法,其特征在于,

当将所述分类收集的园区情报存储到第二存储节点或者不需要节点转移的第一存储节点时,基于预先建立的映射数据表,将所述分类收集的园区情报分别分类存储到对应的子区域;

其中,在存储所述分类收集的园区情报之前,将所述子区域中的缓冲数据进行释放。

5.如权利要求1所述的一种园区情报处理系统,其特征在于,所述建立与第二存储节点和不需要节点转移的第一存储节点相关的情报服务链的步骤包括:

建立与所述第一存储节点和第二存储节点相关的存储拓扑图;

基于所述存储拓扑图,确定根节点和叶子节点,同时确定不需要节点转移的第一存储节点和第二存储节点在所述存储拓扑图中的节点位置;

确定基于根节点、叶子节点、不需要节点转移的第一存储节点或第二存储节点所建立的拓扑链路,并在所述拓扑链路中寻找最优链路,并基于所述最优链路将园区情报的情报数据进行传输;

其中,所述最优链路即为所述情报服务链。

6.如权利要求1所述的一种园区情报处理系统,其特征在于,所述并将收集的园区情报传输到情报服务平台的的过程中,还包括:对所述园区情报的情报数据进行异常数据的检测,其步骤包括:

将基于所述收集节点分类收集的所述园区情报的情报数据,传输到预先训练好的错误分类验证模型,进行识别验证,并确定所述情报数据中是否存在异常数据,若存在,将所述异常数据基于所述情报服务链传输到对应的目标园区的园区端;

接收基于所述目标园区的园区端输入的确认指令,若所述确认指令为所述异常数据对应的首次传输的情报数据为正常数据指令,则基于数据纠错模型对所述异常数据进行纠错处理,并对纠错处理后的数据进行再次识别验证,直到将所述异常数据消除;

若所述确认指令为所述异常数据对应的首次传输的数据为错误数据指令,则接收基于所述园区端输入的替换数据,并对所述替换数据进行识别验证,若验证通过,将所述异常数据替换为所述替换数据;

否则,基于所述数据纠错模型对所述替换数据进行纠错处理,直到所述替换数据验证通过。

7.如权利要求1所述的一种园区情报处理方法,其特征在于,基于所述情报服务平台,对接收的园区情报进行预处理,得到情报推送信息的步骤包括:

对归类后的园区情报进行归一化处理,确定每类园区情报的情报安全保密等级;

基于预先建立的情报推送数据库,并根据所述情报安全保密等级,确定每类园区情报对应的情报推送信息;

并基于所述情报服务平台,将所述情报推送信息推送到若干个园区端。

8.如权利要求4所述的一种园区情报处理方法,其特征在于,基于预先建立的映射数据表,将所述分类收集的园区情报分别分类存储到对应的子区域的过程中,还包括:对所分类存储的园区情报的数据容量和所述子区域的区域容量进行对比分析,若基于所述映射数据表,所述分类存储的数据容量小于或等于区域容量时,将所述分类存储的园区情报存储到所述子区域中;

若所述分类存储的数据容量大于区域容量时,对所述园区情报的情报数据进行数据预选,并将预选的数据进行数据转移,其转移步骤包括:

根据公式(1)确定与所述子区域相关的转移区域;

其中,ψ表示分类存储的园区情报的预选的数据;a1表示该子区域的区域容量,a2表示该子区域的出厂占比容量;n表示该子区域中的文件数量;j表示该子区域中的第j个文件;pj表示该子区域中的第j个文件的文件占比容量;∝表示正比符号;m表示所述该子区域对应的存储节点中除去该子区域之后的剩余子区域的子区域数量;ui表示m个子区域中的第i个子区域中的数据转移频率;δi表示m个子区域中的第i个子区域与该子区域的数据相关度;max{}表示最大函数;e表示自然常数;qi表示第i个子区域的待缓存容量;

其中,获取m个子区域中的待缓存容量,并将所述待缓存容量进行优先级排序,同时,根据所述预选的数据对应的预选容量获取优先级高的前第一预设数目个子区域作为转移区域;

其中,所述子区域是保留的存储容量大于区域容量,且存储性能不低于预设性能的子区域。

9.如权利要求3所述的一种园区情报处理方法,其特征在于,所述确定所述第一存储节点与对应的所述目标园区之间的绑定关系之前,还包括,对所述第一存储节点的节点成本进行确定,其步骤包括:

获取与园区情报相关的所有存储节点,并在所有存储节点中寻找与所述目标园区相关的第一存储节点;

同时根据公式(2)寻找n个第一存储节点的节点成本s;

其中,n1表示第一存储节点进行区域切割之后的所有子区域;l表示所有子区域中的第l个子区域;c1l表示第l个子区域的计算成本;c2l表示第l个子区域的存储成本;f()表示第一存储节点的速度成本函数;其中,表示第一存储节点中的第l个子区域的存储容量rl与响应时间tl之间的关系;表示第一存储节点的平均响应速度;δ表示对速度成本的微量修正函数;

对获取的节点成本s进行成本优先级排序,并获取节点成本低的前第二预设数目个第一存储节点,实现与对应的所述目标园区的绑定。

技术总结
本发明提供了一种园区情报处理方法,包括:基于收集节点,对每个目标园区的园区情报进行分类收集;检测每个目标园区对应的第一存储节点,并根据检测结果,确定是否需要进行节点转移,若是,寻找第二存储节点;建立与第二存储节点和不需要节点转移的第一存储节点相关的情报服务链,并将分类收集的园区情报传输到情报服务平台;基于情报服务平台,对接收的园区情报进行预处理,得到情报推送信息,并推送到与目标园区对应的园区端进行显示。用以设置第一存储节点、节点转移的第二存储节点和建立情报传输链路,实现对情报数据的传输,可便于提高数据传输效率,同时,降低数据缺失的风险。

技术研发人员:吴海旋;张振流
受保护的技术使用者:深圳市恒悦创客空间有限公司
技术研发日:2020.01.14
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-55702.html

最新回复(0)