一种基于职教诊改平台的数据管理方法与流程

专利2022-06-30  61


本发明涉及数据处理技术领域,具体而言,涉及一种基于职教诊改平台的数据管理方法。



背景技术:

职教诊改平台是一个针对职业教育诊断改进的教育化平台。职教诊改是一种研究活动,它在教学实践和教学理论之间架起一座桥梁,为教师的专业发展提供了一条很好的途径.通过课堂观察,教师借助合作的力量在实践性知识、反省能力等方面将获得新的发展,进而提高教师的整体教学质量。职教诊改平台,不仅仅是平台学习的过程,同时也是师生情感体验、心智培养的过程,好的职教诊改平台应该让情感飞扬,让大家带着激情参与学习活动,在这里,教师有一个用心调控、因势利导、适时收放的艰巨任务。

但是,在实践过程中,发现:由于用户的个人教学教育信息需要通过职教诊改平台服务器统一储存,但是现有的对上述用户的个人教学教育信息进行存储的方法,一般都是直接将用户的个人教学教育信息直接储存至职教诊改平台服务器中,从而造成职教诊改平台服务器因数据量过大而影响运行效率,不便于进行数据的高效运行管理,且数据的安全性远远不够。



技术实现要素:

为了至少克服现有技术中的上述不足,本申请的目的在于提供一种基于职教诊改平台的数据管理方法,可以将数据信息按照模型学习分发到地理分散的数据存储节点中,以提高数据存储的安全性,并减少对职教诊改平台服务器的储存压力,提升职教诊改平台服务器整体运行效率。

本发明公开了一种基于职教诊改平台的数据管理方法,应用于职教诊改平台服务器,所述职教诊改平台服务器与至少一个分散的数据存储分布节点通信连接,所述方法包括:

s1、所述职教诊改平台服务器先通过所述数据存储分布节点获取数据信息,并对数据信息进行识别得到数据代码;所述步骤s1的具体流程包括有:s11、所述职教诊改平台服务器的应用程序在运行过程中产生用于指示从所述数据存储分布节点获得数据信息的获取信号;s12、所述职教诊改平台服务器接收所述获取信号,并根据云端服务器的运载方式确定所述获取信号的数据格式;在步骤s12中,所述职教诊改平台服务器根据云端服务器的运载方式确定所述获取信号的数据格式,便于达到快速响应所述获取信号的获取速度以及相对应数据量的数据代码的平衡目的;s13、当确定以第一数据格式响应所述获取信号时,所述职教诊改平台服务器将所述获取信号发送至所述数据存储分布节点,并直接从所述数据存储分布节点获得第一数据量的所述数据信息;s14、当确定以第二数据格式响应所述获取信号时,所述职教诊改平台服务器将所述获取信号发送至云端服务器中并获得经所述云端服务器依据获取信号从所述数据存储分布节点获得第一数据量并加工扩展形成第二数据量的所述数据信息;s15、所述职教诊改平台服务器对所获取的数据信息进行识别得到数据代码。

s2、对数据代码进行加工形成数据序列,所述数据序列包括有已识别出的数据储存特征以及储存标签,所述数据储存特征用于识别数据类型,所述储存标签为加密标签或非加密标签;所述步骤s2的具体流程包括有:s21、对所述数据代码按照数据拆分方法进行拆分形成若干个数据片段,每个所述数据片段至少含有若干个数据特征值;在步骤s21中,对所述数据代码按照数据拆分方法进行拆分形成若干个数据片段,具体包括有:s211、先根据步骤s1中的所述职教诊改平台服务器对所获取的数据信息进行识别得到的数据代码,确定若干个所述数据代码中的数据特征值;s212、根据所述数据代码中的数据特征值在所述数据代码中的间隔长度,确定所述数据片段的长度;s213、根据所述数据片段的长度,基于所述数据代码的数据排列格式,依序截取相对应长度的数据代码以形成一个数据片段;s214、按照确定的数据片段的长度,对所述数据代码进行拆分形成若干个数据片段;s22、在每个所述数据片段的首端添加用于识别数据类型的数据储存特征以形成数据子片段;s23、将全部的数据子片段按照数据拆分方法重新合并形成数据子序列,该数据子序列中含有至少一个用于识别数据类型的数据储存特征;s24、在所述数据子序列的尾端添加用于识别数据加密类型的储存标签以形成数据序列。

s3、以所述数据储存特征作为存储控制单元的输入特征,以所述存储标签作为所述存储控制单元的输出特征,构建对应的存储控制单元;所述步骤s3的具体流程包括有:s31、以所述数据储存特征作为存储控制单元的输入特征,将所述数据储存特征输入到所述存储控制单元中,通过所述存储控制单元解析所述数据储存特征在目标预设数据段内的目标存储特征,所述目标存储特征包括目标存储特征节点序列;s32、根据对所述目标存储特征节点序列进行散列处理,得到多个目标存储特征节点;s33、根据所述目标存储特征所对应的特征向量确定多个第一训练模型,所述多个第一训练模型分别为所述多个目标存储特征节点在所述存储控制单元中训练的训练模型;在步骤s33中,所述存储控制单元用于学习多个目标存储特征节点序列进行散列处理之后的目标存储特征节点,以及散列处理后的各个目标存储特征节点在所述存储控制单元中表达的训练模型,所述多个目标存储特征节点序列为在所述目标预设数据段内获取到的多个目标存储特征所包括的目标存储特征节点序列;s34、按照所述多个第一训练模型中的每个第一训练模型从高优先级到低优先级的顺序,对所述多个第一训练模型进行排序,得到训练模型序列;s35、基于预设相似比例阈值和所述训练模型序列,确定所述多个目标存储特征节点中的目标存储特征节点在所述存储控制单元中表达的训练模型;在步骤s35中,所述预设相似比例阈值用于指示所述目标存储特征节点序列与目标预设数据段内获取的目标存储特征节点序列相似部分在所述目标存储特征节点序列中所占的比例;s36、当所述目标存储特征节点在所述存储控制单元中表达的训练模型匹配预设训练模型时,确定所述目标存储特征为可学习目标存储特征;当确定该目标存储特征为可学习目标存储特征时,对于所述多个第一训练模型中的每个第一训练模型,根据所述第一训练模型控制所述存储控制单元学习在所述目标预设数据段内接收的多个目标存储特征节点序列进行散列处理之后的目标存储特征节点,以及散列处理后的各个目标存储特征节点在所述存储控制模型中表达的训练模型,并在训练之后生成预测标签;s37、根据所述预测标签和所述存储标签更新所述存储控制单元的模型参数。

s4、识别待分发存储的数据序列的数据储存特征,根据所述存储控制单元对所述每个待分发存储的数据序列的数据储存特征进行特征识别与预测,生成所述每个待分发存储的数据序列所对应的存储标签;

s5、根据储存标签,对数据序列进行标签处理,并将经标签处理后的数据序列按照数据储存特征,进行分类储存至相对应的至少一个数据存储节点中。所述步骤s5的具体流程包括有:s51、根据所述每个待分发存储的数据序列所对应的存储标签对数据序列进行标签处理,并依据数据储存特征,生成对应的第一存储分片序列;s52、针对所述第一存储分片序列中的每个存储分片,计算该存储分片与上一次第二存储分片序列中与该存储分片所对应的存储分片之间的分发偏移参数;s53、根据所述分发偏移参数和该存储分片在所述第一存储分片序列中所对应的分发向量确定所述第一存储分片序列与所述第二存储分片序列在该存储分片上的分发参考序列;s54、根据所述第一存储分片序列与其它第二存储分片序列在每个存储分片上的分发参考序列,确定所述第一存储分片序列中需分发存储至相对应的至少一个数据存储节点中的数据序列。

本发明还公开了一种基于职教诊改平台的数据管理方法的装置,其特征在于,应用于所述的一种基于职教诊改平台的数据管理方法,包括:

获取处理模块,用于获取数据信息,并对数据信息进行识别得到数据代码;并对数据代码进行加工形成数据序列,所述数据序列包括有已识别出的数据储存特征以及储存标签,所述数据储存特征用于识别数据类型,所述储存标签为加密标签或非加密标签;

搭建控制模块,用于以所述数据储存特征作为存储控制单元的输入特征,以所述存储标签作为所述存储控制单元的输出特征,构建对应的存储控制单元;

标签处理模块,用于识别待分发存储的数据序列的数据储存特征,根据所述存储控制单元对所述每个待分发存储的数据序列的数据储存特征进行特征识别与预测,生成每个待分发存储的数据序列所对应的存储标签;

以及分类存储模块,用于根据储存标签,对数据序列进行标签处理,并将经标签处理后的数据序列按照数据储存特征,进行分类储存至相对应的至少一个数据存储节点中。

基于上述任意一个方面,本发明通过以所述数据储存特征作为存储控制单元的输入特征,以所述存储标签作为所述存储控制单元的输出特征,构建对应的存储控制单元,然后识别待分发存储的数据序列的数据储存特征,根据所述存储控制单元对所述每个待分发存储的数据序列的数据储存特征进行特征识别与预测,生成每个待分发存储的数据序列所对应的存储标签,根据储存标签,对数据序列进行标签处理,并将经标签处理后的数据序列按照数据储存特征,进行分类储存至相对应的至少一个数据存储节点中。如此,本发明可以将数据信息按照模型学习分发到地理分散的数据存储节点中,以提高数据存储的安全性,并减少对职教诊改平台服务器的储存压力,优化数据管理流程,便于对数据信息进行精准化储存管理,提升职教诊改平台服务器整体运行效率。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种基于职教诊改平台的数据管理方法的控制流程图。

具体实施方式

下面结合说明书附图对本申请进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。在本申请的描述中,除非另有说明,“至少一个”包括一个或多个。“多个”是指两个或两个以上。例如,a、b和c中的至少一个,包括:单独存在a、单独存在b、同时存在a和b、同时存在a和c、同时存在b和c,以及同时存在a、b和c。在本申请中,“/”表示或的意思,例如,a/b可以表示a或b;本文中的“和/或”仅仅是一种描述关联设备的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。

图1是本发明实施例提供的一种基于职教诊改平台的数据管理方法的控制流程图,仅为一种可行的示例。在一些实施例中,所述职教诊改平台服务器可以是单个服务器,也可以是一个服务器组。所述职教诊改平台服务器的服务器组可以是集中式的,也可以是分布式的(例如,所述职教诊改平台服务器可以是分布式系统)。在一些实施例中,所述职教诊改平台服务器相对于数据存储分布节点,可以是本地的、也可以是远程的。例如,所述职教诊改平台服务器可以经由网络访问存储在数据存储分布节点以及数据库、或其任意组合中的信息。所述职教诊改平台服务器可以直接连接到数据存储分布节点和数据库中的至少一个,以访问其中存储的信息和/或数据。在一些实施例中,所述职教诊改平台服务器可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(communitycloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等,或者它们的任意组合。

在一些实施例中,所述职教诊改平台服务器可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据,以执行本申请中描述的一个或多个功能。处理器可以包括一个或多个处理核(例如,单核处理器(s)或多核处理器(s))。仅作为举例,处理器可以包括中央处理单元(centralprocessingunit,cpu)、专用集成电路(applicationspecificintegratedcircuit,asic)、专用指令集处理器(applicationspecificinstruction-setprocessor,asip)、图形处理单元(graphicsprocessingunit,gpu)、物理处理单元(physicsprocessingunit,ppu)、数字信号处理器(digitalsignalprocessor,dsp)、现场可编程门阵列(fieldprogrammablegatearray,fpga)、可编程逻辑器件(programmablelogicdevice,pld)、控制器、微控制器单元、简化指令集计算机(reducedinstructionsetcomputing,risc)、或微处理器等,或其任意组合。

网络可以用于信息和/或数据的交换。在一些实施例中,所述职教诊改平台服务器的基于职教诊改平台的数据管理方法的装置中的一个或多个组件(例如,服务器,数据存储分布节点和数据库)可以向其他组件发送信息和/或数据。在一些实施例中,网络可以是任何类型的有线或者无线网络,或者是他们的结合。仅作为示例,网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(localareanetwork,lan)、广域网(wideareanetwork,wan)、无线局域网(wirelesslocalareanetworks,wlan)、城域网(metropolitanareanetwork,man)、广域网(wideareanetwork,wan)、公共电话交换网(publicswitchedtelephonenetwork,pstn)、蓝牙网络、zigbee网络、或近场通信(nearfieldcommunication,nfc)网络等,或其任意组合。在一些实施例中,网络可以包括一个或多个网络接入点。例如,网络可以包括有线或无线网络接入点,例如基站和/或网络交换节点,所述职教诊改平台服务器的基于职教诊改平台的数据管理方法的装置中的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。

前述的数据库可以存储数据和/或指令。在一些实施例中,数据库可以存储向数据存储分布节点分配的数据。在一些实施例中,数据库可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中,数据库可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(read-onlymemory,rom)等,或其任意组合。作为举例,大容量存储器可以包括磁盘、光盘、固态驱动器等;可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等;易失性读写存储器可以包括随机存取存储器(randomaccessmemory,ram);ram可以包括动态ram(dynamicrandomaccessmemory,dram),双倍数据速率同步动态ram(doubledate-ratesynchronousram,ddrsdram);静态ram(staticrandom-accessmemory,sram),晶闸管ram(thyristor-basedrandomaccessmemory,t-ram)和零电容器ram(zero-ram)等。作为举例,rom可以包括掩模rom(maskread-onlymemory,mrom)、可编程rom(programmableread-onlymemory,prom)、可擦除可编程rom(programmableerasableread-onlymemory,perom)、电可擦除可编程rom(electricallyerasableprogrammablereadonlymemory,eeprom)、光盘rom(cd-rom)、以及数字通用磁盘rom等。在一些实施例中,数据库可以在云平台上实现。仅作为示例,云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等,或其任意组合。

在一些实施例中,数据库可以连接到网络以与所述职教诊改平台服务器的基于职教诊改平台的数据管理方法的装置(例如,服务器,数据存储分布节点等)中的一个或多个组件通信。所述职教诊改平台服务器的基于职教诊改平台的数据管理方法的装置中的一个或多个组件可以经由网络访问存储在数据库中的数据或指令。在一些实施例中,数据库可以直接连接到所述职教诊改平台服务器的基于职教诊改平台的数据管理方法的装置中的一个或多个组件(例如,服务器,数据存储分布节点等;或者,在一些实施例中,数据库也可以是服务器的一部分。

在本实施例中,该服务器可以为职教诊改平台服务器,该职教诊改平台服务器与用户在线学习所使用的终端共同组成职教诊改系统。

详细地,本发明实施例公开了一种基于职教诊改平台的数据管理方法,应用于职教诊改平台服务器,所述职教诊改平台服务器与至少一个分散的数据存储分布节点通信连接,所述方法包括:

s1、所述职教诊改平台服务器先通过所述数据存储分布节点获取数据信息,并对数据信息进行识别得到数据代码:所述职教诊改平台服务器的应用程序在运行过程中产生用于指示从所述数据存储分布节点获得数据信息的获取信号0101;所述职教诊改平台服务器接收所述获取信号0101,并根据云端服务器的运载方式0确定所述获取信号的第一数据格式0;在步骤s12中,所述职教诊改平台服务器根据云端服务器的运载方式确定所述获取信号的数据格式,便于达到快速响应所述获取信号的获取速度以及相对应数据量的数据代码的平衡目的;确定以第一数据格式0响应所述获取信号0101,所述职教诊改平台服务器将所述获取信号0101发送至所述数据存储分布节点,并直接从所述数据存储分布节点获得第一数据量“我爱中国”的所述数据信息:“我爱中国”;所述职教诊改平台服务器对所获取的数据信息“我爱中国”进行识别得到数据代码0100011001110101。

s2、对数据代码0100011001110101进行加工形成数据序列:所述步骤s2的具体流程包括有:s211、先根据步骤s1中的所述职教诊改平台服务器对所获取的数据信息进行识别得到的数据代码0100011001110101,确定若干个所述数据代码中的数据特征值“01”;s212、根据所述数据代码中的数据特征值“01”在所述数据代码中的间隔长度2,确定所述数据片段的长度4;s213、根据所述数据片段的长度4,基于所述数据代码码0100011001110101的数据排列格式,从左到右依序截取相对应长度4的数据代码码0100011001110101以形成一个数据片段0110;s214、按照确定的数据片段的长度4,对所述数据代码0100011001110101进行拆分形成4个数据片段,分别是0100、0110、0111以及0101;

s22、在每个所述数据片段的首端添加用于识别数据类型的数据储存特征1以形成数据子片段,具体数据子片段分别为10100、10110、10111以及10101;

s23、将全部的数据子片段按照数据拆分方法重新合并形成数据子序列,该数据子序列中含有至少一个用于识别数据类型的数据储存特征,具体数据子序列为10100101101011110101;

s24、在所述数据子序列10100101101011110101的尾端添加用于识别数据加密类型的储存标签“1”以形成数据序列101001011010111101011。

s3、以所述数据储存特征“01”作为存储控制单元的输入特征,以所述存储标签“1”作为所述存储控制单元的输出特征,构建对应的存储控制单元;所述步骤s3的具体流程包括有:s31、以所述数据储存特征“01”作为存储控制单元的输入特征,将所述数据储存特征“01”输入到所述存储控制单元中,通过所述存储控制单元解析所述数据储存特征“01”在目标预设数据段内的目标存储特征,所述目标存储特征包括目标存储特征节点序列;s32、根据对所述目标存储特征节点序列进行散列处理,得到多个目标存储特征节点;s33、根据所述目标存储特征所对应的特征向量确定多个第一训练模型,所述多个第一训练模型分别为所述多个目标存储特征节点在所述存储控制单元中训练的训练模型;在步骤s33中,所述存储控制单元用于学习多个目标存储特征节点序列进行散列处理之后的目标存储特征节点,以及散列处理后的各个目标存储特征节点在所述存储控制单元中表达的训练模型,所述多个目标存储特征节点序列为在所述目标预设数据段内获取到的多个目标存储特征所包括的目标存储特征节点序列;s34、按照所述多个第一训练模型中的每个第一训练模型从高优先级到低优先级的顺序,对所述多个第一训练模型进行排序,得到训练模型序列;s35、基于预设相似比例阈值和所述训练模型序列,确定所述多个目标存储特征节点中的目标存储特征节点在所述存储控制单元中表达的训练模型;在步骤s35中,所述预设相似比例阈值用于指示所述目标存储特征节点序列与目标预设数据段内获取的目标存储特征节点序列相似部分在所述目标存储特征节点序列中所占的比例;s36、当所述目标存储特征节点在所述存储控制单元中表达的训练模型匹配预设训练模型时,确定所述目标存储特征为可学习目标存储特征;当确定该目标存储特征为可学习目标存储特征时,对于所述多个第一训练模型中的每个第一训练模型,根据所述第一训练模型控制所述存储控制单元学习在所述目标预设数据段内接收的多个目标存储特征节点序列进行散列处理之后的目标存储特征节点,以及散列处理后的各个目标存储特征节点在所述存储控制模型中表达的训练模型,并在训练之后生成预测标签;s37、根据所述预测标签和所述存储标签更新所述存储控制单元的模型参数。

s4、识别待分发存储的数据序列的数据储存特征“01”,根据所述存储控制单元对所述每个待分发存储的数据序列0100011001110101的数据储存特征“01”进行特征识别与预测,生成所述每个待分发存储的数据序列所对应的存储标签“1”;

s5、根据储存标签“1”,对数据序列0100011001110101进行标签处理得到新数据序列101001011010111101011,并将经标签处理后的新数据序列101001011010111101011按照数据储存特征“01”,进行分类储存至相对应的至少一个数据存储节点中。所述步骤s5的具体流程包括有:s51、根据所述每个待分发存储的数据序列0100011001110101所对应的存储标签“1”对数据序列0100011001110101进行标签处理,并依据数据储存特征“01”,生成对应的第一存储分片序列101001011010111101011;s52、针对所述第一存储分片序列101001011010111101011中的每个存储分片,计算该存储分片与上一次第二存储分片序列中与该存储分片所对应的存储分片之间的分发偏移参数为0;s53、根据所述分发偏移参数为0和该存储分片在所述第一存储分片序列中所对应的分发向量确定所述第一存储分片序列与所述第二存储分片序列在该存储分片上的分发参考序列101001011010111101011;s54、根据所述第一存储分片序列与其它第二存储分片序列在每个存储分片上的分发参考序列,确定所述第一存储分片序列中需分发存储至相对应的至少一个数据存储节点中的数据序列101001011010111101011。

本发明实施例还公开了一种基于职教诊改平台的数据管理方法的装置,应用于所述的一种基于职教诊改平台的数据管理方法,包括:

获取处理模块,用于获取数据信息,并对数据信息进行识别得到数据代码;并对数据代码进行加工形成数据序列,所述数据序列包括有已识别出的数据储存特征以及储存标签,所述数据储存特征用于识别数据类型,所述储存标签为加密标签或非加密标签;

搭建控制模块,用于以所述数据储存特征作为存储控制单元的输入特征,以所述存储标签作为所述存储控制单元的输出特征,构建对应的存储控制单元;

标签处理模块,用于识别待分发存储的数据序列的数据储存特征,根据所述存储控制单元对所述每个待分发存储的数据序列的数据储存特征进行特征识别与预测,生成每个待分发存储的数据序列所对应的存储标签;

以及分类存储模块,用于根据储存标签,对数据序列进行标签处理,并将经标签处理后的数据序列按照数据储存特征,进行分类储存至相对应的至少一个数据存储节点中。

基于上述任意一个方面,本发明通过以所述数据储存特征作为存储控制单元的输入特征,以所述存储标签作为所述存储控制单元的输出特征,构建对应的存储控制单元,然后识别待分发存储的数据序列的数据储存特征,根据所述存储控制单元对所述每个待分发存储的数据序列的数据储存特征进行特征识别与预测,生成每个待分发存储的数据序列所对应的存储标签,根据储存标签,对数据序列进行标签处理,并将经标签处理后的数据序列按照数据储存特征,进行分类储存至相对应的至少一个数据存储节点中。如此,本发明可以将数据信息按照模型学习分发到地理分散的数据存储节点中,以提高数据存储的安全性,并减少对职教诊改平台服务器的储存压力,优化数据管理流程,便于对数据信息进行精准化储存管理,提升职教诊改平台服务器整体运行效率。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。


技术特征:

1.一种基于职教诊改平台的数据管理方法,其特征在于,应用于职教诊改平台服务器,所述职教诊改平台服务器与至少一个分散的数据存储分布节点通信连接,所述方法包括:

s1、所述职教诊改平台服务器先通过所述数据存储分布节点获取数据信息,并对数据信息进行识别得到数据代码;

s2、对数据代码进行加工形成数据序列,所述数据序列包括有已识别出的数据储存特征以及储存标签,所述数据储存特征用于识别数据类型,所述储存标签为加密标签或非加密标签;

s3、以所述数据储存特征作为存储控制单元的输入特征,以所述存储标签作为所述存储控制单元的输出特征,构建对应的存储控制单元;

s4、识别待分发存储的数据序列的数据储存特征,根据所述存储控制单元对所述每个待分发存储的数据序列的数据储存特征进行特征识别与预测,生成所述每个待分发存储的数据序列所对应的存储标签;

s5、根据储存标签,对数据序列进行标签处理,并将经标签处理后的数据序列按照数据储存特征,进行分类储存至相对应的至少一个数据存储节点中。

2.根据权利要求1所述的基于职教诊改平台的数据管理方法,其特征在于,所述步骤s1的具体流程包括有:

s11、所述职教诊改平台服务器的应用程序在运行过程中产生用于指示从所述数据存储分布节点获得数据信息的获取信号;

s12、所述职教诊改平台服务器接收所述获取信号,并根据云端服务器的运载方式确定所述获取信号的数据格式;

s13、当确定以第一数据格式响应所述获取信号时,所述职教诊改平台服务器将所述获取信号发送至所述数据存储分布节点,并直接从所述数据存储分布节点获得第一数据量的所述数据信息;

s14、当确定以第二数据格式响应所述获取信号时,所述职教诊改平台服务器将所述获取信号发送至云端服务器中并获得经所述云端服务器依据获取信号从所述数据存储分布节点获得第一数据量并加工扩展形成第二数据量的所述数据信息;

s15、所述职教诊改平台服务器对所获取的数据信息进行识别得到数据代码。

3.根据权利要求1所述的基于职教诊改平台的数据管理方法,其特征在于,在步骤s12中,所述职教诊改平台服务器根据云端服务器的运载方式确定所述获取信号的数据格式,便于达到快速响应所述获取信号的获取速度以及相对应数据量的数据代码的平衡目的。

4.根据权利要求1所述的基于职教诊改平台的数据管理方法,其特征在于,所述步骤s2的具体流程包括有:

s21、对所述数据代码按照数据拆分方法进行拆分形成若干个数据片段,每个所述数据片段至少含有若干个数据特征值;

s22、在每个所述数据片段的首端添加用于识别数据类型的数据储存特征以形成数据子片段;

s23、将全部的数据子片段按照数据拆分方法重新合并形成数据子序列,该数据子序列中含有至少一个用于识别数据类型的数据储存特征;

s24、在所述数据子序列的尾端添加用于识别数据加密类型的储存标签以形成数据序列。

5.根据权利要求1所述的基于职教诊改平台的数据管理方法,其特征在于,在步骤s21中,对所述数据代码按照数据拆分方法进行拆分形成若干个数据片段,具体包括有:

s211、先根据步骤s1中的所述职教诊改平台服务器对所获取的数据信息进行识别得到的数据代码,确定若干个所述数据代码中的数据特征值;

s212、根据所述数据代码中的数据特征值在所述数据代码中的间隔长度,确定所述数据片段的长度;

s213、根据所述数据片段的长度,基于所述数据代码的数据排列格式,依序截取相对应长度的数据代码以形成一个数据片段;

s214、按照确定的数据片段的长度,对所述数据代码进行拆分形成若干个数据片段。

6.根据权利要求1所述的基于职教诊改平台的数据管理方法,其特征在于,所述步骤s3的具体流程包括有:

s31、以所述数据储存特征作为存储控制单元的输入特征,将所述数据储存特征输入到所述存储控制单元中,通过所述存储控制单元解析所述数据储存特征在目标预设数据段内的目标存储特征,所述目标存储特征包括目标存储特征节点序列;

s32、根据对所述目标存储特征节点序列进行散列处理,得到多个目标存储特征节点;

s33、根据所述目标存储特征所对应的特征向量确定多个第一训练模型,所述多个第一训练模型分别为所述多个目标存储特征节点在所述存储控制单元中训练的训练模型;

s34、按照所述多个第一训练模型中的每个第一训练模型从高优先级到低优先级的顺序,对所述多个第一训练模型进行排序,得到训练模型序列;

s35、基于预设相似比例阈值和所述训练模型序列,确定所述多个目标存储特征节点中的目标存储特征节点在所述存储控制单元中表达的训练模型;

s36、当所述目标存储特征节点在所述存储控制单元中表达的训练模型匹配预设训练模型时,确定所述目标存储特征为可学习目标存储特征;当确定该目标存储特征为可学习目标存储特征时,对于所述多个第一训练模型中的每个第一训练模型,根据所述第一训练模型控制所述存储控制单元学习在所述目标预设数据段内接收的多个目标存储特征节点序列进行散列处理之后的目标存储特征节点,以及散列处理后的各个目标存储特征节点在所述存储控制模型中表达的训练模型,并在训练之后生成预测标签;

s37、根据所述预测标签和所述存储标签更新所述存储控制单元的模型参数。

7.根据权利要求6所述的基于职教诊改平台的数据管理方法,其特征在于,在步骤s33中,所述存储控制单元用于学习多个目标存储特征节点序列进行散列处理之后的目标存储特征节点,以及散列处理后的各个目标存储特征节点在所述存储控制单元中表达的训练模型,所述多个目标存储特征节点序列为在所述目标预设数据段内获取到的多个目标存储特征所包括的目标存储特征节点序列。

8.根据权利要求7所述的基于职教诊改平台的数据管理方法,其特征在于,在步骤s35中,所述预设相似比例阈值用于指示所述目标存储特征节点序列与目标预设数据段内获取的目标存储特征节点序列相似部分在所述目标存储特征节点序列中所占的比例。

9.根据权利要求1所述的基于职教诊改平台的数据管理方法,其特征在于,所述步骤s5的具体流程包括有:

s51、根据所述每个待分发存储的数据序列所对应的存储标签对数据序列进行标签处理,并依据数据储存特征,生成对应的第一存储分片序列;

s52、针对所述第一存储分片序列中的每个存储分片,计算该存储分片与上一次第二存储分片序列中与该存储分片所对应的存储分片之间的分发偏移参数;

s53、根据所述分发偏移参数和该存储分片在所述第一存储分片序列中所对应的分发向量确定所述第一存储分片序列与所述第二存储分片序列在该存储分片上的分发参考序列;

s54、根据所述第一存储分片序列与其它第二存储分片序列在每个存储分片上的分发参考序列,确定所述第一存储分片序列中需分发存储至相对应的至少一个数据存储节点中的数据序列。

10.一种基于职教诊改平台的数据管理方法的装置,其特征在于,应用于权利要求1所述的一种基于职教诊改平台的数据管理方法,包括:

获取处理模块,用于获取数据信息,并对数据信息进行识别得到数据代码;并对数据代码进行加工形成数据序列,所述数据序列包括有已识别出的数据储存特征以及储存标签,所述数据储存特征用于识别数据类型,所述储存标签为加密标签或非加密标签;

搭建控制模块,用于以所述数据储存特征作为存储控制单元的输入特征,以所述存储标签作为所述存储控制单元的输出特征,构建对应的存储控制单元;

标签处理模块,用于识别待分发存储的数据序列的数据储存特征,根据所述存储控制单元对所述每个待分发存储的数据序列的数据储存特征进行特征识别与预测,生成每个待分发存储的数据序列所对应的存储标签;

以及分类存储模块,用于根据储存标签,对数据序列进行标签处理,并将经标签处理后的数据序列按照数据储存特征,进行分类储存至相对应的至少一个数据存储节点中。

技术总结
本发明涉及数据处理技术领域,涉及一种基于职教诊改平台的数据管理方法,具体步骤有S1、获取数据信息,并对数据信息进行识别得到数据代码;S2、对数据代码进行加工形成数据序列;S3、构建对应的存储控制单元;S4、生成所述每个待分发存储的数据序列所对应的存储标签;S5、根据储存标签,对数据序列进行标签处理,并将经标签处理后的数据序列按照数据储存特征,进行分类储存至相对应的至少一个数据存储节点中。本发明将数据信息按照模型学习分发到地理分散的数据存储节点中,以提高数据存储的安全性,并减少对职教诊改平台服务器的储存压力,优化数据管理流程,便于对数据信息进行精准化储存管理,提升职教诊改平台服务器整体运行效率。

技术研发人员:吴兆明;吴洋洋;谭怡;邓雄尧;陈敏浩;邓玲林
受保护的技术使用者:广州欧赛斯信息科技有限公司
技术研发日:2020.02.03
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-58245.html

最新回复(0)