本发明属于数据处理技术领域,具体涉及一种基于学科评估平台的海量数据导入方法。
背景技术:
随着科技的发展,基于学科评估平台的智能化教学有效提高了教学效率和教学质量。例如,教师可以通过远程视频教学实现跨地域教学。又例如,学生可以通过电子终端进行在线学习和测试。随着互联网技术的发展和应用软件的成熟,计算机技术在各个行业及人们日常生活中被广泛使用,并且每天都在产生海量数据,为了挖据这些数据的价值,需要对这些数据进行统计分析,现有技术中针对基于学科评估平台的海量数据导入方法存在一些弊端,无法对海量数据进行良好的分类归纳整理,从而不便数据的找寻与本地磁盘的利用。
技术实现要素:
为解决上述背景技术中提出的问题。本发明提供了一种基于学科评估平台的海量数据导入方法,具有分纳整理与提高磁盘利用率的特点。
为实现上述目的,本发明提供如下技术方案:一种基于学科评估平台的海量数据导入方法,包括数据储存系统,所述数据储存系统包括中央处理器、获取模块、筛选模块、文件生成模块与储存模块,所述中央处理器通过5g与获取模块、筛选模块、文件生成模块、储存模块信号连接,所述获取模块与筛选模块信号连接,所述筛选模块与文件生成模块信号连接,所述文件生成模块与储存模块信号连接,其使用步骤为:
步骤一:通过中央处理器控制获取模块从数据库中获取数据;
步骤二:获取模块内部获取的数据通过信号传输给筛选模块;
步骤三:筛选模块对用户搜索次数不同和不同类型的数据进行分类归纳;
步骤四:分类归纳过后的数据经筛选模块传输给文件生成模块;
步骤五:文件生成模块对分类归纳后的数据进行集中生成写出;
步骤六:写出后的数据经文件生成模块传输给储存模块进行储存。
优选的,所述筛选模块包括数据解析模块、文件分类模块、数据整理模块与集中传输模块,所述文件分类模块与数据解析模块信号连接,所述数据解析模块与数据整理模块信号连接,所述数据整理模块与集中传输模块信号连接,其使用步骤为:
步骤一:数据解析模块会接收来自获取模块内部的数据,对其进行数据类型的不同与用户搜索次数的分析;
步骤二:数据处理模块对解析过后的数据进行分类整理;
步骤三;文件分类模块会对经数据处理模块分类整理过后的数据导入不同类型的空文件的内部;
步骤四:集中传输模块会对不同空文件内部的数据进行集中传输给文件生成模块。
优选的,所述文件生成模块包括空文件配置模块、数据写入模块与数据上传模块,所述空文件配置模块与数据写入模块信号连接,所述空文件配置模块与数据上传模块信号连接,其使用步骤为:
步骤一:数据写入模块会接收来自集中传输模块内的数据文件;
步骤二:空文件配置模块会在文件生成模块的内部配置出与数据类型相适配的空文件;
步骤三:数据写入模块会在空文件的内部写入与空文件相适配的同类型数据;
步骤四:数据上传模块会上传写入完成的数据文件给储存模块。
优选的,所述储存模块包括数据乱序处理模块与储存文件命名模块,其使用步骤为:
步骤一:数据乱序处理模块会接收来自数据上传模块内部的数据对其乱序的排列进行顺序排列;
步骤二:储存文件命名模块会对同类型的数据文件进行与之相对应的命名。
与现有技术相比,本发明的有益效果是:
本发明,通过设置中央处理器、获取模块、筛选模块、文件生成模块与储存模块,在实际的使用中,通过上述之间的配合,可对海量数据根据搜索次数与类型的不同进行集中分类处理,从而不仅方便了数据的找寻,而且可对一些长时间未使用与检索到的数据进行集中分类,从而方便删除与集中处理。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明中数据储存系统的结构示意图;
图2为本发明中筛选模块的结构示意图;
图3为本发明中文件生成模块的结构示意图;
图4为本发明中储存模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
请参阅图1-4,本发明提供以下技术方案:一种基于学科评估平台的海量数据导入方法,包括数据储存系统,所述数据储存系统包括中央处理器、获取模块、筛选模块、文件生成模块与储存模块,所述中央处理器通过5g与获取模块、筛选模块、文件生成模块、储存模块信号连接,所述获取模块与筛选模块信号连接,所述筛选模块与文件生成模块信号连接,所述文件生成模块与储存模块信号连接,通过设置中央处理器、获取模块、筛选模块、文件生成模块与储存模块,在实际的使用中,通过上述之间的配合,可对海量数据根据搜索次数与类型的不同进行集中分类处理,从而不仅方便了数据的找寻,而且可对一些长时间未使用与检索到的数据进行集中分类,从而方便删除与集中处理,其使用步骤为:
步骤一:通过中央处理器控制获取模块从数据库中获取数据;
步骤二:获取模块内部获取的数据通过信号传输给筛选模块;
步骤三:筛选模块对用户搜索次数不同和不同类型的数据进行分类归纳;
步骤四:分类归纳过后的数据经筛选模块传输给文件生成模块;
步骤五:文件生成模块对分类归纳后的数据进行集中生成写出;
步骤六:写出后的数据经文件生成模块传输给储存模块进行储存。
具体的,所述筛选模块包括数据解析模块、文件分类模块、数据整理模块与集中传输模块,所述文件分类模块与数据解析模块信号连接,所述数据解析模块与数据整理模块信号连接,所述数据整理模块与集中传输模块信号连接,在数据解析模块的作用下会对数据进行精准的分析,从而方便数据的分类整理,其使用步骤为:
步骤一:数据解析模块会接收来自获取模块内部的数据,对其进行数据类型的不同与用户搜索次数的分析;
步骤二:数据处理模块对解析过后的数据进行分类整理;
步骤三;文件分类模块会对经数据处理模块分类整理过后的数据导入不同类型的空文件的内部;
步骤四:集中传输模块会对不同空文件内部的数据进行集中传输给文件生成模块。
具体的,所述文件生成模块包括空文件配置模块、数据写入模块与数据上传模块,所述空文件配置模块与数据写入模块信号连接,所述空文件配置模块与数据上传模块信号连接,在数据写入模块与空文件配置文件模块的配合下,可对数据文件按照类型写进相同的空文件内部,从而方便数据的分类,其使用步骤为:
步骤一:数据写入模块会接收来自集中传输模块内的数据文件;
步骤二:空文件配置模块会在文件生成模块的内部配置出与数据类型相适配的空文件;
步骤三:数据写入模块会在空文件的内部写入与空文件相适配的同类型数据;
步骤四:数据上传模块会上传写入完成的数据文件给储存模块。
具体的,所述储存模块包括数据乱序处理模块与储存文件命名模块,在数据乱序处理模块的作用下,可对杂乱无章的数据文件进行顺序排列,从而方便后续数据文件的找寻,其使用步骤为:
步骤一:数据乱序处理模块会接收来自数据上传模块内部的数据对其乱序的排列进行顺序排列;
步骤二:储存文件命名模块会对同类型的数据文件进行与之相对应的命名。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
1.一种基于学科评估平台的海量数据导入方法,包括数据储存系统,其特征在于:所述数据储存系统包括中央处理器、获取模块、筛选模块、文件生成模块与储存模块,所述中央处理器通过5g与获取模块、筛选模块、文件生成模块、储存模块信号连接,所述获取模块与筛选模块信号连接,所述筛选模块与文件生成模块信号连接,所述文件生成模块与储存模块信号连接,其使用步骤为:
步骤一:通过中央处理器控制获取模块从数据库中获取数据;
步骤二:获取模块内部获取的数据通过信号传输给筛选模块;
步骤三:筛选模块对用户搜索次数不同和不同类型的数据进行分类归纳;
步骤四:分类归纳过后的数据经筛选模块传输给文件生成模块;
步骤五:文件生成模块对分类归纳后的数据进行集中生成写出;
步骤六:写出后的数据经文件生成模块传输给储存模块进行储存。
2.根据权利要求1所述的一种基于学科评估平台的海量数据导入方法,其特征在于:所述筛选模块包括数据解析模块、文件分类模块、数据整理模块与集中传输模块,所述文件分类模块与数据解析模块信号连接,所述数据解析模块与数据整理模块信号连接,所述数据整理模块与集中传输模块信号连接,其使用步骤为:
步骤一:数据解析模块会接收来自获取模块内部的数据,对其进行数据类型的不同与用户搜索次数的分析;
步骤二:数据处理模块对解析过后的数据进行分类整理;
步骤三;文件分类模块会对经数据处理模块分类整理过后的数据导入不同类型的空文件的内部;
步骤四:集中传输模块会对不同空文件内部的数据进行集中传输给文件生成模块。
3.根据权利要求1所述的一种基于学科评估平台的海量数据导入方法,其特征在于:所述文件生成模块包括空文件配置模块、数据写入模块与数据上传模块,所述空文件配置模块与数据写入模块信号连接,所述空文件配置模块与数据上传模块信号连接,其使用步骤为:
步骤一:数据写入模块会接收来自集中传输模块内的数据文件;
步骤二:空文件配置模块会在文件生成模块的内部配置出与数据类型相适配的空文件;
步骤三:数据写入模块会在空文件的内部写入与空文件相适配的同类型数据;
步骤四:数据上传模块会上传写入完成的数据文件给储存模块。
4.根据权利要求1所述的一种基于学科评估平台的海量数据导入方法,其特征在于:所述储存模块包括数据乱序处理模块与储存文件命名模块,其使用步骤为:
步骤一:数据乱序处理模块会接收来自数据上传模块内部的数据对其乱序的排列进行顺序排列;
步骤二:储存文件命名模块会对同类型的数据文件进行与之相对应的命名。
技术总结