本发明涉及一种大数据分析系统。
背景技术:
大数据一般是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。因此,对于大数据的分析至关重要。大数据的分析应用于很多领域场合,比如对商业大数据的分析,比如对消费数据的分析和物价数据的分析,网络大数据分析等等。但是,目前的大数据分析系统只能进行简单的数据分析处理,随着计算机智能化的提升,现在的大数据分析系统可靠性较低,无法满足越来越高的要求。
技术实现要素:
本发明的目的在于提供一种大数据分析系统,用于解决现在的大数据分析系统可靠性较低,无法满足越来越高的要求的问题。
为了解决上述问题,本发明采用以下技术方案:
一种大数据分析系统,包括:数据采集模块、数据传输模块、病毒检测模块、数据分类模块、数据存储模块和显示模块;
所述数据采集模块用于采集数据信息;
所述数据传输模块用于将采集到的数据信息传输至病毒检测模块;
所述病毒检测模块用于对所述采集到的数据信息进行病毒检测,若所述采集到的数据信息没有病毒,则将所述采集到的数据信息传输至所述数据分类模块;
所述数据分类模块用于对所述采集到的数据信息进行分类处理,分为n类数据信息,所述n≥2;
所述数据存储模块包括n个内存数据库,各内存数据库与各类数据信息一一对应,各内存数据库用于存储对应类的数据信息;
所述显示模块包括n个显示单元,各显示单元与各类数据信息一一对应,各显示单元用于显示对应类的数据信息。
可选地,所述数据存储模块还包括n个磁盘数据库,各磁盘数据库与各类数据信息一一对应;
所述大数据分析系统还包括存储时长判断模块和数据转移模块,对于任意一类数据信息,所述存储时长判断模块用于比较存储于对应内存数据库中的数据信息的存储时长与预设存储时长,若所述存储于对应内存数据库中的数据信息的存储时长大于所述预设存储时长,则数据转移模块将所述存储于对应内存数据库中的数据信息转移至对应磁盘数据库中。
可选地,所述大数据分析系统还包括数据读取模块,对于任意一类数据信息,当读取该类数据信息时,若该类数据信息的存储时长小于或者等于所述预设存储时长,则从对应的内存数据库中读取该类数据信息;若该类数据信息的存储时长大于所述预设存储时长,则从对应的磁盘数据库中读取该类数据信息。
本发明的有益效果为:在采集到数据信息之后进行病毒检测,只有采集到的数据信息没有病毒才进行后续的数据处理,提升数据信息以及系统的安全性,进而提升大数据分类的可靠性和安全性;数据分类模块实现数据分类处理,数据存储模块包括与数据信息分出的类数相等的内存数据库,各个内存数据库用于存储对应类的数据信息,即每一个内存数据库中存储的数据信息不同类,通过这种存储方式能够提升数据分类和存储的可靠性,当后期调取某一类数据信息时,能够方便快捷地从对应的数据库中进行调取;显示模块包括与数据信息分出的类数相等的显示单元,各个显示单元用于显示不同类的数据信息,通过这种显示方式能够提升数据信息显示的直观性,便于工作人员简单直接地获取到各类数据信息。因此,该大数据分析系统的数据分析可靠性较高,能够满足人们越来越高的要求。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍:
图1是大数据分析系统的结构示意图。
具体实施方式
如图1所示,本实施例提供一种大数据分析系统,包括:数据采集模块、数据传输模块、病毒检测模块、数据分类模块、数据存储模块和显示模块。该大数据分析系统的应用场合不过限定,可以应用在商业中,则相关的数据信息可以为消费数据或者物价数据,也可以应用在电力中,则相关的数据信息可以为某一地区的电力线网的电力数据,包括电压、电流、有功功率等,还可以应用在网络信息领域中,则相关的数据信息为日志记录文件。
大数据分析系统的各模块可以为硬件模块,也可以为软件模块,不管是硬件模块还是软件模块,各模块的连接关系如图1所示。
数据采集模块用于采集数据信息,数据采集模块可以为用于采集各数据的采集设备,比如电压传感器、电流传感器等等。
数据传输模块用于将采集到的数据信息传输至病毒检测模块,数据传输模块可以为通信线路,或者具有通信传输功能的芯片。
病毒检测模块接收数据采集模块采集到的数据信息,对采集到的数据信息进行病毒检测。病毒检测模块可以为常规的病毒检测软件程序。若采集到的数据信息没有病毒,则病毒检测模块将采集到的数据信息传输至数据分类模块。另外,若病毒检测模块检测到采集到的数据信息有病毒,则不将采集到的数据信息进行后续处理,即终止数据分析。
数据分类模块接收采集到的数据信息,对数据信息进行分类处理,分为n类数据信息,n≥2(图1中以n=3为例)。由于采集到的数据信息包括很多种数据,那么,数据分类模块将采集到的数据信息进行分类处理,分为至少两类。数据分类模块的具体分类规则由实际应用场合决定。不同应用场合的数据分成的具体类型以及种类个数可能不同,比如:电力领域中的大数据包括:电压数据、电流数据、有功功率数据、无功功率数据、功率因数数据、变压器故障数据、线路故障数据等等。将电力领域中的大数据分为三类,分别是基本电气类数据、电能质量类数据以及故障类数据。那么,基本电气类数据包括电压数据和电流数据,电能质量类数据包括有功功率数据、无功功率数据和功率因数数据,故障类数据包括变压器故障数据和线路故障数据。
数据存储模块包括n个内存数据库,即内存数据库的个数与数据信息的分的类数相等,且各内存数据库与各类数据信息一一对应,各内存数据库用于存储对应类的数据信息。内存数据库就是将数据放在内存中直接操作的数据库,相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。
进一步地,数据存储模块还包括n个磁盘数据库,即磁盘数据库的个数与内存数据库的个数相等,各磁盘数据库与各类数据信息一一对应,相应地,大数据分析系统还包括存储时长判断模块和数据转移模块,存储时长判断模块连接数据转移模块。存储时长判断模块可以只设置一个,该存储时长判断模块控制所有的内存数据库,也可以设置n个存储时长判断模块,各内存数据库与各存储时长判断模块一一对应,存储时长判断模块连接对应的内存数据库,用于控制对应的内存数据库。同理,数据转移模块可以只设置一个,该数据转移模块控制所有的内存数据库,也可以设置n个数据转移模块,各内存数据库与各数据转移模块一一对应,各数据转移模块控制对应的内存数据库。数据转移模块连接对应的内存数据库和对应的磁盘数据库。
对于任意一类数据信息,存储时长判断模块比较存储于对应内存数据库中的数据信息的存储时长与预设存储时长。存储于内存数据库的数据信息均有一定的存储时长,即从存储开始时刻与之后的某一个时刻之间的时间段;预设存储时长用于实现后续判定,具体数值由实际需要进行设置。若存储于对应内存数据库中的数据信息的存储时长大于预设存储时长,则数据转移模块将存储于对应内存数据库中的数据信息转移至对应磁盘数据库中。例如:基本电气类数据存储于第一个内存数据库,对应第一个磁盘数据库,那么,若存储时长判断模块比较存储于第一个内存数据库中的基本电气类数据的存储时长大于预设存储时长,则数据转移模块将存储于第一个内存数据库中的基本电气类数据转移至第一个磁盘数据库中。
大数据分析系统还包括数据读取模块,实现数据读取。对于任意一类数据信息,当读取该类数据信息时,需要判断存储时长与预设存储时长的大小关系,若该类数据信息的存储时长小于或者等于预设存储时长,则从对应的内存数据库中读取该类数据信息;若该类数据信息的存储时长大于预设存储时长,则从对应的磁盘数据库中读取该类数据信息。为了便于数据读取,数据存储模块还可以包括一个存储芯片,用于存储各类数据信息的存储位置,并根据存储时长与预设存储时长的大小关系实时更新各类数据信息的存储位置,那么,通过该存储芯片就能够得到各类数据信息的存储位置,然后进行数据读取。例如:当读取基本电气类数据时,判断存储时长与预设存储时长的大小关系,若基本电气类数据的存储时长小于或者等于预设存储时长,则从第一个内存数据库中读取该基本电气类数据;若基本电气类数据的存储时长大于预设存储时长,则从第一个磁盘数据库中读取该基本电气类数据。
另外,在进行数据读取时,还可以同时读取所有的数据库,这样,不管数据信息存储至哪一个数据库,均能够读取到对应的数据信息。
由于内存数据库的读写性能较高,将数据信息存储至内存数据库,能够有效提高存储效率以及存储可靠性,保证数据不易丢失,而且,在读取内存数据库中的数据信息时,能够提升读取效率以及读取可靠性;而且,为了最大程度实现内存数据库的读写性能,将存储于内存数据库的存储时长大于预设存储时长的数据信息由内存数据库转移至磁盘数据库,存储时长过大的数据信息,能够在一定程度上反映重要性比较低,那么,将其移动到读写性能较低,但是存储容量较大的磁盘数据库,能够最大程度实现磁盘数据库的性能,因此,通过这种存储方式能够同时集内存数据库和磁盘数据库的性能之所长,提升数据读写的效率以及可靠性和安全性,避免数据丢失;在读取数据信息时,根据存储时长确定所处的数据库,提升读取效率以及速度,降低系统工作负担。
显示模块包括n个显示单元,即显示单元与数据信息的分的类数相等,各显示单元与各类数据信息一一对应,各显示单元用于显示对应类的数据信息。显示单元可以为常规的显示器。那么,各显示单元均只显示一类数据信息。
上述实施例仅以一种具体的实施方式说明本发明的技术方案,任何对本发明进行的等同替换及不脱离本发明精神和范围的修改或局部替换,其均应涵盖在本发明权利要求保护的范围之内。
1.一种大数据分析系统,其特征在于,包括:数据采集模块、数据传输模块、病毒检测模块、数据分类模块、数据存储模块和显示模块;
所述数据采集模块用于采集数据信息;
所述数据传输模块用于将采集到的数据信息传输至病毒检测模块;
所述病毒检测模块用于对所述采集到的数据信息进行病毒检测,若所述采集到的数据信息没有病毒,则将所述采集到的数据信息传输至所述数据分类模块;
所述数据分类模块用于对所述采集到的数据信息进行分类处理,分为n类数据信息,所述n≥2;
所述数据存储模块包括n个内存数据库,各内存数据库与各类数据信息一一对应,各内存数据库用于存储对应类的数据信息;
所述显示模块包括n个显示单元,各显示单元与各类数据信息一一对应,各显示单元用于显示对应类的数据信息。
2.根据权利要求1所述的大数据分析系统,其特征在于,所述数据存储模块还包括n个磁盘数据库,各磁盘数据库与各类数据信息一一对应;
所述大数据分析系统还包括存储时长判断模块和数据转移模块,对于任意一类数据信息,所述存储时长判断模块用于比较存储于对应内存数据库中的数据信息的存储时长与预设存储时长,若所述存储于对应内存数据库中的数据信息的存储时长大于所述预设存储时长,则数据转移模块将所述存储于对应内存数据库中的数据信息转移至对应磁盘数据库中。
3.根据权利要求2所述的大数据分析系统,其特征在于,所述大数据分析系统还包括数据读取模块,对于任意一类数据信息,当读取该类数据信息时,若该类数据信息的存储时长小于或者等于所述预设存储时长,则从对应的内存数据库中读取该类数据信息;若该类数据信息的存储时长大于所述预设存储时长,则从对应的磁盘数据库中读取该类数据信息。
技术总结