本发明涉及数据交互技术领域,尤其涉及一种基于内存数据库和多数据通道的数据传输方法及系统。
背景技术:
为了实现中央对于法院信息化系统实现“智慧法院”的信息化建设目标,同时又要保障信息安全,满足法院专网与互联网之间数据传输安全隔离,全国法院系统信息化建设均依据中华人民共和国法院行业标准fyb/t53001-2017《安全隔离与信息交换平台建设要求》规范搭建网间交换系统。
需要在保证系统安全、数据安全延展性、兼容性的同时,实现网间数据的安全高效传输。
但目前现有的安全隔离与信息交换平台提供的数据以及文件交互办法以及协议实现,主要为ftp、传统数据库表读写的方式。数据交换传输延迟大,并发数据流量低。
技术实现要素:
本发明实施例提供一种基于内存数据库和多数据通道的数据传输方法及系统,可以解决海量数据低延时通过安全隔离与信息交换平台进行内外网数据交换的问题。
本发明实施例第一方面提供了一种基于内存数据库和多数据通道的数据传输方法,可包括:
多组主从内存数据库组与安全隔离与信息交换平台间建立相应的多个存储过程,以进行数据的读写;
负荷分担服务器组监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;
负荷分担服务器组还根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
进一步的,负荷分担服务器组从应用服务器中获取海量并发数据。
进一步的,主从内存数据库组与安全隔离与信息交换平台间的数据读写过程相互独立。
进一步的,负荷分担服务器组将待交换的海量并发数据写入各主从内存数据库组中的主内存数据库的临时表中;
主内存数据库对临时表中的数据进行主从备份;
安全隔离与信息交换平台从主从内存数据库组中的从内存数据库的数据交换临时表中读取数据,以实现相互独立的数据读写过程。
本发明实施例第二方面提供了一种基于内存数据库和多数据通道的数据传输系统,可包括:多组主从内存数据库组、安全隔离与信息交换平台和负荷分担服务器组;
多组主从内存数据库组与安全隔离与信息交换平台间建立相应的多个存储过程,以进行数据的读写;
负荷分担服务器组,用于监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;
负荷分担服务器组,还用于根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
进一步的,负荷分担服务器组从应用服务器中获取海量并发数据。
进一步的,主从内存数据库组与安全隔离与信息交换平台间的数据读写过程相互独立。
进一步的,负荷分担服务器组将待交换的海量并发数据写入各主从内存数据库组中的主内存数据库的临时表中;
主内存数据库对临时表中的数据进行主从备份;
安全隔离与信息交换平台从主从内存数据库组中的从内存数据库的数据交换临时表中读取数据,以实现相互独立的数据读写过程。
本发明实施例第三方面提供了一种计算机设备,该设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
本发明实施例第四方面提供了一种计算机存储介质,该计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
在本发明实施例中,通过负荷分担服务器组灵活调整多组主从内存数据库组与安全隔离与信息交换平台间进行数据交互时,在不同主从内存数据库中的并发数据量,以较低的成本解决了大数据量并发低延时通过数据交换设备的问题,同时通过多通道复合分担机制保障了数据传输的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于内存数据库和多数据通道的数据传输方法的流程示意图;
图2是本发明实施例提供的一种基于内存数据库和多数据通道的数据传输系统的结构示意图。
图3是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含,术语“第一”和“第二”仅是为了区别命名,并不代表数字的大小或者排序。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例中,负荷分担服务器组中的服务器可以是具有大数据处理能力的计算机设备。
如图1所示,基于内存数据库和多数据通道的数据传输方法至少可以包括以下几个步骤:
s101,多组主从内存数据库组与安全隔离与信息交换平台间建立相应的多个存储过程。
具体实现中,系统中包含多组主从内存数据库组,每组数据库组由两个内存数据库组成,二者之间为主从关系。系统中的每组主从内存数据库组均和安全隔离与信息交换平台间建立有存储过程,也就是说每组数据库组均可以单独与平台间进行数据的读写操作。
在一种优选的实现方式中,主从内存数据库组与安全隔离与信息交换平台间的数据读写过程相互独立。具体的数据读写过程可以是:负荷分担服务器组将待交换的海量并发数据写入各主从内存数据库组中的主内存数据库的临时表中,进一步的,主内存数据库对临时表中的数据进行主从备份,最后安全隔离与信息交换平台从主从内存数据库组中的从内存数据库的数据交换临时表中读取数据,以实现相互独立的数据读写过程。
s102,负荷分担服务器组监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组。
具体实现中,负荷分担服务器组相当于多组主从内存数据库组与安全隔离与信息交换平台间进行数据交互的监管者,可以监控所有主从内存数据库组的数据处理状态,并可以根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组。
需要说明的是,通过监控主从内存数据库组的数据处理状态,可以知道每个数据库组当前处理数据的能力是否能适应分配到该组数据库的并发数据量,如果不能,则需要转入步骤s103根据当前的数据并发量和其他数据库组的数据处理状态灵活调整各数据库组处理数据的分发量。
需要说明的是,待交换的海量并发数据可以是负荷分担服务器组从应用服务器中获取的。
s103,负荷分担服务器组还根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
在本发明实施例中,通过负荷分担服务器组灵活调整多组主从内存数据库组与安全隔离与信息交换平台间进行数据交互时,在不同主从内存数据库中的并发数据量,以较低的成本解决了大数据量并发低延时通过数据交换设备的问题,同时通过多通道复合分担机制保障了数据传输的稳定性。
请参见图2,为本发明实施例提供了一种基于内存数据库和多数据通道的数据传输系统的结构示意图。如图2所示,本发明实施例的数据传输系统可以包括:多组主从内存数据库组11-1n、安全隔离与信息交换平台2、负荷分担服务器组3和应用服务器4。
具体实现中,多组主从内存数据库组11-1n与所述安全隔离与信息交换平台2间建立相应的多个存储过程,以进行数据的读写。
所述负荷分担服务器组3,用于监控所有主从内存数据库组11-1n的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组1x。
所述负荷分担服务器组3,还用于根据海并发量数据的并发量和各主从内存数据库组11-1n的数据处理状态调整数据分发量。
可以理解的是,系统中还可以包括应用服务器4,所述负荷分担服务器组3从应用服务器4中获取海量并发数据。
具体实现中,主从内存数据库组与所述安全隔离与信息交换平台间的数据读写过程相互独立。
在一种优选的实现方式中,负荷分担服务器组3将待交换的海量并发数据写入各主从内存数据库组中的主内存数据库的临时表中;
所述主内存数据库对临时表中的数据进行主从备份;
所述安全隔离与信息交换平台2从主从内存数据库组中的从内存数据库的数据交换临时表中读取数据,以实现相互独立的数据读写过程。
需要说明的是,系统中多组主从内存数据库组11-1n、安全隔离与信息交换平台2、负荷分担服务器组3和应用服务器4间的数据交互的详细过程,可以参见上述方法实施例中的描述,此处不再赘述。
在本发明实施例中,通过负荷分担服务器组灵活调整多组主从内存数据库组与安全隔离与信息交换平台间进行数据交互时,在不同主从内存数据库中的并发数据量,以较低的成本解决了大数据量并发低延时通过数据交换设备的问题,同时通过多通道复合分担机制保障了数据传输的稳定性。
本发明实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1所示实施例的方法步骤,具体执行过程可以参见图1所示实施例的具体说明,在此不进行赘述。
本申请实施例还提供了一种计算机设备。如图3所示,计算机设备20可以包括:至少一个处理器201,例如cpu,至少一个网络接口204,用户接口203,存储器205,至少一个通信总线202,可选地,还可以包括显示屏206。其中,通信总线202用于实现这些组件之间的连接通信。其中,用户接口203可以包括触摸屏、键盘或鼠标等等。网络接口204可选的可以包括标准的有线接口、无线接口(如wi-fi接口),通过网络接口204可以与服务器建立通信连接。存储器205可以是高速ram存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器,存储器205包括本发明实施例中的flash。存储器205可选的还可以是至少一个位于远离前述处理器201的存储系统。如图3所示,作为一种计算机存储介质的存储器205中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
需要说明的是,网络接口204可以连接接收器、发射器或其他通信模块,其他通信模块可以包括但不限于wifi模块、蓝牙模块等,可以理解,本发明实施例中计算机设备也可以包括接收器、发射器和其他通信模块等。
处理器201可以用于调用存储器205中存储的程序指令,并使计算机设备20执行以下操作:
监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;
根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
在一些实施例中,设备20还用于:从应用服务器中获取海量并发数据。
在一些实施例中,设备20还用于:将待交换的海量并发数据写入各主从内存数据库组中的主内存数据库的临时表中,以使主内存数据库对临时表中的数据进行主从备份,并使安全隔离与信息交换平台从主从内存数据库组中的从内存数据库的数据交换临时表中读取数据,以实现相互独立的数据读写过程。
在本发明实施例中,通过负荷分担服务器组灵活调整多组主从内存数据库组与安全隔离与信息交换平台间进行数据交互时,在不同主从内存数据库中的并发数据量,以较低的成本解决了大数据量并发低延时通过数据交换设备的问题,同时通过多通道复合分担机制保障了数据传输的稳定性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
1.一种基于内存数据库和多数据通道的数据传输方法,其特征在于,包括:
多组主从内存数据库组与安全隔离与信息交换平台间建立相应的多个存储过程,以进行数据的读写;
负荷分担服务器组监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;
负荷分担服务器组还根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
2.根据权利要求1所述的方法,其特征在于,所述负荷分担服务器组从应用服务器中获取海量并发数据。
3.根据权利要求1所述的方法,其特征在于,所述主从内存数据库组与所述安全隔离与信息交换平台间的数据读写过程相互独立。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
负荷分担服务器组将待交换的海量并发数据写入各主从内存数据库组中的主内存数据库的临时表中;
所述主内存数据库对临时表中的数据进行主从备份;
所述安全隔离与信息交换平台从主从内存数据库组中的从内存数据库的数据交换临时表中读取数据,以实现相互独立的数据读写过程。
5.一种基于内存数据库和多数据通道的数据传输系统,其特征在于,包括:多组主从内存数据库组、安全隔离与信息交换平台和负荷分担服务器组;
所述多组主从内存数据库组与所述安全隔离与信息交换平台间建立相应的多个存储过程,以进行数据的读写;
所述负荷分担服务器组,用于监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;
所述负荷分担服务器组,还用于根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
6.根据权利要求5所述的系统,其特征在于,所述负荷分担服务器组从应用服务器中获取海量并发数据。
7.根据权利要求5所述的系统,其特征在于,所述主从内存数据库组与所述安全隔离与信息交换平台间的数据读写过程相互独立。
8.根据权利要求7所述系统,其特征在于,所述负荷分担服务器组将待交换的海量并发数据写入各主从内存数据库组中的主内存数据库的临时表中;
所述主内存数据库对临时表中的数据进行主从备份;
所述安全隔离与信息交换平台从主从内存数据库组中的从内存数据库的数据交换临时表中读取数据,以实现相互独立的数据读写过程。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以下过程:
监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;
根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以下过程:
监控所有主从内存数据库组的数据处理状态,并根据对应的存储过程将待交换的海量并发数据分发至各个主从内存数据库组;
根据海并发量数据的并发量和各主从内存数据库组的数据处理状态调整数据分发量。
技术总结