本发明涉及技术计算机技术领域,尤其涉及一种基于前置机进行数据交换的系统及方法。
背景技术:
智慧政府是电子政务的高级阶段,是电子政务效率最大化。在智慧政府的发展壮大过程中,不同部门之间政务信息资源的共享利用至关重要。但是,就目前而言,不同部门之间的数据无法实现跨网络、跨网闸共享。
技术实现要素:
为至少在一定程度上克服现有技术中的上述问题,本发明提供一种基于前置机进行数据交换的系统及方法。
第一方面,本发明公开了一种基于前置机进行数据交换的系统,包括:
交换控制区,设置有交换通道;
多个生产系统;
并且,每一所述生产系统与一个前置机桥接适配,所述生产系统中的库表、文件和服务按照给定规则被推送到所述前置机中;
某一生产系统所对应的前置机中的库表、文件和服务通过所述交换通道与另一生产系统所对应的前置机进行数据交换。
进一步地,上述系统中,所述生产系统为数据提供方和/或数据需求方。
进一步地,上述系统中,所述交换控制区设置有路由控制单元、流量控制单元和异常恢复单元。
进一步地,上述系统中,所述交换控制区设置有交换实例记录库和大数据中心;
所述交换实例记录库中记录有任务实例、交换对账、交换监控和交换统计;所述大数据中心包括库表数据和文件数据。
进一步地,上述系统中,所述交换通道包括库表交换通道、文件交换通道和服务交换通道;
并且,所述库表交换通道、所述文件交换通道和所述服务交换通道均通过安全加密。
进一步地,上述系统中,所述前置机由部门前置和平台前置共同组成,均部署在部门机房环境;
其中,所述部门前置为设置在所述生产系统所在的部门的前置机;
所述平台前置是指设置在所述交换控制区所在的平台的前置机。
进一步地,上述系统中,所述前置机由部门前置和平台前置共同组成;
所述部门前置为设置在所述生产系统所在的部门的前置机;;
所述平台前置为部署在所述交换控制区所在的共享交换平台电子政务外网环境的前置机。
进一步地,上述系统中,所述平台前置为虚拟化前置。
进一步地,上述系统中,所述前置机为平台前置,部署在生产系统所在部门机房环境或政务服务平台机房环境。
第二方面,本发明还公开了一种基于前置机进行数据交换的方法,所述方法基于上述任一项进行数据交换系统。
本发明通过布置前置机采集某一生产系统共享的数据,发送至交换控制区,也就是交换控制平台所在的控制区,再给到另外的生产系统的前置机供其他生产系统的业务需求使用,进而实现跨网闸、跨网络等数据交换。为高效率的电子政务提供数据共享的技术保障。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1为本发明实施例基于前置机进行数据交换的系统的结构框图;
图2为本发明实施例基于前置机进行数据交换的系统中,部门数据的接入前置机第一种模式的工作原理图;
图3为本发明实施例基于前置机进行数据交换的系统中,部门数据的接入前置机第二种模式的工作原理图;
图4为本分忙实施例基于前置机进行数据交换的系统中,数据在应用层交换的请求/响应流程图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
参照图1,图1示出了本发明实施例基于前置机进行数据交换的系统的结构框图,包括:
交换控制区和多个生产系统。其中,交换控制区设置有交换通道;并且,每一生产系统与一个前置机桥接适配,生产系统中的库表、文件和服务按照给定规则被推送到前置机中;某一生产系统所对应的前置机中的库表、文件和服务通过交换通道与另一生产系统所对应的前置机进行数据交换。
本实施例通过布置前置机采集某一生产系统共享的数据,发送至交换控制区,也就是交换控制平台所在的控制区,再给到另外的生产系统的前置机供其他生产系统的业务需求使用,进而实现跨网闸、跨网络等数据交换。为高效率的电子政务提供数据共享的技术保障。
在具体实施时,有时,某一生产系统可以为数据提供方,但这种角色也是可以转变的,在另外一些时候,该生产系统也可以为数据请求方。整个系统就是通过前置机将多尔生产系统接入到交换控制区完成数据共享。
在一个实施例中,交换控制区设置有路由控制单元、流量控制单元和异常恢复单元。下面对这三个单元进行说明:
1)路由控制单元:跨数据中心消息平台通过统一路由连接,统一的服务发现与负载均衡模块,实现应用就近接入消息平台,自动发现消费端位置,统一路由模块处理,路由到消费端本地消费
2)流量控制单元:对于某一类业务服务访问过度频繁,可通过设置其访问次数,对访问的流量进行实时监控;
3)异常恢复单元:通过对服务的探查,可以发现异常服务并自动发出告警、管理员可以手动启停服务,业务服务正常后数据流程自动恢复。
进一步地,上述系统中,交换控制区设置有交换实例记录库和大数据中心;交换实例记录库中记录有任务实例、交换对账、交换监控和交换统计;大数据中心包括库表数据和文件数据。上述路由控制单元、流量控制单元和异常恢复单元的功能实现与交换实例记录库和大数据中心有数据交换。
在一个实施例中,在上述系统中,交换通道包括库表交换通道、文件交换通道和服务交换通道;并且,库表交换通道、文件交换通道和服务交换通道均通过安全加密。
进一步地,上述系统中,前置机的设置有如下三种形式:
1)、由部门前置和平台前置共同组成,均部署在部门机房环境;其中,部门前置为设置在生产系统所在的部门的前置机;平台前置是指设置在交换控制区所在的平台的前置机。
2)、前置机由部门前置和平台前置共同组成;部门前置为设置在生产系统所在的部门的前置机;平台前置为部署在交换控制区所在的共享交换平台电子政务外网环境的前置机。优选地,平台前置为虚拟化前置。
3)、前置机为平台前置,部署在生产系统所在部门机房环境或政务服务平台机房环境。
前置机的部署是保障共享平台高效工作的重要环节,为规范共享平台的前置机应用部署方式,加快共享平台的实施、运维效率,前置机优选物理硬件设备。
前置机作为接入单位和共享平台之间的信息交换入口,应保持网络通讯畅通;前置机文件交换目录中的文件,应由接入单位按照规范推送到前置机中的对应目录;考虑到部分接入的一些特定因素,例如数据量少、数据交换频率较低等,同时会提供虚拟机前置机的部署方式作为备选方案。
在一个实施例中,生产系统可以为政府部门的各个单位。数据交换是通过建设支撑政府各部门共享交换体系的数据传输通道,实现多级交换能力,提供更加灵活和方便的交换服务,更好的服务于大数据环境下数据共享和交换业务。满足支撑跨部门、跨层级各种复杂共享交换的需求,具备大数据量、多用户、高并发等复杂共享交换的能力。
前置机分为各部门及各地方前置机。各部门及各地方的生产库在业务生产环境,提供本部门应用业务支撑,为避免对外提供交换数据过程中对业务生产环境造成压力,同时为了保障生产数据的安全性、稳定性,业务生产环境的不对外开放访问权限。由各部门或各地方通过桥接系统,将需要交换的数据迁移到前置机环境,对外提供访问、交换等服务。前置机作为整个数据统一交换共享平台的源端,对数据共享交换平台提供数据来源支撑,其建设的是否标准、规范,直接影响整个共享交换平台的服务效果。
各部门纵向审批系统部署在各部门内部办公网络,与政务外网物理隔离或逻辑隔离。所以共享交换平台与各部门纵向审批系统的接口方式主要采用前置机的方式进行交换。
一般情况下,为了不影响原有业务系统运行,在业务部门单位部署一台前置机,由业务部门采取自动或手动方式,把交换数据导入至前置机上,以此来实现部门数据的访问,主要包括两种数据接入模式:
模式一:文件对数据库
参照图2所示,图2为部门数据的接入前置机第一种模式的工作原理图。
业务部门负责将业务系统的数据打包成文件(如xml文件、txt文件、csv文件、excel文件),送到业务部门前置机某一文件目录下,利用前置机上的交换桥接工具,配置filereader文件适配器、数据转换组件和db工nadapter数据库适配器,解析文件中的数据,把业务数据格式转换为符合标准的交换数据格式,并入前置交换数据库,以此实现部门数据的接入。
这种模式适合业务网与政务外网是物理隔离的部门,但需要业务部门提供增量数据文件。
模式二:数据库对数据库
参照图3,图3为本发明实施例基于前置机进行数据交换的系统中,部门数据的接入前置机第二种模式的工作原理图。业务数据库与前置交换数据库直接相连(仅限网络互通),利用前置机上的交换桥接系统,配置数据库适配器、数据转换组件和数据库适配器,并在业务数据库上建立数据同步机制,实时抽取增量数据,把业务数据格式转换为符合标准的交换数据格式,并入前置交换数据库,以此实现部门数据的接入。
接入方式如图3所示。这种方式适合业务网与政务外网逻辑隔离的部门,直接操作业务数据库(建立数据同步抽取机制)。
此外,在一个实施例中,所述生产系统的前置机还设置有交换单元节点,该交换单元节点用于缓存交换频率高的数据资源,缓存在交换单元上的数据资源,通过交换控制区的调度进行数据交换,减小前置机数据交换压力,保障数据交换的稳定和快速。
在另一个实施例中,前置机还提供安全机制,保证数据交换信息的完整性和机密性。前置机数据交换通安全认证平台结合,保护交换信息内容免遭拦截或非法修改。优选地,前置机还可以通过数据服务日志记录,跟踪数据交换的细节。通过对运行状态进行监控及日志分析,加强对运行情况进行审计、故障处理、开发调试、交易跟踪,保障前置机数据交换的安全。,
在一个实施例中,数据交换加密认证在应用层的过程可以参照图4所示,包括如下步骤:
步骤1.通过api链接数据流通道接收请求方发送的json请求数据;
步骤2.对请求方进行身份认证和权限控制;
步骤3.记录请求日志,并存储请求json数据
步骤4.解析请求json数据;
步骤5.验证数字签名;
步骤6.对json数据中的加密数据进行解密;
步骤7.根据解析后的明文请求进行业务处理;
步骤8.对处理后的响应数据按需要进行加密;
步骤9.进行数字签名;
步骤10.将数据封装成json格式,并通过数据流通道发送;
步骤11.写响应日志,存储响应日志文件。
涉及到安全体系的步骤包括:步骤2、步骤5、步骤6、步骤8、步骤9,除了登陆认证之外,还包括数据的加解密过程。
在另一个实施例中,可以对基于前置机进行数据交换的系统进行云化处理,按需扩展存储、节点、前置机,通过web管理界面调整云服务器,然后对交换控制区、前置机进行配置,最后上线。方便快捷,又节约人力、物理成本。并且,也可通过自动化运维程序,自动创建服务器,自动配置,自动安装,自动上线。也就是说,在该实施例中,一方面结合政务高保密性高敏感性要求,增强前置机不但作为分段式数据处理流程中针对数据生产系统本身流程种的弹性服务能力。另一方面增强其定点定向定时的“热扩容”能力。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
另一方面,本发明还提供了一种基于前置机进行数据交换的方法,该方法基于上述基于前置机进行数据交换的系统,由于系统的结构、工作原理已经在上文中进行了说明,申请人在此不再赘述。相关之处,互相参照即可。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
1.一种基于前置机进行数据交换的系统,其特征在于,包括:
交换控制区,设置有交换通道;
多个生产系统;
并且,每一所述生产系统与一个前置机桥接适配,所述生产系统中的库表、文件和服务按照给定规则被推送到所述前置机中;
某一生产系统所对应的前置机中的库表、文件和服务通过所述交换通道与另一生产系统所对应的前置机进行数据交换;并且
所述生产系统的前置机还设置有交换单元节点,该交换单元节点用于缓存交换频率高的数据资源,缓存在交换单元上的数据资源,通过交换控制区的调度进行数据交换。
2.根据权利要求1所述的系统,其特征在于,
所述生产系统为数据提供方和/或数据需求方。
3.根据权利要求2所述的系统,其特征在于,
所述交换控制区设置有路由控制单元、流量控制单元和异常恢复单元。
4.根据权利要求3所述的系统,其特征在于,
所述交换控制区设置有交换实例记录库和大数据中心;
所述交换实例记录库中记录有任务实例、交换对账、交换监控和交换统计;所述大数据中心包括库表数据和文件数据。
5.根据权利要求4所述的系统,其特征在于,
所述交换通道包括库表交换通道、文件交换通道和服务交换通道;
并且,所述库表交换通道、所述文件交换通道和所述服务交换通道均通过安全加密。
6.根据权利要求5所述的系统,其特征在于,
所述前置机由部门前置和平台前置共同组成,均部署在部门机房环境;
其中,所述部门前置为设置在所述生产系统所在的部门的前置机;
所述平台前置是指设置在所述交换控制区所在的平台的前置机;
并且
所述生产系统的前置机还设置有交换单元节点,该交换单元节点用于缓存交换频率高的数据资源,缓存在交换单元上的数据资源,通过交换控制区的调度进行数据交换。
7.根据权利要求5所述的系统,其特征在于,
所述前置机由部门前置和平台前置共同组成;
所述部门前置为设置在所述生产系统所在的部门的前置机;;
所述平台前置为部署在所述交换控制区所在的共享交换平台电子政务外网环境的前置机。
8.根据权利要求7所述的系统,其特征在于,
所述平台前置为虚拟化前置。
9.根据权利要求5所述的系统,其特征在于,
所述前置机为平台前置,部署在生产系统所在部门机房环境或政务服务平台机房环境。
10.一种基于前置机进行数据交换的方法,其特征在于,
所述方法基于如权利要求1至9中任一项进行数据交换系统。
技术总结