本发明属于钢铁企业数据采集
技术领域：
：，特别是一种钢铁企业数据中心异构数据的处理系统，钢铁企业不同数据源的生产数据的采集系统，适合多系统、多协议、多数据源的异构数据的采集、转换、转发。
背景技术：
：：异构数据广义上是指数据结构、存取方式、形式不一样的多种数据。对于钢铁企业，其生产自动化设备来自不同的设备提供厂家，各个设备之间通信协议、数据规约存在着很大的差异；产品的物流系统中存储着大量原材料的领料、交接，在产品的生产、中转以及成品的存储、出库等物流数据；检化验系统中存储着原材料的元素组成成分等化验数据；钢铁企业的生产指挥中心通过指挥系统为各分厂下达生产计划，各分厂又为各工段下达具体的作业计划，这些计划大多数是以excel等文档形式存储；以及企业中各个员工的信息等等，这些共同构成了钢铁企业的数据中心。而这些数据的存储方式可能是文档、视频或者图片，或者存储在mysql、oracle等异构数据源中。在钢铁企业中存在着以下三种数据交换的场景，从仪器仪表、传感器等设备中采集的实时数据，从实时数据库、scada软件等系统中抽取历史数据，以及ems、erp等业务系统中业务数据的交换。多种异构数据源之间由于通讯协议、数据规约的不同，在数据交换上存在着壁垒，严重阻碍了企业数据的集成和共享，制约了钢铁企业信息化的发展。因此，对于钢铁企业而言，如何打破这个信息壁垒，保证数据交换的实时性、稳定性和可靠性显得尤为重要。建立钢铁企业的数据中心，集成各异构数据源的异构数据，实现钢铁企业产品的生产、管理、销售等各个环节的异构数据的共享，对实现钢铁企业智能化转型升级，降低生产能耗，实现绿色发展，起着决定性的作用。技术实现要素：本发明的目的在于提供一种钢铁企业数据中心异构数据的处理系统，能够进行对钢铁企业数据中心异构数据采集、转换、转发，包含多种通讯协议驱动。可以解决信息集成中由于各信息化软件系统、控制系统及数据采集设备通讯协议不一致，造成系统通讯连接和数据交换成本加大的困难，可广泛应用于异构系统互连及信息集成项目中。本发明主要包含系统内核模块、数据采集模块以及外围设备及系统三部分。内核模块与数据采集模块均部署在服务器，外围设备及系统通过以太网连接至数据采集模块所部署的服务器，数据采集模块所部署的服务器通过以太网连接至内核模块所部署的服务器。内核模块定义了数据转换规约，根据规约将源数据对象转化为目标数据对象，定义了数据采集转发机制，根据采集转发机制周期或非周期地将采集源数据并转发给数据目标。数据采集模块包含了常用的协议驱动，例如opc、modbus、insql、webservice等。外围设备及系统为数据的发生者和数据消费者。本发明采集到外围的自动化设备或生产系统产生的源数据，经过数据采集模块内部集成的驱动进行协议解析后，通过内核模块将采集到的源数据对象转换成外围的数据消费者所需要的目标数据对象，然后转发给外围数据消费者。本发明的内部服务分别实现了将数据处理和交换功能分为三类：tableengine，realengine，historyengine。tableengine为关系表数据采集引擎，实现了itable->itable的接口，这部分主要是借助sql解析实现表格数据的读取和采集。在tableengine中包括了两类线程，一类线程是日常线程，执行最新数据的处理和交换，另外一类线程是数据修补线程，接收客户端的采集指令，可以修补指定时间段指定数据的采集任务。该引擎的驱动为itable，作为表格数据的访问接口，对应配置表xtable。该驱动主要包括tagservicedriver和dbwriterdriver。tagservicedriver和dbwriterdriver都是从关系数据库采集表格的数据并将其转发到标签系统，标签系统对数据的处理也是按照表格结构存储。其中tagservicedriver主要支持少量数据的读写，dbwriterdriver用于大批量数据的采集。realengine为标签实时数据采集引擎，实现了从其他系统(数据库、opc等)采集实时标签数据(id,clock,val)到标签系统。在其中包含了多个实时采集线程，每个线程自己创建并初始化、打开驱动到数据源的连接，将数据写入对应的数据目标。在退出的时候需要关闭驱动并释放资源。该引擎的驱动为itagreal，作为实时数据的访问接口，对应配置表xtag。historyengine为标签历史数据采集引擎，实现采集历史标签数据到标签系统的功能。在驱动部分实现了根据扫描周期、时间段采集数据的功能。在历史数据采集中包含两个线程，一个是采集最新数据的线程，在线程中扫描周期是指定的，每个采集标签点都由一个时间戳，每次扫描执行时间戳向后指定天数(默认为30天)的数据；还有一个历史数据修补线程，执行历史数据的补充采集。该引擎的驱动为itaghistory，作为历史数据的访问接口，对应配置表xtag。本发明的接口配置信息存放在配置表xgroup、配置表xset、配置表xlink、配置表xdriver、配置表xtable、配置表xtag数据表中。配置表xgroup定义了数据集的分组，用于对本系统的数据集进行分组。配置表xset定义了数据集合,用于描述一个数据集合,例如一个数据库，包含若干xtable或xtag。该数据集合可能为数据来源,也可能为数据采集目标。字段connstr定义了某个采集连接，例如数据库连接或驱动地址。字段driver定义了采集所需的驱动类型。配置表xlink用于描述两个数据集之间的一对一的采集链路。字段xset定义了目标数据集；字段mapxset定义了映射数据集，也即数据源；字段eartbeat定义了最小扫描周期，默认1秒；字段passive定义了采集模式。默认为主动模式，本系统主动建立通讯链路并执行扫描操作。如果为被动模式，则在远程的客户机上可能驻留有通讯程序独立执行采集任务并将数据发送给本系统。配置表xdriver定义了各种数据的采集的驱动信息，配置表中存放的是驱动所在的二进制文件名称。配置表xtable定义了表格数据采集映射，用来从关系数据表中采集数据。配置表中的xset字段记录了关系数据表属于哪个数据集合。另外还有lastclock、scanrate、scanoffset等字段，分别记录了上次采集时间(对于源表是上次采集时间，对于目标表是上次写入时间)、扫描频率、扫描偏移等信息。字段isoutput用于区分是否为源表。配置表xtag定义了实时数据和历史数据的采集标签映射。字段xlink记录了该数据标签采集所用的采集链路；字段maptag记录了映射标签名或者采集配置字符串；此外还有scanrate、scale、lastclock等字段分别记录了采集频率、采集变比和上次采集时间等信息。mapinter字段定义了采集映射周期，用于历史数据的采集。本发明的优点：1、本发明打破了数据交换之间的壁垒，解决了工业企业尤其是特钢企业数据中心异构数据源之间无法进行数据集成、数据共享的问题。2、本发明提出了数据中心多异构数据源之间进行数据集成、交换、转发的方法，将企业多源数据集成到本系统中，然后经由本系统统一进行处理，能够降低数据交换的时延，提高数据交换实时性、稳定性和可靠性。附图说明图1为本发明架构设计图。图2为本发明配置结构图。具体实施方式下面通过具体实施例对本发明做进一步说明。以国内某年产3万吨特钢的企业数据中心建设案例作为说明。该特钢企业的数据源包括：报表平台，包括运营报表、统计核算报表、指标报表、台账报表，主要以excel等文件文档形式存储；生产指挥中心，包括视频监控、生产调度、能源调度、设备运维等数据，主要以视频、文档等形式存储；各分厂的生产管理数据，包括工业自动化设备数据、计量仪表数据、检化验数据、物流跟踪数据以及生产监控数据等。各数据源异构数据之间存储方式、通讯协议等各不相同。我们将本专利所述的部署在该企业的数据采集服务器上，利用本专利所述的系统对以上数据统一进行采集。在该系统的配置表xgroup中建立了一个用于实时采集数据集分组；在配置表xset中建立了45个数据集合，包括本专利系统的标签集合，炼铁分厂、炼钢分厂、轧钢分厂等各分厂的能源数据集合，环保数据集合等，同属于实时采集分组；在配置表xdriver中建立了6个采集驱动，分别用于解析通用采集协议、opc协议、环保hjt212协议、数据库等协议；在配置表xtag建立了近10000个实时数据标签，涵盖该企业的所有数据。在该企业中尚未用到表格数据的交换，因此未配置xtable配置表。我们将各分厂分散的数据点，利用通信网关将采集点进行汇聚后接入到汇聚层交换机，然后汇聚层交换机再经过以太网络传输到核心交换机上，数据采集服务器通过核心交换机对数据进行。这样，我们对多协议通讯数据进行统一转换，集成到数据中心。这样所有的源数据直接进入数据中心，再由数据中心进行逻辑处理，转发给生产管理、设备管理、能源管理、质量管理、erp等一级应用层。最终在该特钢企业建立了一套完整的智能生产管控系统，具有销产转换、生产计划和作业计划编制、产线调度、质量控制、物流跟踪和质量追溯等完整功能。当前第1页1 2 3 当前第1页1 2 3
技术特征：1.一种钢铁企业数据中心异构数据的处理系统，其特征在于，包含系统内核模块、数据采集模块以及外围设备及系统三部分；内核模块与数据采集模块均部署在服务器，外围设备及系统通过以太网连接至数据采集模块所部署的服务器，数据采集模块所部署的服务器通过以太网连接至内核模块所部署的服务器；内核模块定义了数据转换规约，根据规约将源数据对象转化为目标数据对象，定义了数据采集转发机制，根据采集转发机制周期或非周期地将采集源数据并转发给数据目标；数据采集模块包含了常用的协议驱动，例如opc、modbus、insql、webservice；外围设备及系统为数据的发生者和数据消费者；采集到外围的自动化设备或生产系统产生的源数据，经过数据采集模块内部集成的驱动进行协议解析后，通过内核模块将采集到的源数据对象转换成外围的数据消费者所需要的目标数据对象，然后转发给外围数据消费者；
内部服务分别实现了将数据处理和交换功能分为三类：tableengine，realengine，historyengine。
2.根据权利要求1所述的处理系统，其特征在于，tableengine为关系表数据采集引擎，实现了itable->itable的接口，这部分主要是借助sql解析实现表格数据的读取和采集；在tableengine中包括了两类线程，一类线程是日常线程，执行最新数据的处理和交换，另外一类线程是数据修补线程，接收客户端的采集指令，能修补指定时间段指定数据的采集任务；该引擎的驱动为itable，作为表格数据的访问接口，对应配置表xtable；该驱动包括tagservicedriver和dbwriterdriver；tagservicedriver和dbwriterdriver都是从关系数据库采集表格的数据并将其转发到标签系统，标签系统对数据的处理也是按照表格结构存储；其中tagservicedriver支持少量数据的读写，dbwriterdriver用于大批量数据的采集；
realengine为标签实时数据采集引擎，实现了从其他系统：数据库、opc采集实时标签数据id,clock,val到标签系统；在其中包含了多个实时采集线程，每个线程自己创建并初始化、打开驱动到数据源的连接，将数据写入对应的数据目标；在退出的时候需要关闭驱动并释放资源，该引擎的驱动为itagreal，作为实时数据的访问接口，对应配置表xtag。
historyengine为标签历史数据采集引擎，实现采集历史标签数据到标签系统的功能；在驱动部分实现了根据扫描周期、时间段采集数据的功能；在历史数据采集中包含两个线程，一个是采集最新数据的线程，在线程中扫描周期是指定的，每个采集标签点都由一个时间戳，每次扫描执行时间戳向后指定天数的数据；还有一个历史数据修补线程，执行历史数据的补充采集；该引擎的驱动为itaghistory，作为历史数据的访问接口，对应配置表xtag。
3.根据权利要求1所述的处理系统，其特征在于，接口配置信息存放在配置表xgroup、配置表xset、配置表xlink、配置表xdriver、配置表xtable、配置表xtag数据表中；
配置表xgroup定义了数据集的分组，用于对本系统的数据集进行分组；
配置表xset定义了数据集合,用于描述一个数据集合,即一个数据库，包含若干xtable或xtag；该数据集合为数据来源,或数据采集目标；字段connstr定义了某个采集连接，数据库连接或驱动地址；字段driver定义了采集所需的驱动类型；
配置表xlink用于描述两个数据集之间的一对一的采集链路；字段xset定义了目标数据集；字段mapxset定义了映射数据集，即数据源；字段eartbeat定义了最小扫描周期，默认1秒；字段passive定义了采集模式；默认为主动模式，本系统主动建立通讯链路并执行扫描操作；当为被动模式，则在远程的客户机上可能驻留有通讯程序独立执行采集任务并将数据发送给本系统；
配置表xdriver定义了各种数据的采集的驱动信息，配置表中存放的是驱动所在的二进制文件名称；
配置表xtable定义了表格数据采集映射，用来从关系数据表中采集数据；配置表中的xset字段记录了关系数据表属于哪个数据集合；另外还有lastclock、scanrate、scanoffset字段，分别记录了上次采集时间、扫描频率、扫描偏移等信息；字段isoutput用于区分是否为源表；
配置表xtag定义了实时数据和历史数据的采集标签映射；字段xlink记录了该数据标签采集所用的采集链路；字段maptag记录了映射标签名或者采集配置字符串；此外还有scanrate、scale、lastclock字段分别记录了采集频率、采集变比和上次采集时间等信息；mapinter字段定义了采集映射周期，用于历史数据的采集。
技术总结一种钢铁企业数据中心异构数据的处理系统，属于钢铁企业数据采集技术领域。包含系统内核模块、数据采集模块以及外围设备及系统三部分。内核模块与数据采集模块均部署在服务器，外围设备及系统通过以太网连接至数据采集模块所部署的服务器，数据采集模块所部署的服务器通过以太网连接至内核模块所部署的服务器。内核模块定义了数据转换规约，根据规约将源数据对象转化为目标数据对象，定义了数据采集转发机制，根据采集转发机制周期或非周期地将采集源数据并转发给数据目标。优点在于，打破了数据交换之间的壁垒，解决了工业企业尤其是特钢企业数据中心异构数据源之间无法进行数据集成、数据共享的问题；能够降低数据交换的时延，提高数据交换实时性、稳定性和可靠性。
技术研发人员：李勇;张效华;盛刚;张丕迪;孙彦广;张云贵
受保护的技术使用者：冶金自动化研究设计院
技术研发日：2019.12.27
技术公布日：2020.06.05
