本发明涉及电力系统自动化通信技术，尤其涉及一种变电站数据接入泛在电力物联网的方法。
背景技术：
泛在电力物联网是建设“三型两网”的核心之一，其主要目标是围绕电力生产、传输、消费等各个环节，打造云、网、边、端的多层次体系架构，最终实现电力系统各个环节的互联互通、全面感知、信息高速处理，并基于此进行深度人工智能、大数据分析处理，挖掘数据价值，提升服务质量，打造智慧化的电力系统。
变电站是电力传输、分配的关键环节之一，其数据如何快速、高效接入泛在电力物联网，而且尽量利用现有资源，减少设备投资，是泛在电力物联网建设需要重点考虑的内容之一。
目前我国建设的变电站自动化系统基本都采用iec61850协议，该协议体系比较庞大，如果使用该协议将变电站数据接入到泛在电力物联网，存在的问题是，由于数据量大、接口复杂，造成整个系统通信设备投资建设、通信接入实施工作量巨大；而且，泛在电力物联网只需要采集变电站内部的关键信息，例如开关运行状态、基本电气测量参数、计量数据，也不需要将所有数据全部接入。因此，需要研发一种新的网关设备，对变电站内部数据通过61850采集后，进行数据清洗、过滤，将筛选后的数据通过物联网通信协议上送给泛在电力物联网大数据处理平台。
技术实现要素：
本发明提供了一种变电站数据接入泛在电力物联网的方法，该方法将系统划分为61850服务器设备、61850客户端协议处理单元、泛在电力物联网协议处理单元、泛在电力物联网大数据处理平台，其中61850客户端协议处理单元、泛在电力物联网协议处理单元由通信网关完成；
上述划分的设备及处理单元的具体定义及关联关系如下：
61850服务器设备：所述61850服务器设备包括变电站内各种保护、测控、在线监测装置，这些设备通过61850协议与61850客户端协议处理单元进行数据交互，完成数据的上传及配置的更新处理，相关数据交互内容通过icd文件描述；
61850客户端协议处理单元：所述61850客户端协议处理单元与各个61850服务器设备通信，将获得的监测数据刷新给泛在电力物联网协议处理单元；泛在电力物联网协议处理单元：所述泛在电力物联网协议处理单元对接收到的变电站各服务器设备数据进行过滤、筛选，根据需要将数据传送给泛在电力物联网大数据处理平台；
泛在电力物联网大数据处理平台：所述泛在电力物联网大数据处理平台对分散各地的变电站数据进行汇集，将变电站数据与其它各电力处理环节信息进行融合，进行大数据分析与处理；
该方法还包括执行以下步骤：
s1步骤：生成配置文件；配置工具导入所接入61850服务器设备的icd文件、泛在电力物联网大数据处理平台数据文件，进行数据分配映射后，生成cfg配置文件；
s2步骤：配置初始化；通信网关导入cfg配置文件，由泛在电力物联网协议处理单元解析获取ied、group、data各层次配置，并将配置信息传递给61850客户端协议处理单元；
s3步骤：61850客户端协议处理；61850客户端协议处理单元根据解析的ied、group、data各层次配置信息，采用61850客户端通信协议，采集读取各61850服务器设备的数据；
s4步骤：数据过滤与缓存；泛在电力物联网协议处理单元获取61850客户端协议处理单元刷新过来的数据，按照大数据处理平台的数据上传需求，对数据进行清洗、过滤，将筛选后的数据从iec61850数据模型转换为本地数据模型并进行缓存，转换的内容包括数据值、数据时标、数据品质；
s5步骤：泛在电力物联网协议上传；泛在电力物联网协议处理单元采用标准ssl加密方式连接泛在电力物联网大数据处理平台，通过mqtt协议登录mqtt服务器，进行数据交互传输。
作为本发明的进一步改进，在所述s1步骤中，所述cfg配置文件采用xml语法格式描述，用于建立所接入61850服务器设备数据信息与泛在电力物联网平台信息之间的关联关系，下发给通信网关使用。
作为本发明的进一步改进，在所述s1步骤中，所述cfg配置文件包含如下数据标签：
header标签：描述cfg文件的整体信息，属性内容包括version版本号，crc校验码；
ied标签：一个ied对应一个61850服务器设备，属性内容包括服务器ip地址，服务器ied名称；ied由一系列的group标签组成；
group标签：与61850服务器设备的报告控制块一一对应，从icd文件的reportcontrol元素提取，提炼记录报告控制块的唯一标识rptid；
data标签：每个标签代表一个泛在电力物联网数据点，包含srcdataofs与dstdataid两种属性,其中srcdataofs表示数据在61850服务器设备对应报告控制块数据集的偏移量，dstdataid表示数据对应dat文件中的数据编号。
作为本发明的进一步改进，在所述s2步骤中，group层次对应的报告控制块触发选项、选项域属性采用固定配置，无需通过cfg文件配置，其中触发选项固定采用完整性、数据变化触发，完整性周期为3s；选项域采用最小化配置，仅配置必备的entryid、entrydata选项。
作为本发明的进一步改进，在所述s3步骤中，还包括依次执行以下步骤：
s31步骤：ied通道分配；根据通信网关内存资源情况，将61850客户端协议处理划分为n个通道，每个通道划分固定的内存资源，用于协议处理数据缓存；在限定一个最大通道数量n的前提下，根据每个ied下属data数据总量，均衡分配每个通道所关联的ied对象，使每个通道处理的数据总量相近；
s32步骤：ied连接初始化；每个通道建立一个任务，该任务根据分配的ied对象ip地址、ied名称属性，依次对每个ied建立通信连接，并进行mms初始化；
s33步骤：group初始化配置；根据group属性及固定的报告控制块触发选项、选项域、完整性周期，将配置值写入到各个报告控制块，并启动报告服务；
s34步骤：连接状态侦听；61850客户端通道侦听各个ied对象的网络连接状态，如果网络正常，则进入下一步s35，如果异常，则返回s32重新进行连接初始化；
s35步骤：报文接收与缓存；61850客户端通道接收各个ied关联服务器设备发过来的网络报文，并对报文进行过滤，只保留mms协议报文，且只保留报文中的应用层协议部分，将报文进行统一缓存；
s36步骤：报文解析处理；对缓存报文按照mms协议解码，根据rptid检索到对应的group对象，根据下属的data配置内容依次获取相应数值，然后根据cfg文件中data节点数据映射关系，将解码后的数值刷新给泛在电力物联网协议处理单元。
作为本发明的进一步改进，在所述s31步骤中，具体方法为，首先计算每个通道分配的平均data数据总量davg，并对各个ied对象的数据总量进行排序，依次为n1、n2、…nm；然后，进行第一轮通道分配，将每个通道的data总量控制在低于davg的水平；最后进行第二轮通道分配，将剩余的ied依次分配到已分配数据总量最小的几个通道内，直至所有ied分配完成。
作为本发明的进一步改进，在所述s4步骤中，泛在电力物联网协议处理单元同时根据电力大数据平台的要求，对上传数据按照一定的间隔时间定时存储，至少存储最近15天的曲线数据，以便电力大数据平台对网络故障导致的传输中断期间的空白数据进行追补，保证电力大数据平台与通信网关之间数据传输的可靠性和完整性。
作为本发明的进一步改进，在所述s5步骤中，为保障信息安全，通信网关连接mqtt服务器成功之后，首先进行登录注册；同时，数据传输均采用tls对mqtt传输内容进行安全加密。
作为本发明的进一步改进，在所述s5步骤中，为提升传输效率，通信网关与泛在电力物联网大数据平台采用基于发布和订阅模式的mqtt协议交互数据，针对泛在电力物联网大数据平台对数据的不同优先级需求，对上传的数据合理划分为多个数据集，对每个数据集定义不同的主题，通信网关对模拟量、电度量这些主题一般周期性定时发布，对告警信息对应的主题实时发布，电力大数据平台订阅这些主题后，就可以接收到主题的数据内容。
作为本发明的进一步改进，在所述s5步骤中，泛在电力物联网协议处理单元采用getstationcfg、recvdatamsg、senddatamsg三种通用数据接口实现与泛在电力物联网大数据平台信息交互，除支持mqtt协议，还可以方便地扩展其它泛在电力物联网通信协议。
本发明的有益效果是：1.本发明充分利用现有变电站设备投资及通信网络，只需要新增一种本发明所述的通信网关，即可实现将变电站数据接入到泛在电力物联网；2.本发明充分通过采用导入icd文件、dat文件并生成cfg文件的方式，可以方便地实现数据的接入配置，大幅降低现场实施工作量；3.本发明通过将多个ied均衡分配到各个61850客户端协议处理通道上，大幅降低系统资源开销的同时保障通信网关运行稳定性；4.本发明在报文解析环节，通过采用mms报文过滤、mms应用层协议剥离等方式，大幅降低网络报文处理、协议处理压力，避免变电站接入数据过多导致的数据丢失或系统崩溃；5.本发明通过数据清洗限制了接入泛在电力物联网的数据流量，可以通过轻量级的无线通信方式实现数据上传，节省通信投资；6.本发明通过采用数据加密保障了通信接入的信息安全。
附图说明
图1是本发明变电站数据接入泛在电力物联网的方法总体框图；
图2是本发明61850客户端协议处理流程图。
具体实施方式
如图1所示，根据本发明的一种变电站数据接入泛在电力物联网的方法，将系统划分为61850服务器设备、61850客户端协议处理单元、泛在电力物联网协议处理单元、泛在电力物联网大数据处理平台几个部分，其中61850客户端协议处理单元、泛在电力物联网协议处理单元由通信网关完成。
上述各种设备及处理单元的具体定义及关联关系如下：
61850服务器设备：61850服务器设备包括变电站内各种保护、测控、在线监测装置，这些设备通过61850协议与61850客户端协议处理单元进行数据交互，完成数据的上传及配置的更新处理，相关数据交互内容通过icd文件描述；
61850客户端协议处理单元：61850客户端协议处理单元与各个61850服务器设备通信，将获得的监测数据刷新给泛在电力物联网协议处理单元；
泛在电力物联网协议处理单元：泛在电力物联网协议处理单元对接收到的变电站数据进行过滤、筛选，根据需要将数据上送给泛在电力物联网大数据处理平台；
泛在电力物联网大数据处理平台：泛在电力物联网大数据处理平台对分散各地的变电站数据进行监测，将接收到的数据与其它各电力处理环节信息进行融合，进行大数据分析与处理。
基于上述框架，需要研制两种产品，分别是泛在电力物联网接入配置工具、通信网关。
第一种研制的产品是电力物联网接入配置工具，基于pc端开发上位机软件，完成本发明步骤s1相关功能。
s1步骤：生成配置文件；配置工具的核心功能是导入所接入61850服务器设备的icd文件、泛在电力物联网大数据处理平台数据文件(以下称dat文件)，进行数据分配映射后，生成cfg配置文件。
cfg配置文件采用标准xml语法格式描述，用于建立所接入61850服务器设备数据信息与泛在电力物联网平台信息之间的关联关系，下发给通信网关使用。为确保通用性，cfg配置文件定义如下标准数据标签：
1)header标签：描述cfg文件的整体信息，属性内容包括version版本号，crc校验码；
2)ied标签：一个ied对应一个61850服务器设备，属性内容包括服务器ip地址，服务器ied名称；ied由一系列的group标签组成；
3)group标签：与61850服务器设备的报告控制块一一对应，从icd文件的reportcontrol元素提取，提炼记录报告控制块的唯一标识rptid；
reportcontrol是icd文件的一种元素(名称：报告控制块)，基于iec61850-6标准；
rptid是icd文件的一种元素(名称：报告id)，基于iec61850-6标准；
4)data标签：每个标签代表一个泛在电力物联网数据点，包含srcdataofs与dstdataid两种属性。其中srcdataofs表示数据在61850服务器设备对应报告控制块数据集的偏移量，dstdataid表示数据对应dat文件中的数据编号。
以下是一个配置文件的示例：
第二种研制的产品是通信网关，基于嵌入式硬件平台开发，内部包含61850客户端协议处理单元、泛在电力物联网协议处理单元，实现本发明的s2～s5几个步骤的功能内容。
s2步骤：配置初始化；通信网关导入cfg配置文件，由泛在电力物联网协议处理单元解析获取ied、group、data各层次配置，并将配置信息传递给61850客户端协议处理单元。
为节省报文流量，group层次对应的报告控制块触发选项、选项域属性采用固定配置，无需通过cfg文件配置。其中触发选项固定采用完整性、数据变化触发，完整性周期为3s；选项域采用最小化配置，仅配置必备的entryid、entrydata选项。
s3步骤：61850客户端协议处理；61850客户端协议处理单元根据解析的ied、group、data各层次配置信息，采用61850客户端通信协议，采集读取各61850服务器设备的数据。参见图2，包括执行如下步骤：
s31步骤：ied通道分配。根据通信网关内存资源情况，将61850客户端协议处理划分为n个通道，每个通道划分固定的内存资源，用于协议处理数据缓存；在限定一个最大通道数量n的前提下，根据每个ied下属data数据总量，均衡分配每个通道所关联的ied对象，使每个通道处理的数据总量相近。具体方法为，首先计算每个通道分配的平均data数据总量davg，并对各个ied对象的数据总量进行排序，依次为n1、n2、…nm；然后，进行第一轮通道分配，将每个通道的data总量控制在低于davg的水平；最后进行第二轮通道分配，将剩余的ied依次分配到已分配数据总量最小的几个通道内，直至所有ied分配完成；
s32步骤：ied连接初始化；每个通道建立一个任务，该任务根据分配的ied对象ip地址、ied名称属性，依次对每个ied建立通信连接，并进行mms初始化；
s33步骤：group初始化配置；根据group属性及固定的报告控制块触发选项、选项域、完整性周期，将配置值写入到各个报告控制块，并启动报告服务；
s34步骤：连接状态侦听；61850客户端通道侦听各个ied对象的网络连接状态，如果网络正常，则进入下一步s35，如果异常，则返回s32重新进行连接初始化；
s35步骤：报文接收与缓存；61850客户端通道接收各个ied关联服务器设备发过来的网络报文，并对报文进行过滤，只保留mms协议报文，且只保留报文中的应用层协议部分，将报文进行统一缓存；
s36步骤：报文解析处理；对缓存报文按照mms协议解码，根据rptid检索到对应的group对象，根据下属的data配置内容依次获取相应数值，然后根据cfg文件中data节点数据映射关系，将解码后的数值刷新给泛在电力物联网协议处理单元。
s4步骤：数据过滤与缓存；泛在电力物联网协议处理单元获取61850客户端协议处理单元刷新过来的数据，按照大数据处理平台的数据上传需求(从dat文件获取)，对数据进行清洗、过滤，将筛选后的数据从iec61850数据模型转换为本地数据模型并进行缓存，转换的内容包括数据值、数据时标、数据品质。
泛在电力物联网协议处理单元同时根据电力大数据平台的要求，对上传数据按照一定的间隔时间定时存储，至少存储最近15天的曲线数据，以便电力大数据平台对网络故障导致的传输中断期间的空白数据进行追补，保证电力大数据平台与通信网关之间数据传输的可靠性和完整性。
s5步骤：泛在电力物联网协议上传；泛在电力物联网协议处理单元采用标准ssl加密方式连接泛在电力物联网大数据处理平台，通过mqtt协议登录mqtt服务器，进行数据交互传输。
为保障信息安全，通信网关连接mqtt服务器成功之后，首先进行登录注册；同时，数据传输均采用tls对mqtt传输内容进行安全加密。
为提升传输效率，通信网关与泛在电力物联网大数据平台采用基于发布和订阅模式的mqtt协议交互数据，针对泛在电力物联网大数据平台对数据的不同优先级需求，对上传的数据合理划分为多个数据集，对每个数据集定义不同的主题。通信网关对模拟量、电度量这些主题一般周期性定时发布，对告警信息对应的主题实时发布，电力大数据平台订阅这些主题后，就可以接收到主题的数据内容。
泛在电力物联网协议处理单元采用getstationcfg(获取变电站配置，从变电站通信网关获取cfg文件)、recvdatamsg(接收数据报文)、senddatamsg(发送数据报文)三种通用数据接口实现与泛在电力物联网大数据平台信息交互，除支持mqtt协议，还可以方便地扩展其它泛在电力物联网通信协议。
本发明的有益效果是：1.本发明充分利用现有变电站设备投资及通信网络，只需要新增一种本发明所述的通信网关，即可实现将变电站数据接入到泛在电力物联网；2.充分通过采用导入icd文件、dat文件并生成cfg文件的方式，可以方便地实现数据的接入配置，大幅降低现场实施工作量；3.本发明通过将多个ied均衡分配到各个61850客户端协议处理通道上，大幅降低系统资源开销的同时保障通信网关运行稳定性；4.本发明在报文解析环节，通过采用mms报文过滤、mms应用层协议剥离等方式，大幅降低网络报文处理、协议处理压力，避免变电站接入数据过多导致的数据丢失或系统崩溃；5.本发明通过数据清洗限制了接入泛在电力物联网的数据流量，可以通过轻量级的无线通信方式实现数据上传，节省通信投资；6.本发明通过采用数据加密保障了通信接入的信息安全。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
1.一种变电站数据接入泛在电力物联网的方法，其特征在于，该方法将系统划分为61850服务器设备、61850客户端协议处理单元、泛在电力物联网协议处理单元、泛在电力物联网大数据处理平台，其中61850客户端协议处理单元、泛在电力物联网协议处理单元由通信网关完成；
上述划分的设备及处理单元的具体定义及关联关系如下：
61850服务器设备：所述61850服务器设备包括变电站内各种保护、测控、在线监测装置，这些设备通过61850协议与61850客户端协议处理单元进行数据交互，完成数据的上传及配置的更新处理，相关数据交互内容通过icd文件描述；
61850客户端协议处理单元：所述61850客户端协议处理单元与各个61850服务器设备通信，将获得的监测数据刷新给泛在电力物联网协议处理单元；
泛在电力物联网协议处理单元：所述泛在电力物联网协议处理单元对接收到的变电站各服务器设备数据进行过滤、筛选，根据需要将数据传送给泛在电力物联网大数据处理平台；
泛在电力物联网大数据处理平台：所述泛在电力物联网大数据处理平台对分散各地的变电站数据进行汇集，将变电站数据与其它各电力处理环节信息进行融合，进行大数据分析与处理；
该方法还包括执行以下步骤：
s1步骤：生成配置文件；配置工具导入所接入61850服务器设备的icd文件、泛在电力物联网大数据处理平台数据文件，进行数据分配映射后，生成cfg配置文件；
s2步骤：配置初始化；通信网关导入cfg配置文件，由泛在电力物联网协议处理单元解析获取ied、group、data各层次配置，并将配置信息传递给61850客户端协议处理单元；
s3步骤：61850客户端协议处理；61850客户端协议处理单元根据解析的ied、group、data各层次配置信息，采用61850客户端通信协议，采集读取各61850服务器设备的数据；
s4步骤：数据过滤与缓存；泛在电力物联网协议处理单元获取61850客户端协议处理单元刷新过来的数据，按照大数据处理平台的数据上传需求，对数据进行清洗、过滤，将筛选后的数据从iec61850数据模型转换为本地数据模型并进行缓存，转换的内容包括数据值、数据时标、数据品质；
s5步骤：泛在电力物联网协议上传；泛在电力物联网协议处理单元采用标准ssl加密方式连接泛在电力物联网大数据处理平台，通过mqtt协议登录mqtt服务器，进行数据交互传输。
2.根据权利要求1所述的方法，其特征在于，在所述s1步骤中，所述cfg配置文件采用xml语法格式描述，用于建立所接入61850服务器设备数据信息与泛在电力物联网平台信息之间的关联关系，下发给通信网关使用。
3.根据权利要求2所述的方法，其特征在于，在所述s1步骤中，所述cfg配置文件包含如下数据标签：
header标签：描述cfg文件的整体信息，属性内容包括version版本号，crc校验码；
ied标签：一个ied对应一个61850服务器设备，属性内容包括服务器ip地址，服务器ied名称；ied由一系列的group标签组成；
group标签：与61850服务器设备的报告控制块一一对应，从icd文件的reportcontrol元素提取，提炼记录报告控制块的唯一标识rptid；
data标签：每个标签代表一个泛在电力物联网数据点，包含srcdataofs与dstdataid两种属性,其中srcdataofs表示数据在61850服务器设备对应报告控制块数据集的偏移量，dstdataid表示数据对应dat文件中的数据编号。
4.根据权利要求1所述的方法，其特征在于，在所述s2步骤中，group层次对应的报告控制块触发选项、选项域属性采用固定配置，无需通过cfg文件配置，其中触发选项固定采用完整性、数据变化触发，完整性周期为3s；选项域采用最小化配置，仅配置必备的entryid、entrydata选项。
5.根据权利要求1所述的方法，其特征在于，在所述s3步骤中，还包括依次执行以下步骤：
s31步骤：ied通道分配；根据通信网关内存资源情况，将61850客户端协议处理划分为n个通道，每个通道划分固定的内存资源，用于协议处理数据缓存；在限定一个最大通道数量n的前提下，根据每个ied下属data数据总量，均衡分配每个通道所关联的ied对象，使每个通道处理的数据总量相近；
s32步骤：ied连接初始化；每个通道建立一个任务，该任务根据分配的ied对象ip地址、ied名称属性，依次对每个ied建立通信连接，并进行mms初始化；
s33步骤：group初始化配置；根据group属性及固定的报告控制块触发选项、选项域、完整性周期，将配置值写入到各个报告控制块，并启动报告服务；
s34步骤：连接状态侦听；61850客户端通道侦听各个ied对象的网络连接状态，如果网络正常，则进入下一步s35，如果异常，则返回s32重新进行连接初始化；
s35步骤：报文接收与缓存；61850客户端通道接收各个ied关联服务器设备发过来的网络报文，并对报文进行过滤，只保留mms协议报文，且只保留报文中的应用层协议部分，将报文进行统一缓存；
s36步骤：报文解析处理；对缓存报文按照mms协议解码，根据rptid检索到对应的group对象，根据下属的data配置内容依次获取相应数值，然后根据cfg文件中data节点数据映射关系，将解码后的数值刷新给泛在电力物联网协议处理单元。
6.根据权利要求5所述的方法，其特征在于：在所述s31步骤中，具体方法为，首先计算每个通道分配的平均data数据总量davg，并对各个ied对象的数据总量进行排序，依次为n1、n2、…nm；然后，进行第一轮通道分配，将每个通道的data总量控制在低于davg的水平；最后进行第二轮通道分配，将剩余的ied依次分配到已分配数据总量最小的几个通道内，直至所有ied分配完成。
7.根据权利要求1所述的方法，其特征在于：在所述s4步骤中，泛在电力物联网协议处理单元同时根据电力大数据平台的要求，对上传数据按照一定的间隔时间定时存储，至少存储最近15天的曲线数据，以便电力大数据平台对网络故障导致的传输中断期间的空白数据进行追补，保证电力大数据平台与通信网关之间数据传输的可靠性和完整性。
8.根据权利要求1所述的方法，其特征在于：在所述s5步骤中，为保障信息安全，通信网关连接mqtt服务器成功之后，首先进行登录注册；同时，数据传输均采用tls对mqtt传输内容进行安全加密。
9.根据权利要求1所述的方法，其特征在于：在所述s5步骤中，为提升传输效率，通信网关与泛在电力物联网大数据平台采用基于发布和订阅模式的mqtt协议交互数据，针对泛在电力物联网大数据平台对数据的不同优先级需求，对上传的数据合理划分为多个数据集，对每个数据集定义不同的主题，通信网关对模拟量、电度量这些主题一般周期性定时发布，对告警信息对应的主题实时发布，电力大数据平台订阅这些主题后，就可以接收到主题的数据内容。
10.根据权利要求1所述的方法，其特征在于：在所述s5步骤中，泛在电力物联网协议处理单元采用getstationcfg、recvdatamsg、senddatamsg三种通用数据接口实现与泛在电力物联网大数据平台信息交互，除支持mqtt协议，还可以方便地扩展其它泛在电力物联网通信协议。
技术总结