本发明涉及数据监测领域，尤其涉及基于日志端口流量的应用系统及流量负载监控系统。
背景技术：
涉及信息网络故障溯源及业务系统流量负载监测，其关键与难点包括两个方面：一方面，网络故障之间存在深层次的关联，如网络设备的cpu利用率过高可能导致丢包，并进一步导致链路传输质量差，如何从不同的信息、状态表征中获得真正的故障，定位的故障的源头，需要在加强监控的基础上，从告警时间、设备上下位关系、网络监控路径等各方面进行识别，这是项目的关键难点之一；
另一方面，应用系统的负载没有直接手段可以获得，需要通过其依赖的信息网络设备间接获得。而信息网络的连接层级及关联非常复杂，从角色分析，涵盖tcp/ip各层的设备，如链路层的交换机、网络层的路由器，以及传输层到应用层的防火墙、负载均衡设备，等。不同网络设备的网络报文以不同的形式记录，如何将这些记录进行综合分析、整合，形成稳定可信的应用系统流量负载，是本发明的难点及关键点。
技术实现要素：
本发明的目的提供基于日志端口流量的流量负载监控系统，能够及时、全面、准确的了解当前网络和业务系统的运行状态，确保网管系统及时、高效的进行数据采集、分析及预警；对系统的采集、消息处理、数据存储和部署模式，进行云化架构技术研究，实现网管系统弹性扩展及高效、稳定运行；最终实现信息网络应用系统流量负载监控，完善信息网络关键节点的监控覆盖水平。
为实现上述目的，本发明提供了基于日志端口流量的流量负载监控系统，包括以下步骤：
步骤一、构建最优流量负载算法，并嵌套存储于系统中；
步骤二、获取系统中的系统日志、以及端口流量数据信息；
步骤三、根据步骤二获得的数据信息，结合已存储于所述系统中的最优流量负载算法，构建出系统负载流量分析结果；
步骤四、通过分析步骤二和步骤三输出的数值，预测出未来流量负载预测图。
系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。
在本发明的一个优选实施例中，所述系统日志是运用flume监控采集，端口流量是通过snmp协议采集应用系统宿主机所连交换机或路由器物理端口流量信息获得。
flume是cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
简单网络管理协议（snmp），由一组网络管理的标准组成，包含一个应用层协议（applicationlayerprotocol）、数据库模型（databaseschema）和一组资料物件。该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况。
在本发明的一个优选实施例中，所述步骤一中构建最优流量负载算法中输入数据包括但不限于数据为流量tcp表数据、日志表数据、端口表数据，主要包括以下字段：tcp连接数、日志行数、输入字节数、输出字节数、模型id、轮次、时间。
模型在实际应用时，对数据量并无太大要求。即上行流量预测模型、下行流量预测模型在实际应用时，对数据量不做严格要求。
在本发明的一个优选实施例中，所述步骤一中构建最优流量负载算法包括以下两个阶段：构建模型训练算法和构建模型应用算法，利用历史数据通过多项式回归分析算法分别训练出上行流量预测和下行流量预测的最优模型，并进行存储。
多项式回归的最大优点就是可以通过增加自变量的高次项对实测点进行逼近，直至满意为止。事实上，多项式回归可以处理相当一类非线性问题，它在回归分析中占有重要的地位，因为任一函数都可以分段用多项式来逼近。因此，在通常的实际问题中，不论因变量与其他自变量的关系如何，我们总可以用多项式回归来进行分析。
正常情况下，多项式回归分析可以转化成多元线性回归分析进行处理。
在本发明的一个优选实施例中，所述构建模型训练算法中的配置文件包括[degree]、[date]、[hbase]三个模块：
[degree]主要是用来设置多项式回归分析时模型的最高次方，次方越高，计算内存越大，对服务器的要求越高，当然也越可能找到最优次方；
[date]主要是用来配置读取hbase数据库数据时，从何时开始取数据，同时，数据量获取的上限是多少；
[hbase]主要是配置存储流量tcp表数据、日志表数据、端口表数据的hbase数据库的地址端口信息。
在本发明的一个优选实施例中，所述构建模型应用算法的配置文件包括[date]、[database]、[hbase]三个模块：
[date]主要是用来配置读取hbase数据库数据时，从何时开始取数据，同时，数据量获取的上限是多少；
[database]主要是用来配置流量负载模型预测的结果数据写入oracle数据表时，oracle数据库地址端口等相关信息；
[hbase]主要是配置流量tcp表数据、日志表数据、端口表数据的hbase数据库的地址端口信息。
在本发明的一个优选实施例中，在服务器及算法可承受的范围内，构建最优流量负载算法时选用更大的数据量，同时需对测试集与训练集的划分比例进行调试。
采用上述方式，可以保证在得到最优训练模型的同时，对测试集数据有最高的解释能力，算法会自动存储最优次方模型作为应用模型
与现有技术相比，本发明的有益效果是：
通过挖掘低层次网络协议运行状态信息与应用层端口流量之间的关系，找到稳定、可信的网络传输层接口流量的统计方法，实现对应用系统流量的智能监控及告警，能够有效解决当前应用系统流量负载不受监控的问题。
附图说明
图1为本发明的训练最优模型并存储的流程图。
图2为本发明的模型应用得到预测值的流程图。
图3为本发明的应用系统日志信息图。
图4为本发明的应用系统tcp信息图。
图5为本发明的应用系统端口流量信息图。
图6为本发明的应用系统负载流量分析结果图。
图7为本发明的应用系统流量负载预测图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
基于日志端口流量的流量负载监控系统，包括以下步骤：步骤一、构建最优流量负载算法，并嵌套存储于系统中；
步骤二、获取系统中的系统日志、以及端口流量数据信息；
步骤三、根据步骤二获得的数据信息，结合已存储于所述系统中的最优流量负载算法，构建出系统负载流量分析结果；
步骤四、通过分析步骤二和步骤三输出的数值，预测出未来流量负载预测图。
流量负载算法的算法主要使用了多项式回归分析算法。研究一个因变量与一个或多个自变量间多项式的回归分析方法，称为多项式回归（polynomialregression）。如果自变量只有一个时，称为一元多项式回归；如果自变量有多个时，称为多元多项式回归。在回归分析中，如果因变量与自变量的关系为非线性的，但是又找不到适当的函数曲线来拟合，则可以采用多项式回归来拟合。多项式回归的最大优点就是可以通过增加自变量的高次项对实测点进行逼近，直至满意为止。事实上，多项式回归可以处理相当一类非线性问题，它在回归分析中占有重要的地位，因为任一函数都可以分段用多项式来逼近。因此，在通常的实际问题中，不论因变量与其他自变量的关系如何，我们总可以用多项式回归来进行分析。正常情况下，多项式回归分析可以转化成多元线性回归分析进行处理。
本发明能够及时、全面、准确的了解当前网络和业务系统的运行状态，确保网管系统及时、高效的进行数据采集、分析及预警；对系统的采集、消息处理、数据存储和部署模式，进行云化架构技术研究，实现网管系统弹性扩展及高效、稳定运行；最终实现信息网络应用系统流量负载监控，完善信息网络关键节点的监控覆盖水平。
实施例1：
请参图1和图2所示，在本实施方式中，基于日志端口流量的流量负载监控系统，包括以下步骤：步骤一、构建最优流量负载算法，并嵌套存储于系统中；步骤二、获取系统中的系统日志、以及端口流量数据信息；步骤三、根据步骤二获得的数据信息，结合已存储于所述系统中的最优流量负载算法，构建出系统负载流量分析结果；步骤四、通过分析步骤二和步骤三输出的数值，预测出未来流量负载预测图。
系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。
上述系统日志是运用flume监控采集，端口流量是通过snmp协议采集应用系统宿主机所连交换机或路由器物理端口流量信息获得。
flume是cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。简单网络管理协议（snmp），由一组网络管理的标准组成，包含一个应用层协议（applicationlayerprotocol）、数据库模型（databaseschema）和一组资料物件。该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况。
进一步地，步骤一中构建最优流量负载算法中输入数据包括但不限于数据为流量tcp表数据、日志表数据、端口表数据，主要包括以下字段：tcp连接数、日志行数、输入字节数、输出字节数、模型id、轮次、时间。
模型在实际应用时，对数据量并无太大要求。即上行流量预测模型、下行流量预测模型在实际应用时，对数据量不做严格要求。
其中步骤一中构建最优流量负载算法包括以下两个阶段：构建模型训练算法和构建模型应用算法，利用历史数据通过多项式回归分析算法分别训练出上行流量预测和下行流量预测的最优模型，并进行存储。
多项式回归的最大优点就是可以通过增加自变量的高次项对实测点进行逼近，直至满意为止。事实上，多项式回归可以处理相当一类非线性问题，它在回归分析中占有重要的地位，因为任一函数都可以分段用多项式来逼近。因此，在通常的实际问题中，不论因变量与其他自变量的关系如何，我们总可以用多项式回归来进行分析。
正常情况下，多项式回归分析可以转化成多元线性回归分析进行处理。
更进一步地，构建模型训练算法中的配置文件包括[degree]、[date]、[hbase]三个模块：[degree]主要是用来设置多项式回归分析时模型的最高次方，次方越高，计算内存越大，对服务器的要求越高，当然也越可能找到最优次方；[date]主要是用来配置读取hbase数据库数据时，从何时开始取数据，同时，数据量获取的上限是多少；[hbase]主要是配置存储流量tcp表数据、日志表数据、端口表数据的hbase数据库的地址端口信息。
更进一步地，所述构建模型应用算法的配置文件包括[date]、[database]、[hbase]三个模块：[date]主要是用来配置读取hbase数据库数据时，从何时开始取数据，同时，数据量获取的上限是多少；[database]主要是用来配置流量负载模型预测的结果数据写入oracle数据表时，oracle数据库地址端口等相关信息；[hbase]主要是配置流量tcp表数据、日志表数据、端口表数据的hbase数据库的地址端口信息。
在本发明的一个优选实施例中，在服务器及算法可承受的范围内，构建最优流量负载算法时选用更大的数据量，同时需对测试集与训练集的划分比例进行调试。
实施例2：
参照图3-图7所示，基于日志端口流量的流量负载监控系统，包括以下步骤：
步骤一：建关系：通过非常规得到应用系统的流量负载系统日志端口流量数据信息；
步骤二：通过端口流量和日志信息反推应用系统的流量负载计算出来的流量负载结合应用系统tcp来矫正应用系统流量负载；
步骤三：预测：通过分析后的应用系统流量负载值做未来三期的流量负载预测。
综上所述，针对当前应用系统流量负载不受监控的问题，通过挖掘低层次网络协议运行状态信息与应用层端口流量之间的关系，找到稳定、可信的网络传输层接口流量的统计方法，实现对应用系统流量的智能监控及告警。
具体本发明实现信息网络应用系统流量负载监控，完善信息网络关键节点的监控覆盖水平。本发明通过挖掘低层次网络协议运行状态信息与应用层端口流量之间的关系，找到稳定、可信的网络传输层接口流量的统计方法，实现对应用系统流量的智能监控及告警，能够有效解决当前应用系统流量负载不受监控的问题。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
1.基于日志端口流量的流量负载监控系统，其特征在于，包括以下步骤：
步骤一、构建最优流量负载算法，并嵌套存储于系统中；
步骤二、获取系统中的系统日志、以及端口流量数据信息；
步骤三、根据步骤二获得的数据信息，结合已存储于所述系统中的最优流量负载算法，构建出系统负载流量分析结果；
步骤四、通过分析步骤二和步骤三输出的数值，预测出未来流量负载预测图。
2.根据权利要求1所述的基于日志端口流量的流量负载监控系统，其特征在于，所述系统日志是运用flume监控采集，端口流量是通过snmp协议采集应用系统宿主机所连交换机或路由器物理端口流量信息获得。
3.根据权利要求1所述的基于日志端口流量的流量负载监控系统，其特征在于，所述步骤一中构建最优流量负载算法中输入数据包括但不限于数据为流量tcp表数据、日志表数据、端口表数据，主要包括以下字段：tcp连接数、日志行数、输入字节数、输出字节数、模型id、轮次、时间。
4.根据权利要求1所述的基于日志端口流量的流量负载监控系统，其特征在于，所述步骤一中构建最优流量负载算法包括以下两个阶段：构建模型训练算法和构建模型应用算法，利用历史数据通过多项式回归分析算法分别训练出上行流量预测和下行流量预测的最优模型，并进行存储。
5.根据权利要求4所述的基于日志端口流量的流量负载监控系统，其特征在于，所述构建模型训练算法中的配置文件包括[degree]、[date]、[hbase]三个模块：
[degree]主要是用来设置多项式回归分析时模型的最高次方，次方越高，计算内存越大，对服务器的要求越高，当然也越可能找到最优次方；
[date]主要是用来配置读取hbase数据库数据时，从何时开始取数据，同时，数据量获取的上限是多少；
[hbase]主要是配置存储流量tcp表数据、日志表数据、端口表数据的hbase数据库的地址端口信息。
6.根据权利要求4所述的基于日志端口流量的流量负载监控系统，其特征在于，所述构建模型应用算法的配置文件包括[date]、[database]、[hbase]三个模块：
[date]主要是用来配置读取hbase数据库数据时，从何时开始取数据，同时，数据量获取的上限是多少；
[database]主要是用来配置流量负载模型预测的结果数据写入oracle数据表时，oracle数据库地址端口等相关信息；
[hbase]主要是配置流量tcp表数据、日志表数据、端口表数据的hbase数据库的地址端口信息。
7.根据权利要求1-6任意一项所述的基于日志端口流量的流量负载监控系统，其特征在于，在服务器及算法可承受的范围内，构建最优流量负载算法时选用更大的数据量，同时需对测试集与训练集的划分比例进行调试。
技术总结