1.本发明涉及电信网络运维技术领域，尤其涉及一种基于大数据的网络设备故障检测方法。
背景技术：2.电信网络作为信息化的基础设施，是信息化发展的基石，其运行的稳定性至关重要。由于电信网络涉及设施种类繁多、规模庞大、站点分散，对维护网络资源的时间投入、人力投入及故障排除时效上要求较高。
3.目前，现有网络维护模式中，网络设备故障通常都是被动发现的，而不能实现对隐患的主动排查；往往都是在用户在经历故障后投诉进而触发对故障的排查程序，或通过人工对累积的网络设备故障数据进行分析后发现设备隐患。一旦遇到突发的安全事故或网络负载的大幅波动，这时网络设备的隐患往往容易演变为集中爆发的故障，网络维护人员将被迫忙于“救火式”的网络抢修工作。
4.因此，当前对设备故障的发现手段落后，设备问题的定位滞后；且缺乏远程故障检测、预警能力，且对于累积的隐患，容易在网络负荷大的时期导致区域性的网络故障，故障范围越大，技术人员的维修工作就越难实施，会对当地的维护造成不小的压力，进而容易导致用户对网络服务的不满。
技术实现要素：5.本发明提供一种基于大数据的网络设备故障检测方法，用以解决现有技术中只能被动检测故障的缺陷，实现设备性能与网络服务感知的主动检测，实现了网络故障自动预警、诊断与分析。
6.本发明提供一种基于大数据的网络设备故障检测方法，具体包括步骤：
7.s1基于各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；
8.s2获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；
9.s3实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模型，根据当前的kqi数据的数值输出对应的故障等级。
10.具体的，所述网络业务质量指标kqi数据包括：无线接接通率、业务保持性指标、业务响应时延、业务响应速率、数据丢包率；
11.所述网络设备性能指标dpi数据包括：参考信号接收功率、参考信号接收质量、信号与干扰加噪声比、信道质量指示、调制与编码数据、物理上行共享信道数据以及物理下行共享信道数据。
12.根据本发明提供的一种基于大数据的网络设备故障检测方法，进一步包括：
13.步骤s2中，根据所述网络设备故障数据，获取每个网络设备性能指标dpi数据的权重；
14.根据本发明提供的一种基于大数据的网络设备故障检测方法，进一步包括：
15.步骤s2中，建立每种dpi数据与所述网络设备故障数据的映射关系，包括：
16.将网络设备故障数据、dpi数据、kqi数据作为样本数据，并分成训练样本集和测试样本集；
17.对所述训练样本集，基于每个网络设备性能指标dpi数据的权重进行加权平均计算，建立每种dpi数据与所述网络设备故障数据的映射关系，并通过测试样本集进行验证。
18.根据本发明提供的一种基于大数据的网络设备故障检测方法，进一步包括：
19.步骤s2中，基于回归关联算法建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系，应用公式：
20.dpi＝f(kqi_ii)，i＝1，2，3，
……
n；
21.其中，dpi为网络设备性能指标数据，kqi为网络业务质量指标数据，f为参数，i为回归关联算法；
22.根据本发明提供的一种基于大数据的网络设备故障检测方法，进一步包括：
23.根据所述历史运行日志中网络设备故障数据的数值范围划分故障等级，将实时获取的kqi数据输入所述映射关系模型获取预测的网络设备故障数据，输出对应的故障等级；
24.本发明还提供一种基于大数据的网络设备故障检测系统，包括如下模块：
25.数据获取模块，用于根据各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；
26.模型建立模块，获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；
27.故障预测模块，用于实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模型，根据当前的kqi数据的数值输出对应的故障等级。
28.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述网络设备故障检测方法的步骤。
29.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述网络设备故障检测方法的步骤。
30.本发明提供的一种基于大数据的网络设备故障检测方法，基于各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合，通过定量分析建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型，从而形成kqi数据与dpi数据之间的相关性历史基线，从而能够根据表层的kqi数据，基于获取的映射关系模型从而在用户投诉、业务中断等不可逆的网络行为动作之前发现网络隐患，实时在线主动监测网络业务感知数据，智能映射网络设备性能等级状态，实现网络设备性能的自动检测、自动匹配知识库，并主动发出故障隐患预判告警动作，有利于运行商对网络设备进行
预期维护，避免大规模故障的发生防患于未然，大幅降低故障的发生率，从而有效的提高用户的使用体验。
附图说明
31.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1是本发明提供的基于大数据的网络设备故障检测方法的流程示意图。
具体实施方式
33.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.本技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或模块。
35.在一个实施例中，如图1所示，本发明提供一种本发明提供一种基于大数据的网络设备故障检测方法，具体包括步骤：
36.s1基于各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；
37.需要说明的是，无线移动通信网络中，网络业务质量指标kqi包括语音通话质量、掉话率、无线接通率、上网上传\下载速率等关键指标；不同指标敏感度存在差异；一个kqi指标的变化，可能对应到多个dpi指标的波动，但每个dpi指标的权重系数不一样。
38.s2获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；
39.其中，历史告警日志可在设备运行网管平台omc中随时获取；基础工程参数、工单处理日志可以在日常网络维护优化管理平台中存取；用户投诉数据可以在网络经营分析系统中存取。
40.可选的，建立上述数据之间的映射关系之前，包括对数据进行预处理：对获取的kqi、dpi以及故障数据进行数据清洗，对数据进行审查和校验，删除重复信息、剔除少量偏离样本区间的离散数据，实现样本数据的聚合、建模。
41.s3实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模型，根据当前的kqi数据的数值输出对应的故障等级。
42.所述网络设备性能指标dpi数据包括：参考信号接收功率、参考信号接收质量、信号与干扰加噪声比、信道质量指示、调制与编码数据、物理上行共享信道数据以及物理下行
共享信道数据。
43.具体的，步骤s1中，可以通过集成式学习算法训练器从历史运行日志中筛选出所需的kqi数据和dpi数据；
44.具体的，通过网络性能监控系统采集网络业务感知类数据kqi，具体的，所述网络业务质量指标kqi数据包括：无线接接通率、业务保持性指标、业务响应时延、业务响应速率、数据丢包率；其中所述无线接接通率包括但不限于rrc建立成功率、e-rab建立成功率等，所述业务保持性指标包括但不限于掉话/线率，所述业务响应时延包括但不限于http页面打开时延、http业务完成时延等，所述业务响应速率包括但不限于ftp上传速率、ftp下载速率等，以上的参数均作为网络业务感知指标数据的集合，是可以通过网络性能监控系统简单获取的参数；
45.需要说明的是，获取所述历史运行日志时，从网络运行管理平台omc中提取原始测量报告(mearsurement report original；mro)，对数据进行解析，得到无线性能kpi指标；
46.通过网络运行管理平台omc采集网络设备性能指标dpi数据，用于表征网络设备的运行故障或隐患。其中，故障类型包括但不限于设备自激、板件故障、设备服务性能下降(performance degradation)、传输中断、电源不稳定、设备间干扰、设备参数设置问题等。
47.进一步，通过网络经营分析系统采集电信网络覆盖场景下的网络设备故障数据，也即用户投诉数据，用户投诉数据反映了该时段对应的网络服务性能；从相关历史日志数据中，可以获取投诉数据和对应的故障类型和原因，从而实现故障数据和dpi、kqi数据的映射关系。
48.根据本发明提供的一种基于大数据的网络设备故障检测方法，进一步包括：
49.步骤s2中，根据所述网络设备故障数据，获取每个网络设备性能指标dpi数据的权重；
50.具体的，所述网络设备故障数据包括退服率和误差率；
51.通过关联算法，将多种无线指标数据通过不同的关联算法分别对预设的故障等级以及设备故障数据进行训练，从而设置各个网络设备性能指标dpi数据的权重；
52.可选的，通过最小二乘法对对权重数值进行优化，使得计算得到的权重数值收敛；
53.根据本发明提供的一种基于大数据的网络设备故障检测方法，进一步包括：
54.步骤s2中，建立每种dpi数据与所述网络设备故障数据的映射关系，包括：
55.将网络设备故障数据、dpi数据、kqi数据作为样本数据，并分成训练样本集和测试样本集；
56.对所述训练样本集，基于每个网络设备性能指标dpi数据的权重进行加权平均计算，建立每种dpi数据与所述网络设备故障数据的映射关系，并通过测试样本集进行验证。
57.根据本发明提供的一种基于大数据的网络设备故障检测方法，进一步包括：
58.步骤s2中，基于回归关联算法建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系，应用公式：
59.dpi＝f(kqi_ii)，i＝1，2，3，
……
n；
60.其中，dpi为网络设备性能指标数据，kqi为网络业务质量指标数据，f为参数，i为回归关联算法。
61.可选的，对不同kqi数据可以选用不同的回归关联算法，包括但不限于线性回归、
多项式回归、逐步回归、套索回归、岭回归、弹性网络回归算法以及广义加性回归；
62.根据本发明提供的一种基于大数据的网络设备故障检测方法，进一步包括：
63.根据所述历史运行日志中网络设备故障数据的数值范围划分故障等级，将实时获取的kqi数据输入所述映射关系模型获取预测的网络设备故障数据，输出对应的故障等级。
64.作为示例的，将故障等级分为1-5级：
65.等级1：故障数据超过阈值，此时故障影响到系统提供的服务，需要立即采取维修；等级2：存在多个设备的故障数据，表明存在部分原件运行不正常，会影响到服务质量，需要采取维修动作；等级3:存在少数设备的故障数据，且故障数据超出正常数据的额度较小，此类级别的故障还未影响到服务质量，但为了避免更严重的故障，应当在空闲时段对该处故障进行维修；等级4：存在单个设备的故障数据，且故障数据超出正常数据的额度较小，不需要立即处理，可根据工单情况进行安排；等级5：未发现异常数据，不需要进行维修，维持动态监测。
66.下面对本发明提供的网络设备故障检测系统进行描述，下文描述的网络设备故障检测系统与上文描述的网络设备故障检测方法可相互对应参照，本发明提供的基于大数据的网络设备故障检测系统，包括如下模块：
67.数据获取模块，用于根据各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；
68.模型建立模块，获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；
69.故障预测模块，用于实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模型，根据当前的kqi数据的数值输出对应的故障等级；
70.通过上述的系统以实现网络设备故障检测方法的步骤，至此不再赘述。
71.另一方面，本发明提供一种电子设备，该电子设备可以包括：处理器(processor)、通信接口(communicationsinterface)、存储器(memory)和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行上述各方法提供的基于大数据的网络设备故障检测方法，包括如下步骤：
72.s1基于各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；
73.s2获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；
74.s3实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模型，根据当前的kqi数据的数值输出对应的故障等级。
75.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件
产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
76.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法提供的基于大数据的网络设备故障检测方法，包括如下步骤：
77.s1基于各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；
78.s2获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；
79.s3实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模型，根据当前的kqi数据的数值输出对应的故障等级。
80.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法提供的基于大数据的网络设备故障检测方法，包括如下步骤：
81.s1基于各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；
82.s2获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；
83.s3实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模型，根据当前的kqi数据的数值输出对应的故障等级。
84.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
85.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
86.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征：1.一种基于大数据的网络设备故障检测方法，其特征在于，包括：s1基于各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；s2获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；s3实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模型，根据当前的kqi数据的数值输出对应的故障等级。2.根据权利要求1所述的一种基于大数据的网络设备故障检测方法，其特征在于，所述网络业务质量指标kqi数据包括：无线接接通率、业务保持性指标、业务响应时延、业务响应速率、数据丢包率；所述网络设备性能指标dpi数据包括：参考信号接收功率、参考信号接收质量、信号与干扰加噪声比、信道质量指示、调制与编码数据、物理上行共享信道数据以及物理下行共享信道数据。3.根据权利要求2所述的一种基于大数据的网络设备故障检测方法，其特征在于，步骤s2中，根据所述网络设备故障数据，获取每个网络设备性能指标dpi数据的权重。4.根据权利要求1或3所述的一种基于大数据的网络设备故障检测方法，其特征在于，步骤s2中，建立每种dpi数据与所述网络设备故障数据的映射关系，包括：将网络设备故障数据、dpi数据、kqi数据作为样本数据，并分成训练样本集和测试样本集；对所述训练样本集，基于每个网络设备性能指标dpi数据的权重进行加权平均计算，建立每种dpi数据与所述网络设备故障数据的映射关系，并通过测试样本集进行验证。5.根据权利要求4所述的一种基于大数据的网络设备故障检测方法，其特征在于，步骤s2中，基于回归关联算法建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系，应用公式：dpi＝f(kqi_i
i
)，i＝1，2，3，
……
n；其中，dpi为网络设备性能指标数据，kqi为网络业务质量指标数据，f为参数，i为回归关联算法。6.根据权利要求1所述的一种基于大数据的网络设备故障检测方法，其特征在于，根据所述历史运行日志中网络设备故障数据的数值范围划分故障等级，将实时获取的kqi数据输入所述映射关系模型获取预测的网络设备故障数据，输出对应的故障等级。7.一种基于大数据的网络设备故障检测系统，其特征在于，包括：数据获取模块，用于根据各网络设备的历史运行日志获取网络业务质量指标kqi数据的集合以及网络设备性能指标dpi数据的集合；其中，每个kqi数据与多个dpi数据相对应；模型建立模块，获取历史运行日志中的网络设备故障数据，建立每种dpi数据与所述网络设备故障数据的映射关系；建立网络设备性能指标dpi数据集合与所述网络业务质量指标kqi数据集合的映射关系；进而建立kqi数据、dpi数据与所述网络设备故障数据的映射关系模型；故障预测模块，用于实时获取当前的网络业务质量指标kqi数据，输入所述映射关系模
型，根据当前的kqi数据的数值输出对应的故障等级。8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述网络设备故障检测方法的步骤。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述网络设备故障检测方法的步骤。
技术总结本发明涉及电信网络运维技术领域，提供了一种基于大数据的网络设备故障检测方法，包括：获取网络业务质量指标KQI数据的集合以及网络设备性能指标DPI数据的集合；获取网络设备故障数据，建立每种DPI数据与故障数据的映射关系；建立网络设备性能指标DPI数据集合与网络业务质量指标KQI数据集合的映射关系；建立KQI数据、DPI数据与故障数据的映射关系模型；获取实时网络业务质量指标KQI数据，输入映射关系模型，根据KQI数据的数值输出故障等级。本发明实现了对网络设备性能的主动检测，并主动发出故障隐患预判告警，有利于运行商进行预期维护，避免大规模故障的发生，降低故障的发生率，从而有效的提高用户的使用体验。从而有效的提高用户的使用体验。从而有效的提高用户的使用体验。
技术研发人员：成纯松 方迪 张国华 赵清 程林
受保护的技术使用者：武汉虹信技术服务有限责任公司
技术研发日：2022.08.09
技术公布日：2022/12/2
