本发明涉及网络安全技术领域，尤其涉及一种网络安全智能分析方法、系统及设备。
背景技术：
目前，传统的智能分析系统架构主要采用离线分析的模式，并只对接一个数据源，然而，离线的系统架构往往会局限于单一的算法场景，而且只会基于历史数据做出过时的分析判断，不能适用于网络安全“实时分析，快速响应”的需求。因此，离线的智能分析架构一般只用于实验验证分析。为了应对当前纷繁复杂的安全态势，单一场景的智能分析是远远不够的，迫切需要能适应多元场景的智能分析架构。
综上所述，现有技术中的智能分析系统架构主要存在着局限于单一的算法场景的技术问题。
技术实现要素：
本发明提供了一种网络安全智能分析方法、系统及设备，解决了现有技术中的智能分析系统架构主要存在着局限于单一的算法场景的技术问题。
一种网络安全智能分析方法，适用于预先建立的网络安全智能分析算法库，所述算法库中封装有不同的网络安全智能分析算法模型，所述网络安全智能分析算法模型形成微服务应用，方法包括以下步骤：
对网络安全数据进行采集，并对采集到的数据进行预处理；
将经过预处理的网络安全数据按照数据类型输入到网络安全智能分析算法库中；
网络安全智能分析算法库中的微服务对不同类型的网络安全数据进行分析，诊断出网络的安全情况，并对安全情况进行可视化展示。
优选的，所述网络安全数据包括内部数据以及外部数据，所述内部数据包括：防御设备日志、蜜罐和诱捕系统记录、交换机及路由器网络日志、安全测评数据、设备日志以及测试数据，所述外部数据包括网络安全厂商安全情报和各大媒体的安全情报，情报包括文本、图片、视频以及语音。
优选的，在对网络安全数据进行预处理后，还包括以下步骤：
将经过预处理的网络安全数据进行储存。
优选的，网络安全智能分析算法模型诊断出网络的安全情况之后，还包括以下步骤：
定期对各个网络安全智能分析算法模型重新进行训练、评估与调优，并根据网络安全智能分析算法模型的训练结果对各个模型进行择优选取与撤换。
优选的，对内部数据预处理的过程为进行归一化处理；对外部数据预处理的过程如下：对文本数据的预处理采用正则表达式的方法对其中的无效信息进行滤除；对图片数据的预处理为滤除以.gif为后缀的图片和内存大小低于500kb的图片；对视频和语音的预处理为滤除时间长度小于30s的数据。
一种网络安全智能分析系统，包括数据采集模块、数据预处理模块、网络安全智能分析算法库、算法配置管理模块、算法微应用模块以及可视化模块；
所述数据采集模块用于采集网络安全数据；
所述数据预处理模块用于对采集到的网络安全数据进行预处理；
所述网络安全智能分析算法库用于构建网络安全智能分析算法模型，并对网络安全智能分析算法模型进行评估与调优；
所述算法微应用模块用于采用微服务架构的方式，将各个网络安全智能分析算法模型封装为独立的微服务应用，对外提供智能分析服务；
所述可视化模块用于将网络的安全情况进行展示。
优选的，所述数据采集模块包括内部数据采集模块以及外部数据采集模块；所述数据预处理模块包括内部数据预处理模块以及外部数据预处理模块。
优选的，所述系统还包括有储存模块，所述储存模块采用分级分类分布式的方式进行储存，所述储存模块包括内部数据储存模块以及外部数据存储模块。
优选的，所述系统还包括有安全预警与信息通报模块，所述安全预警与信息通报模块用于根据网络安全情况进行安全预警与信息通报。
一种网络安全智能分析设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的网络安全智能分析方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明实施例通过收集安全网络中的网络安全数据，利用网络安全数据大大增强智能分析的准确度，并提供多维度的攻击研判，并且，本发明通过不同的网络安全智能分析算法模型对不同类型的网络安全数据进行分析，使得本发明能够对多场景进行智能分析，解决了现有技术中的智能分析系统架构局限于单一的算法场景的不足，在实际应用中具有指导意义。
本发明另一个实施例还存在着以下其他优点：
本发明实施例将调优好的模型封装为微服务的形式提供调用，实现高性能的信息处理与分析，并且本发明实施例能够对已经训练调优好的网络安全根据增量数据定期进行重新的训练、评估与调优，并对再次调优好的模型进行应用发布，大大提高了系统的适应性与效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种网络安全智能分析方法、系统以及设备的方法流程图。
图2为本发明实施例提供的一种网络安全智能分析方法、系统以及设备的系统工作过程图。
图3为本发明实施例提供的一种网络安全智能分析方法、系统以及设备的系统框架图。
图4为本发明实施例提供的一种网络安全智能分析方法、系统以及设备的网络拓扑结构图。
具体实施方式
本发明实施例提供了一种网络安全智能分析方法、系统及设备，用于解决现有技术中的智能分析系统架构局限于单一的算法场景的不足。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
传统的智能分析系统架构主要采用离线分析的模式，并只对接一个数据源。该类型架构的组成包括：数据采集模块、数据预处理(etl)模块、算法模型训练与构建模块、算法评价与调优模块和分析结果呈现模块。架构的工作原理：数据源的数据首先经过数据采集输送给数据预处理，经过数据预处理的一系列清洗与转换操作，变为可供算法训练与测试数据，再进行最关键的算法模型构建(包括训练评价)，最终得到目标算法模型与预期的分析结果。
单一场景的智能分析架构与离线的智能分析架构总体上相似，但区别的是单一场景的智能分析架构能将完成阶段性训练的算法模型投入到实际的工作场景中，基于实时数据开展分析。对比离线架构，增加了实时分析与模型更新模块，工作原理相应增加了两项功能，包括算法模型的实际投运和模型根据增量数据周期性刷新。
由于实际应用过程中，往往会面对复杂多变的算法场景，因而“多场景融合的智能分析结构”得到广泛应用。多场景融合的智能分析结构包括了多个算法场景下的模型构建与评估、并且结果展示也变成综合性的可视化展示。在多场景融合的架构中，系统需要具有并行的算法训练与分析能力和可拓展能力，以便满足模型的快速构建与应用。此外，由于多场景下数据来源可能不同，所以架构中的数据采集、数据预处理与分布式数据仓库往往会有异构的实现方案。
因此，现有技术方案存在如下的问题：
离线的系统架构往往会局限于单一的算法场景，而且只会基历史数据做出过时的分析判断，不能适用于网络安全“实时分析，快速响应”的需求。因此，离线的智能分析架构一般只用于实验验证分析；
应对当前纷繁复杂的安全态势，单一场景的智能分析是远远不够的，迫切需要能适应多元场景的智能分析架构。
为了解决以上问题，加强网络安全智能分析技术架构，提出一种网络安全智能分析方法、系统以及设备。
请参阅图1，图1为本发明实施例提供的一种网络安全智能分析方法、系统以及设备的方法流程图。
一种网络安全智能分析方法，适用于预先建立的网络安全智能分析算法库，所述算法库中封装有不同的网络安全智能分析算法模型，所述网络安全智能分析算法模型形成微服务应用，方法包括以下步骤：
对网络安全数据进行采集，并对采集到的数据进行预处理；
将经过预处理的网络安全数据按照数据类型输入到网络安全智能分析算法库中；
网络安全智能分析算法库中的微服务对不同类型的网络安全数据进行分析，诊断出网络的安全情况，并对安全情况进行可视化展示。
作为一个优选的实施例，所述网络安全数据包括内部数据以及外部数据，所述网络安全数据包括内部数据以及外部数据，所述内部数据包括：防御设备日志、蜜罐和诱捕系统记录、交换机及路由器网络日志、安全测评数据、设备日志以及测试数据，所述外部数据包括文本、图片、视频以及语音。内部数据采集主要面向设备日志和测试数据，这类数据的抽取重点在于确定所需的数据字段，实际操作时可以通过构建与设备的数据接口和转化为结构化数据表来实现数据导入。针对外部数据，可以通过具有防反爬虫机制、合理爬取周期、去重功能和基于主题自适应聚焦爬取策略的互联网爬虫，对特定目标的网站和主题进行可控的数据爬取。
作为一个优选的实施例，在对网络安全数据进行预处理后，还包括以下步骤：
将经过预处理的网络安全数据进行储存。对数据的存储采用分级分类分布式存储的方式进行储存。
针对数据的分级，对于需要最近最常访问的数据，如：算法的训练数据、测试数据、展示数据等，会将其存储在高性能存储(如hbase)中，以提高数据的访问速度。而对于不需要用到或很少用到的历史数据，则会将其存储在hdfs中，作为记录留存。
针对数据的分类，研究中的数据主要分为内部数据和外部数据两类，对于这两类数据由于结构差异较大，且应用场景具有一定的独立性，因此，在构建数据仓库的时候，分开各构建一个相互独立且结构各异的数据仓库以供各自的算法分析使用。
作为一个优选的实施例，网络安全智能分析算法模型诊断出网络的安全情况之后，还包括以下步骤：
定期对各个网络安全智能分析算法模型重新进行训练、评估与调优，并根据网络安全智能分析算法模型的训练结果对各个模型进行择优选取与撤换。
依据历史算法模型与周期性刷新的算法模型在测试数据上的表现进行择优选取，对表现差的算法模型进行撤换，对表现好的算法模型进行保留。同时，可避免算法落后，造成工作效率低下的情况。
作为一个优选的实施例，对内部数据预处理的过程为进行归一化处理；对外部数据预处理的过程如下：对文本数据的预处理采用正则表达式的方法对其中的无效信息进行滤除；对图片数据的预处理为滤除以.gif为后缀的图片和内存大小低于500kb的图片；对视频和语音的预处理为滤除时间长度小于30s的数据。
针对内部数据，预处理的重点在于将来自于不同设备厂商的日志数据归一化为具有统一标准的可执行数据。因此，本实施例中分析了当前主流网络与安全设备厂商的日志数据结构，同时分析各自数据结构的异同，根据存在的差异设计数据合并规则，从而形成数据适配器，满足当前多种设备日志数据的集成与规约。
请参阅图3，图3为本发明实施例提供的一种网络安全智能分析系统的系统架构图。
本实施例还提供了一种网络安全智能分析系统，包括数据采集模块201、数据预处理模块203、网络安全智能分析算法库204、算法配置管理模块205、算法微应用模块206以及可视化模块207，其工作过程如图2所示；
所述数据采集模块201用于采集网络安全数据；
所述数据预处理模块203用于对采集到的网络安全数据进行预处理；
所述网络安全智能分析算法库204用于构建网络安全智能分析算法模型，并对网络安全智能分析算法模型进行评估与调优；
所述算法微应用模块206用于采用微服务架构的方式，将各个网络安全智能分析算法模型封装为独立的微服务应用，对外提供智能分析服务；之所以应用微服务的模式主要考虑到以下几点：
(1)各个微服务之间具有独立的进程，不会产生横向影响；
(2)采用的是轻量级的通信，降低资源消耗；
(3)每个应用可以独立部署，能够满足单个算法模型快速迭代的需求；
(4)无需统一技术栈，每个微应用可以采用的最适合的语言与技术。
所述可视化模块207用于将网络的安全情况进行展示，对于分析产生的结果，往往需要通过有效的可视化手段综合展现出来。本实施例通过采用多主题融合的大屏展示方式，将各个算法模型的最新分析结果、模型的最新评估结果、综合研判的结论、最新的情报观点等通过数据表、柱状图、折线图、字符云等方式全面直观地展示出来。此外，从网络安全智能分析算法库204到算法结果的可视化展示，均采用云化服务的形式。
作为一个优选的实施例，所述数据采集模块201包括内部数据采集模块201以及外部数据采集模块212；所述数据预处理模块203包括内部数据预处理模块213以及外部数据预处理模块214。针对内部数据，预处理的重点在于将来自于不同设备厂商的日志数据归一化为具有统一标准的可执行数据。因此，本实施例中分析了当前主流网络与安全设备厂商的日志数据结构，同时分析各自数据结构的异同，根据存在的差异设计数据合并规则，从而形成数据适配器，满足当前多种设备日志数据的集成与规约。
针对外部情报数据，首先开展数据预处理工作，预处理的对象包括文本、图片、视频和语音。文本数据的预处理采用正则表达式的方法对其中的无效信息(如版权信息等)进行滤除；图片数据的预处理则主要滤除以.gif为后缀的图片和大小低于500kb的图片；而视频和语音的预处理主要滤除长度小于30s的数据。经过预处理后的数据将有利于后续的情报观点提取与分析。
作为一个优选的实施例，所述系统还包括有储存模块202，所述储存模块202采用分级分类分布式的方式进行储存，所述储存模块202包括内部数据储存模块211以及外部数据存储模块212。数据的分级。对于需要最近最常访问的数据，如：算法的训练数据、测试数据、展示数据等，会将其存储在高性能存储(如hbase)中，以提高数据的访问速度。而对于不需要用到或很少用到的历史数据，则会将其存储在hdfs中，作为记录留存。
针对数据的分类，研究中的数据主要分为内部数据和外部数据两类，对于这两类数据由于结构差异较大，且应用场景具有一定的独立性，因此，在构建数据仓库的时候，分开各构建一个相互独立且结构各异的数据仓库以供各自的算法分析使用。
作为一个优选的实施例，所述系统还包括有安全预警与信息通报模块208，所述安全预警与信息通报模块208用于根据网络安全情况进行安全预警与信息通报。第一时间将分析检测出的安全入侵事件的通知信息通报给与应急处置相关部门人员，实现安全预警与联动。
一种网络安全智能分析设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的网络安全智能分析方法。
实施例2
本实施例中的网络安全智能分析的网络拓扑实现如图4所示，由图4可知，整个网络拓扑横跨互联网区、dmz区和安全iv区，其中dmz区是互联网与内网之间的安全缓冲区。为了避免防火墙限制爬虫的正常运行，外部情报数据采集与处理均在互联网区中进行，而对于收集到的情报的存储则在dmz区中开展。由于内部安全数据大多来自于内网区设备以及边界设备，并且为了整体安全起见，故将内部安全数据采集、存储与处理，还有算法库，以及算法微服务和可视化展示的相关设备均放置在安全iv区。
本实施例中网络拓扑结构的部署与实施方式如下：
(1)互联网区：部署3台数据采集与处理服务器，单台服务器配备2个intelxeongold61302.1ghz/16-core/22mb处理器、6个32gbddr42666mhzrdimm内存、2个2.5英寸480gbssd硬盘、2个3.5英寸8000gbnl_sas硬盘和2个双端口10gb网卡含2个多模光模块。
(2)互联网区与dmz区边界：部署一个防火墙，防火墙配置8*10ge 40*1ge接口及光模块，同时具有病毒查杀能力和入侵检测防护等特征库。
(3)dmz区：部署15台大容量存储服务器，并进行虚拟化。单台服务器配备2个intelxeongold51182.3ghz/12-core/16.5mb处理器、8个32gbddr42666mhzrdimm内存、4个2.5英寸480gbssd硬盘、12个3.5英寸8000gbnl_sas硬盘、含2个多模光模块的双端口10gb网卡和sasraid卡带超级电容。
(4)dmz区与安全iv区边界：部署两台防火墙和一台内外网交换机。其中，内外网交换机具有多通道数据交换能力、双向数据摆渡能力和隔离网闸能力，单台内外网交换机配置4个40g光口和48万兆光口、支持三层路由功能、支持虚拟化、vxlan大二层功能、支持openflow特性。防火墙的配置与(2)相同。
(5)安全iv区：部署3台数据采集与处理服务器，配置与(1)相同。部署15台大容量存储服务器，配置与(3)相同。部署10台高性能计算服务器，单台服务器配置4个intelxeongold61302.1ghz/16-core/22mb处理器、16个32gbddr42666mhzrdimm内存、4个2.5英寸480gbssd硬盘、4个nvidiageforcegtx1080ti独立显卡和含2个多模光模块的双端口10gb网卡。部署10台微服务应用服务器，单台服务器配置1个intelxeongold51182.3ghz/12-core/16.5mb处理器、2个32gbddr42666mhzrdimm内存、2个2.5英寸480gbssd硬盘和含2个多模光模块的双端口10gb网卡。部署3台可视化与预警联动服务器，单台服务器配置1个intelxeongold51182.3ghz/12-core/16.5mb处理器、2个32gbddr42666mhzrdimm内存、2个nvidiageforcegtx1080ti独立显卡、4个2.5英寸480gbssd硬盘和含2个多模光模块的双端口10gb网卡。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
1.一种网络安全智能分析方法，其特征在于，适用于预先建立的网络安全智能分析算法库，所述算法库中封装有不同的网络安全智能分析算法模型，所述网络安全智能分析算法模型形成微服务应用，方法包括以下步骤：
对网络安全数据进行采集，并对采集到的数据进行预处理；
将经过预处理的网络安全数据按照数据类型输入到网络安全智能分析算法库中；
网络安全智能分析算法库中的微服务对不同类型的网络安全数据进行分析，诊断出网络的安全情况，并对安全情况进行可视化展示。
2.根据权利要求1所述的一种网络安全智能分析方法，其特征在于，所述网络安全数据包括内部数据以及外部数据，所述内部数据包括：防御设备日志、蜜罐和诱捕系统记录、交换机及路由器网络日志、安全测评数据、设备日志以及测试数据，所述外部数据包括网络安全厂商安全情报和各大媒体的安全情报，情报包括文本、图片、视频以及语音。
3.根据权利要求2所述的一种网络安全智能分析方法，其特征在于，在对网络安全数据进行预处理后，还包括以下步骤：
将经过预处理的网络安全数据进行储存。
4.根据权利要求1所述的一种网络安全智能分析方法，其特征在于，网络安全智能分析算法模型诊断出网络的安全情况之后，还包括以下步骤：
定期对各个网络安全智能分析算法模型重新进行训练、评估与调优，并根据网络安全智能分析算法模型的训练结果对各个模型进行择优选取与撤换。
5.根据权利要求4所述的一种网络安全智能分析方法，其特征在于，对内部数据预处理的过程为进行归一化处理；对外部数据预处理的过程如下：对文本数据的预处理采用正则表达式的方法对其中的无效信息进行滤除；对图片数据的预处理为滤除以.gif为后缀的图片和内存大小低于500kb的图片；对视频和语音的预处理为滤除时间长度小于30s的数据。
6.一种网络安全智能分析系统，其特征在于，包括数据采集模块、数据预处理模块、网络安全智能分析算法库、算法配置管理模块、算法微应用模块以及可视化模块；
所述数据采集模块用于采集网络安全数据；
所述数据预处理模块用于对采集到的网络安全数据进行预处理；
所述网络安全智能分析算法库用于构建网络安全智能分析算法模型，并对网络安全智能分析算法模型进行评估与调优；
所述算法微应用模块用于采用微服务架构的方式，将各个网络安全智能分析算法模型封装为独立的微服务应用，对外提供智能分析服务；
所述可视化模块用于将网络的安全情况进行展示。
7.根据权利要求6所述的一种网络安全智能分析系统，其特征在于，所述数据采集模块包括内部数据采集模块以及外部数据采集模块；所述数据预处理模块包括内部数据预处理模块以及外部数据预处理模块。
8.根据权利要求7所述的一种网络安全智能分析系统，其特征在于，所述系统还包括有储存模块，所述储存模块采用分级分类分布式的方式进行储存，所述储存模块包括内部数据储存模块以及外部数据存储模块。
9.根据权利要求8所述的一种网络安全智能分析系统，其特征在于，所述系统还包括有安全预警与信息通报模块，所述安全预警与信息通报模块用于根据网络安全情况进行安全预警与信息通报。
10.一种网络安全智能分析设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的网络安全智能分析方法。
技术总结