[发明专利]基于海量网络监测数据的大数据安全分析系统

说明书

本发明公开了一种基于海量网络监测数据的大数据安全分析系统，包括：数据流量监控模块，用于对数据流量实时监控，对应用分析，对各类系统流量数据进行无损采集并发送给其他模块；深度分组检测模块，用于通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，分析得到不同的应用类型；数据联合分析模块，用于对数据聚合然后再通过对状态及关联分析进行研究，进而去除原始数据中的冗余信息；异常检测模块，用于对数据分析检测并判断是否异常；安全评测模块，用于基于其余模块的分析和检测，综合网络态势，得到数据的评测结果。该系统能够实现网络数据的实时监控并且相应的进行数据安全分析，提高数据安全性和可靠性。

技术领域

本发明涉及数据分析相关技术领域，特别是指一种基于海量网络监测数据的大数据安全分析系统。

背景技术

随着IT在各行各业的深入发展，以及IT技术自身的复杂化，IT技术趋向于结构上的分层化以及广泛使用分布式的部署，传统单一的网络运维方式越来越不能满足变化的IT技术、层出不穷的新型攻击手段。虚拟化云计算等技术也在原有的结构下，重新改变了IT部署的方式。而智能电网的广泛使用，使得电网中的数字信息量剧增，需要以一种新的可视化运维方式来解决新的IT运维挑战，保障用电网络的生产安全和能源科学研究的信息安全。

安全数据的数量、速度、种类的迅速膨胀，导致的不仅仅是海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析体系和方法。当前绝大多数安全分析工具和方法都是针对普通数据量设计的，在面对海量数据时难以为继。面对大量的安全要素信息，我们需要更加迅捷地感知网络安全态势。

传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等，需要更有效的分析方法和技术。我们需要更主动、更智能的分析方法。大数据安全分析平台加上可靠的数据采集样本，可以默认集成这样的已知攻击行为模式模型，来减少数据分析的工作。数据挖掘可以帮助完成一部分人的工作，特别是当分析平台可以自动化识别很多线索的时候，那么数据挖掘就可以根据线索的特定组合判定一个事件。通过这种工具式的分析平台可以极大的简化运维人员的数据分析工作，加上可靠的数据采集技术，可以实时准确的掌握电网的网络状态，充分保障智能用电网络的数据安全。

发明内容

有鉴于此，本发明的目的在于提出一种基于海量网络监测数据的大数据安全分析系统，能够实现网络数据的实时监控并且相应的进行数据安全分析，提高数据安全性和可靠性。

基于上述目的本发明提供的一种基于海量网络监测数据的大数据安全分析系统，包括：

数据流量监控模块，用于对网络中的数据流量进行实时监控，通过对不同系统应用的分析，对各类系统产生的海量实时流量数据进行全面无损采集并将监控数据发送给其他各个模块；

深度分组检测模块，用于基于采集的数据通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，分析得到不同的应用类型；

数据联合分析模块，用于通过对海量安全数据的聚合获取有效信息，然后再通过对状态及关联分析进行研究，进而去除原始数据中的冗余信息；

异常检测模块，用于对采集数据进行分析检测，并判断是否存在异常；

安全评测模块，用于基于其余模块的分析和检测，综合判断当前网络态势，进而得到网络数据的评测结果。

可选的，所述数据类型包括机器数据，包括客户端、服务器、网络设备、安全设备、应用程序产生的日志以及采集的系统相关的时间序列事件数据，用于反映IT系统内在的真实状况；

流量数据，为系统部分层网络通信协议的数据，用于进行深度包检测DPI、包头取样Netflow技术进行分析；