[发明专利]基于人工智能和MapReduce实时检测攻击的系统

说明书

本发明公开了基于人工智能和MapReduce实时检测安全攻击的系统，包括预处理阶段、MAP阶段和Reduce阶段，以及在每一个阶段中所包含的软件模块。通过本发明，可以提升企业安全运维服务平台的建设水平，以及降低建设成本。

技术领域

本发明涉及人工智能、大数据和信息安全应用技术领域，尤其涉及到实时检测安全攻击的系统。

背景技术

本发明中包含的英文简称如下：

RF：Random Forest 随机森林

CLF：Common Log Format 普通日志格式

JSON：JavaScript Object Notation JAVA脚本对象符号

SOC：Security Operation Center安全管理中心

IDS：Intrusion Detection Systems入侵检测系统

SNMP：Simple Network Management Protocol简单网络管理协议

HDFS：Hadoop Distribute File SystemHadoop分布式文件系统。

安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。

当前，企业IT系统部署了各种不同的业务系统和安全设备，有效地提高了劳动生产率，降低了运营成本，已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，一旦各业务系统出现安全事件或故障，不能及时发现、及时处理、及时恢复，势必直接导致承载在其上所有业务的运行，影响企业的正常运营秩序，涉及到用户的系统将直接导致用户投诉，满意度下降，企业形象受到损害，对于企业网络的安全保障就显得格外重要；另一方面，各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行。日益严峻的安全威胁迫使企业不得不加强对网络系统的安全防护，不断追求多层次、立体化的安全防御体系，建设安全运维服务中心，实时跟踪系统事件和实时检测各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失，保护企业业务系统正常运营。

然而，被用来执行安全运维服务任务的各种设备、数据库、中间件、操作系统和Web服务器等所产生的日志，随着企业IT系统规模的不断扩大，尤其是它的种类和数量正经历了巨大规模的上升，从而使日志存储、日志分析和问题跟踪变得越来越困难。企业IT系统的日志规模的这样海量地增长，迫使安全运维服务提供商采用Hadoop/Spark这样的大数据架构来进行日志存储、日志处理和日志分析，对系统事件进行实时跟踪，对安全攻击进行实时检测。

目前已有的安全管理分析工具，已无法胜任当前企业的安全运维服务的任务。因此，迫切需要一种全新的理念来对海量日志信息进行实时分析和管理。日志文件通常是一种扁平化的文件，至少包含一个时间戳字段，事件标识符字段和事件描述字段。日志规模的上升也是大数据的三大特征属性之一。

为此，如何利用信息化手段提高企业的运营效益，优化企业信息系统，使得它能够为各类企业提供专业的和高性价比的信息安全运维服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。

发明内容

本发明在分析了上述各类企业信息安全运维管理平台的缺陷和不足之后，提出了一种基于人工智能和MapReduce实时检测安全攻击的系统。