[发明专利]一种基于机器学习的实时日志检测预警方法及系统

说明书

本发明涉及一种基于机器学习的实时日志检测预警方法及系统，属于信息安全技术领域。该系统是一种网络安全智能预警引擎，该方法基于XGBOOST提升树算法对网络日志进行特征提取，发掘日志中的组合特征，能够在有限日志训练集中，高效地将专家经验转化为可用特征，同时基于WORD2VEC自然语言处理技术对原始日志进行向量化处理并进行日志语义关联。

技术领域

本发明属于信息安全技术领域，具体涉及一种基于机器学习的实时日志检测预警方法及系统。

背景技术

随着共享、开放的互联网飞速发展，网络安全威胁呈现日益多样化与未知性的特点，网络攻击方式也呈现出自动化、多样化的发展趋势，网络安全面临着前所未有的挑战。网络安全威胁主要包括系统内部漏洞威胁、误操作威胁和外部攻击威胁。目前大型信息安全公司，已经能够基于数据流处理技术将服务器操作系统日志和安全硬件设备产生的安全日志同时进行数据标准化处理，并生成日志文件供后期分析。这些日志文件可以在入侵检测、故障处理、事件关联、事故处理、事后追究等诸多方面提供帮助。但是在新技术环境下，依赖对日志进行规则匹配和特征码技术的传统网络安全防御手段已经不能应付新型的网络威胁，业内急需建立起以机器学习、人工智能、大数据安全分析等技术为核心的第三代网络安全体系。

目前的日志分析方法大多基于领域知识依靠手动检查、或编写规则的方式人工进行特征识别和建立规则，随着网络入侵攻击由独立、简单、直接、易暴露逐渐演变成有组织、有目标、持续时间长的APT等攻击。传统的人工安全检测方法，依然很难从海量的日志文件中快速高效的检测到网络攻击。基于专家经验和安全规则的人工日志检测方法在面对海量安全日志文件时将耗费大量的人力，存在效率低，费用高，误报、漏报严重等的问题。具体问题如下：

1.需要大量具有网络安全专业技术的工程人员配置安全检测规则。

2.日志检测效率低下，过度依赖专家经验，且误报，漏报率高。

3.基于人工规则的日志安全检测系统普适性差，不能迁移，一旦安全系统环境变化，需要更新专家经验。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种效率高、准确率高的实时日志检测预警方法及系统。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于机器学习的实时日志检测预警方法，包括以下步骤：

首先采集模板化的日志数据，模板日志来源于不同的安全设备，在离线学习阶段，通过数据流处理技术对模板日志进行数据清洗，去除重复数据，同时补充空缺日志字段；之后根据预设专家经验对清洗后的日志数据进行特征提取，即在每一时间段中将所采集的模板日志进行特征提取，提取的内容包括日志特征和累计特征，所述日志特征包括IP地址、MAC地址，网络流量基线日志和其他非监督网络日志处理平台提供的特征日志；所述累计特征包括，该时间段内密码累计输入次数、IP累计登录次数这些需要累加计算的日志特征；在得到特征化的网络日志后，对这些网络日志依据预设专家经验进行数据标注，标注类型包括威胁日志、正常日志两类；

此时得到的标注日志所包含的特征是多样的，既包括数字类型特征，也包括字符特征，甚至文本格式特征，接着使用自然语言处理技术对这些特征进行词向量编码，将语义特征转化为可度量的距离，其中先对日志特征进行ONE-HOT编码，得到日志特征的词向量，通过WORD2VEC对ONE-HOT编码进行二次编码，既考虑日志特征间的位置信息，也考虑日志特征语义之间的相关性，同时完成词向量的降维；