[发明专利]入侵检测方法及系统

说明书

技术领域

本发明涉及入侵检测技术领域，尤其涉及一种入侵检测方法及系统。

背景技术

Internet为资源的共享与信息的交流提供了高效而便捷的全新方式，但同时它也被占有、偷窃、甚至毁坏他人的计算机信息系统资源的入侵者所利用，使得网络中的信息资源面临着严重的安全威胁。为了保证网络信息系统的安全，人们从很多方面都采取了一定的措施，该些措施共同构成了网络安全防御体系。

入侵检测（Intrusion Detection）技术是网络安全防御体系的一种核心技术。它通过运用一些自治和智能的工具对计算机系统或计算机网络中的若干关键点信息进行收集和分析，并检测其中是否有违反安全策略的攻击企图、攻击行为或攻击结果，从而实现对系统或网络资源的实时保护。该技术是由静态防护转化为动态防护的关键，也是强制执行安全策略的有力工具。

传统的入侵检测大多基于数据挖掘及机器学习方法，大致有以下几种基本思想：

一种是把入侵检测看作是一个模式识别问题，即根据网络流量特征（目的地址、源地址、目的端口号、源端口号、传输协议、发送字节数、TCP选项等）和主机审计记录（CPU利用率、I/O利用率、文件访问、用户命令调用序列）等来区分系统的正常行为和异常行为，即可以看做是一个典型的分类问题。特别地，在训练样本是不均衡的未标定数据集时，入侵检测又可视为一个孤立点发现或样本密度估计问题。统计机器学习理论为解决这类问题提供了大量的方法，如k近邻算法、聚类、模式匹配、支持向量机、神经网络等。

另一种则是把入侵检测视为一个知识表示和规则提取问题。在用于实现入侵检测的入侵检测系统中，实际的数据源往往具有多变性、不同质、高维数等特性，这就使得在高速网络环境下采集的数据通常构成的是一个多属性、非线性的海量数据集。在这种情况下，可以通过基于符号的归纳机器学习方法（如决策树、粗糙集等）对该数据集进行约简处理，得到面向用户的数据的简洁表示，并提取出正常行为的规则，从而完成异常检测。机器学习方法则可以被看作一个搜索问题，即按照一定的搜索策略在假设集中完成对学习目标的搜索问题。从这种观点出发，入侵检测可视为基于训练样本集，按照既定的搜索策略对目标函数的搜索或逼近问题，通过学习，期望得到表示目标函数的最优解的过程。遗传和进化机器学习为完成这种类型的学习问题提供了有力的工具。

面对目前越来越频繁出现的分布式、多目标、多阶段的组合式网络攻击和黑客行为，采用多节点、分布式、可伸缩性的入侵检测体系结构已成为必然的趋势。网络攻击手段的多样化、攻击的分布式和自动化迫使入侵检测系统必须动态地适应网络环境的变化，这样的要求和增强机器学习方法的本质一致。增强机器学习方法，特别是多Agent系统学习方法在大型入侵检测系统中得到了广泛的应用，它充分利用了Agent的自治性、反应性、移动性、协作性和智能性。

由于入侵检测和机器学习方法之间存在较密切的关系，因此在实际使用中，可以将多种机器学习方法结合起来将取得更好的效果，但同时，还应该首先保证入侵检测系统的正确性，其次保证其实时性。因为只有检测正确，才能获得准确的入侵信息，从而更好的保护网络的安全；而只有检测速度快，才能及时处理网络中传输的海量数据，而不会产生因为速度慢而丢失信息、造成漏警的情况，并更能保证及时的采取相应措施，将入侵带来的损失降到最低。

以下具体介绍基于机器学习方法的各种入侵检测在正确性和实时性等方面的特点：

现有的基于机器学习方法的入侵检测可以分为基于监督学习方法的入侵检测、基于无监督学习方法的入侵检测和基于半监督学习方法的入侵检测三种。

针对基于监督学习方法的入侵检测而言，首先需要对足够多的带有类别标注的训练样本进行学习，这不仅需要花费大量的人力对足够多的训练样本进行类别标注，耗费大量的机器学习时间获得学习模型，而且检测的范围只能局限于训练样本所标注的类别范围内，不能检测出新的行为类别（如攻击类型的行为类别等）；而且在入侵检测过程中，正常数据的数量通常远远大于异常数据的数量，这种数据集失衡的情况对学习模型的质量也有很大的影响。而对于基于无监督学习方法的入侵检测而言，其检测精度明显低于基于监督学习方法的入侵检测，而且入侵检测结果的准确性很大程度上取决于人工设定的相关参数（如聚类的类别数目）。

在现有技术中，如何在训练数据稀缺且正常数据和入侵数据比例失衡的现实网络环境下，既能保证入侵检测的效率（即保证高检测率和低误报率），降低入侵检测结果对人工的依赖程度，又能根据样本的实际分布情况进行入侵检测，并发现新的攻击类型，成为当前的研究热点。