[发明专利]一种基于哈希算法的异常流量并行检测方法及系统

说明书

本发明公开了一种基于哈希算法的异常流量并行检测方法，包括：设备源向目标服务器发起请求；中央管理核拦截、清洗数据包，并向各检测内核派发需检测的数据包信息；各检测内核对总规则库进行均分，得到负责匹配的子规则库；检测内核根据哈希算法分散得到每次检测的数据包编号，其中哈希函数的键值由本内核编号、检测内核总数、数据包总数、该核已检测数据包数及冲突次数计算得到。本发明能提高规则库并行情况下的模式匹配效率，通过多核协作增加单位时间内检测的流量包数量，解决规则库过大带来的检测速率底下的问题，在降低漏报率的同时提高检测速率，更快进行异常报警，从而采取相应措施。

技术领域

本发明属于网络信息安全技术领域，更具体地，涉及一种基于哈希算法的异常流量并行检测方法及系统。

背景技术

最早的网络在实验室的环境中提出，用于相互信任的终端之间进行通信，发展至今，已然成为了沟通全球的工具。随之而来的，也是发明之初没有考虑到的各类安全问题：发送方和接收方的可信度需要证实，通信内容的加密性需要保障、可靠性需要验证。为了解决这些问题，通信双方传递的数据包就成为了安全分析的重要对象。不信任方发送的数据、黑客进行攻击的数据、泄漏隐私信息的数据等都可以被判定为网络中的恶意流量，在内部网络和外部网络之间，设置一道遵循有效安全访问策略的检测工具，可以适时地阻止恶意流量的出入。防火墙便基于这样的需求被提出，它是一种介于内部网络和外部网络之间，为局域网和全球互联网提供安全保障的安全系统。然而，防火墙也有其自身的局限性——无法检测不经过防火墙的数据，以及对内部的攻击抵抗性较差，于是入侵检测系统作为对防火墙技术的补充，成为又一重要的安全保障技术。

异常流量检测系统是入侵检测系统的分支。现有的异常流量检测系统主要包括基于误用检测技术和基于异常检测技术的两类系统，其中基于误用检测技术的异常流量检测系统是建立在对已知网络入侵规则或模式的数据库上，通过与已知异常规则的匹配来判断当前流量是否合法。误用检测几乎不存在误检测，能够做到对已知模式的准确匹配，在实现上多采用模式匹配的技术。基于异常检测技术的异常流量检测系统是建立在入侵行为作为异常行为子集的前提下，通过检测行为是否偏离正常模型状态来分辨异常行为，在实现上多采用机器学习的技术。

然而，上述现有的异常流量检测系统均存在一些不可忽略的缺陷：第一、基于误用检测技术的异常流量检测系统对已知入侵规则库的依赖性很强，需要有足够大的匹配标准库，从而降低漏报率，然而匹配速率就会随之下降；第二、基于异常检测技术的异常流量检测系统对于已知异常行为的判断并不完全准确，并且现有的机器学习在异常流量检测系统上的应用效果尚且欠佳，无法达到满意的检测效果。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于哈希算法的异常流量并行检测方法，其目的在于，从并行和调度的角度，解决模式匹配规则库过大带来的匹配速率慢的问题，在通过异常流量检测提高设备安全性的同时，通过哈希算法分散性检测数据包，结合多核协作降低异常流量包重复检测率；同时实现降低漏报率和提高检测速率，更快向设备端进行异常报警，从而采取相应措施。。

为实现上述目的，按照本发明的一个方面，提供了一种基于哈希算法的异常流量并行检测方法，包括以下步骤：

(1)主节点设置计数器i＝1以及检测轮数k＝1；

(2)主节点接收客户端从外部网络发往内部网络的数据包并将其存储在缓存区中，并判断该数据包与预先建立好的第i个数据派发表中数据包总数之和是否超过阈值N_max，如果是则进入步骤(4)，否则进入步骤(3)；

(3)主节点对缓存区中的数据包进行数据清洗，以得到数据清洗后的数据包，并将数据清洗后的数据包存储在作为当前数据派发表的第i个数据派发表中；

(4)主节点判断是否所有从节点都处于检测完成状态，若是则将当前数据派发表发给每个从节点，并进入步骤(5)，否则返回步骤(3)；