[发明专利]一种索引拆分布鲁姆过滤器及其插入、删除和查询方法

说明书

技术领域

本发明属于高性能计算技术领域，具体是一种面向快速深度数据包检测的索引拆分布鲁姆过滤器及其插入、删除和查询方法。

背景技术

近年来，网络蠕虫、分布式拒绝服务、间谍软件和计算机病毒等新型网络攻击不断涌现，入侵计算机系统，窃取敏感信息，以及阻断网络关键服务等，从而威胁和破坏互联网络基础设施。网络入侵检测系统(Network IntrusionDetection System，NIDS)和网络入侵阻止系统(Nework Intrusion PreventionSystem，NIPS)是网络攻击防范的关键方法之一，即实时监测网络流量，检查网络可疑行为，并向系统管理员告警。深度数据包检测(Deep Packet Inspection，DPI)是NIDS/NIPS的核心部件。与防火墙不同，DPI不仅检查数据包头部信息，而且检查数据包有效载荷(即数据包内容)。DPI采用特征匹配方法，将每个数据包内容与一组预定义的攻击特征进行匹配，从而识别出可疑行为。为了定义可疑行为，DPI采用一组规则描述攻击特征，即每条规则包括数据包类型、特征字符串、搜索起始位置、以及匹配后的响应操作等信息。因此，DPI是一种数据包内容过滤技术，不仅应用于NIDS/NIPS，而且应用于Linux系统的应用层数据包分类、P2P流量识别以及基于上下文的流量计费等。

随着网络带宽和流量的迅猛增长，DPI将面临高性能挑战，即如何满足数据包内容过滤的时间需求和空间需求。首先，DPI是计算密集型操作，已成为NIDS/NIPS的性能瓶颈。通常，DPI应用于互联网络的数据路径上(例如出口链路上)，需要检查海量数据包内容的每个字节，并与成千上万条规则进行特征匹配。例如，在Snort中，DPI占约70％的总执行时间和约80％的总操作指令。因此，为了适应高速网络应用，DPI必须满足数据包内容过滤的线速处理时间需求，即其吞吐量为10～40Gbps。其次，基于硬件的DPI面临存储空间受限的挑战。由于基于软件的DPI难以适应高速数据包内容过滤，研究者利用现代嵌入式存储器技术，例如静态随机访问存储器(SRAM)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和三重内容可寻址存储器(TCAM)等，提出了基于硬件的DPI，支持线速的数据包内容过滤，从而提高DPI的吞吐量。但是，随着攻击特征规则日益庞大，高速率、小容量的嵌入式存储器难以满足基于硬件的DPI的存储空间需求。例如，Snort 2.7包含7840条特征规则，其存储空间大小约为50MB；而Xilinx Vertex-5FPGA最多包含288个片上存储块(每个存储块大小为36Kb)，仅提供约10Mb的片上存储空间，难以存储这些特征规则。因此，如何在存储空间受限的条件下设计一种快速DPI是基于硬件的数据包内容过滤技术的关键问题。

为了提高DPI的吞吐量和可伸缩性，Artan等人提出了一种特里位图内容分析器(Trie Bitmap Content Analyzer，TriBiCa)，即在特里树的每一层中，每个节点采用一个哈希函数将特征规则集均匀划分成大小相等的两个子集。实质上，TriBiCa为特征规则集构建一个最小完美哈希函数：当存储特征规则x时，TriBiCa将x哈希映射到一个唯一的存储位置，且不存在哈希冲突(Collision)，即多个特征规则哈希映射到同一个存储位置；当查询数据包内容y时，TriBiCa检查y是否在特征规则集中，并指出与y匹配的候选特征规则的存储位置。为了提高DPI的吞吐量，TriBiCa的特里树部署在高速率、小容量的片上存储器上，而特征规则集存储在低速率、大容量的片外存储器上；在特征匹配之前，TriBiCa过滤掉大量不相关的数据包，并提供候选特征规则的存储位置，从而减少片外存储器访问次数和特征匹配操作次数。但是，TriBiCa存在最小完美哈希函数构建和更新开销高以及假阳性存储器访问次数多等问题。首先，TriBica是计算密集型操作，即采用启发式Blackjack算法和贪婪算法来构建一个最小完美哈希函数。当特征规则不断增多时，这些启发式算法将导致TriBiCa的最小完美哈希函数构建开销高。其次，当插入或删除特征规则时，TriBiCa离线地重新构建一个最小完美哈希函数，难以适应动态变化的特征规则集，从而导致其最小完美哈希函数更新开销高；最后，在TriBiCa中，特里树的每一层采用同一个哈希函数，导致其假阳性存储器访问次数多，即需要额外的片外存储器访问和特征匹配操作，从而限制了TriBiCa的吞吐量。