[发明专利]用于编译有限自动机的方法和装置

说明书

背景技术

开放系统互连(OSI)参考模型定义用来通过传输介质通信的七个网络协议层(L1-L7)。更高层(L4-L7)代表端到端通信而更低层(L1-L3)代表本地通信。

网络应用感知系统需要处理、过滤和切换范围从L3至L7的网络协议层、例如L7网络协议层诸如超文本传送协议(HTTP)和简单邮件传送协议(SMTP)以及L4网络协议层诸如传输控制协议(TCP)。除了处理网络协议层之外，网络应用感知系统还需要同时保护这些协议，而通过L4-L7网络协议层的基于访问和内容的安全性包括线速的防火墙、虚拟专用网(VPN)、安全套接字层(SSL)、入侵检测系统(IDS)、网际协议安全性(IPSec)、防病毒(AV)和防垃圾邮件功能。

网络处理器可用于高吞吐量L2和L3网络协议处理、也就是执行用于线速转发分组的分组处理。通常，通用处理器用来处理需要更智能处理的L4-L7网络协议。虽然通用处理器可以执行计算密集任务，但是它未提供用于处理数据、从而可以线速转发它的充分性能。

内容感知网络需要在“线速”检查分组的内容。可以分析内容以确定是否已经有安全漏洞或者入侵。大量正则表达式形式的模式和规则被应用以保证检测到所有安全漏洞或者入侵。正则表达式是一种以字符串描述模式的紧致方法。正则表达式匹配的最简单模式是单个字符或者字符串、例如/c/或者/cat。正则表达式也包括算符和具有特殊含义的元字符。

通过使用元字符，正则表达式可以用于更复杂的搜索、比如“abc.*xyz”。也就是说，发现串“abc”跟随有字符“xyz”但在“abc”与“xyz”之间的字符数目不限。另一示例是正则表达式“abc..abc.*xyz；”、也就是发现串“abc”跟随有两个字符、随后为串“abc”和不限数目的字符、随后为串“xyz”。

入侵检测系统(IDS)应用检查流过网络的所有个别分组的内容并且标识可疑模式，这些可疑模式可以指示用于闯入或者危害系统的尝试。可疑模式的一个示例可以是在分组中的特定文本串跟随有100个字符、随后为另一特定文本串。

通常使用搜索方法、比如确定性有限自动机(DFA)或者非确定性有限自动机(NFA)来执行内容搜索以处理正则表达式。

发明内容

本发明的实施例提供一种用于有限自动机的编译和运行时间处理的方法、装置、计算机程序产品和相应系统。

根据一个实施例，一种方法可以在操作地耦合到网络的安全设备中，操作地耦合到至少一个存储器的至少一个处理器中基于至少一个试探从在一个或者多个正则表达式模式的集合中的每个模式选择子模式。该方法可以使用从在集合中的所有模式选择的子模式来生成统一的确定性有限自动机(DFA)。该方法可以为在集合中的至少一个模式可以生成至少一个非确定性有限自动机(NFA)。至少一个模式的用于生成至少一个NFA的部分和用于至少一个NFA的运行时间处理的至少一个遍历方向可以基于选择的子模式的长度是固定还是可变和选择的子模式在至少一个模式内的位置来确定。该方法可以在至少一个存储器中存储所生成的统一的DFA和至少一个NFA。

至少一个试探可以包括最大化选择的唯一子模式的数目和选择的每个子模式的长度。

该方法可以确定选择的子模式的长度是固定还是可变。

该方法可以计算选择的每个子模式的哈希值并且与从其选择子模式的模式的标识符关联地存储计算的每个哈希值。

至少一个试探可以包括最大化选择的唯一子模式的数目，并且该方法可以包括为在集合中的每个模式计算选择的子模式的哈希值。该方法可以比较计算的哈希值与为在集合中的其它模式选择的子模式的哈希值的列表。如果在列表中发现计算的哈希值，则该方法可以确定是否(i)用来自模式的另一子模式替换选择的子模式或者(ii)用从在集合中的其他模式选择的备选(alternate)子模式替换为在集合中的另一模式选择的子模式。在集合中的其他模式可以基于在列表中的与计算的哈希值的关联性来标识。用于是否替换(i)或者(ii)的确定可以基于比较被考虑用于替换的子模式的长度以便最大化选择的唯一子模式的长度。

至少一个试探可以包括标识每个模式的子模式并且如果每个模式的标识的子模式中的给定的子模式具有小于最小门限的长度则忽略给定的子模式。

至少一个试探可以包括访问与历史使用频率指示符关联的子模式的知识库并且如果在访问的知识库中的用于每个模式的标识的子模式中的给定的子模式的历史使用频率指示符大于或者等于使用频率门限则忽略给定的子模式。