[发明专利]数据查找处理方法及系统

说明书

技术领域

本发明涉及数据处理及网络安全领域，尤其涉及一种利用多级筛选数据的数据查找处理方法及系统。

背景技术

随着网络应用的不断复杂化和安全威胁的“复合性”，今后的威胁将向更高的层次延伸，更多协议和应用需要进行安全检查，并需要针对网络流量的分析和通信内容的管理，这些都必须进行基于内容的检查和分析。用户需要的不是简单的通过端口或者包头的访问控制，各种IM和P2P应用是不能通过端口进行控制的，还必须进行深度内容检查。比如针对HTTP协议的访问控制上，该协议允许正常使用，但不允许某个关键字和恶意的报文进入网络内部，这需要进行深度检测，进行7层内容的全面防护。

出于信息安全和对信息内容的监控，要根据预定的规则对在网络上传输的信息进行比对、过滤。由于所定义的规则数量多，而且网络上传输的信息极其庞大，特别是随着网络传输带宽的增长，为了在不影响网络传输带宽的情况下有效的比对、过滤网络中传输的信息内容是一项非常繁重的任务。

为了实现对内容的比对，往往需要将网络传输的数据进行还原后与规则数据库中的内容进行比对，但是这需要加大对设备的负荷，工作效率低下，为了提高数据比对的效率，现在多数采用将规则内容转换为二进制数据，在比对时直接比对数据包中的二进制数据和规则中的数据，以提高数据比对效率。

现有网络设备对网络数据流内容的处理能力较低，所有的任务全部依赖CPU完成。在进行内容处理时，从包的流重组、碎片重组到数据还原，到数据流特征搜索，数据转发等所有工作全部由CPU承担，资源消耗全部集中到CPU，在面临网络上大流量以及大规模的规则查找比对时，会造成整个系统处理速度缓慢，从而导致网络性能严重下降甚至瘫痪。

发明内容

为了解决现有技术中查找处理速度缓慢以及效率低下等问题，本发明的目的是提供一种数据查找处理方法及系统，利用多级查找处理数据来实现使用较少资源而获得高效处理。

为了达到上述目的，本发明提供了一种数据查找处理方法，该方法包括：

步骤1，利用第一预定函数，对接收到的第一数据取定长字节进行运算，以生成第一地址；

步骤2，查询第一存储器中所述第一地址中的规则所对应的标记，以根据所述标记处理数据。

所述的数据查找处理方法的所述步骤2之后还包括：

步骤3，当标记为有效时，利用第二预定函数，对所述第一数据取定长字节进行运算，以生成第二地址；

步骤4，利用第三预定函数，对所述第一数据取和所述规则相等长度的字节进行运算，以生成第二数据；

步骤5，将所述第二数据，与第二存储器中所述第二地址对应的规则全文的数据信息进行比对，以根据所述比对的结果处理数据。

所述步骤5之后还包括：

步骤6，在比对符合时，查询第三存储器中与第二存储器成映射关系的所述规则的详细信息，将所述详细信息与所述第一数据获取到的与所述规则相等长度的字节进行比对，以处理数据。

第一预定函数是根据所述第一存储器的存储空间地址容量的大小来确定。第二预定函数是根据所述第二存储器的空间地址容量来确定。第三预定函数是根据所述第二存储器的每个存储单元分成的子单元的容量来确定。

为了达到上述目的，本发明还提供了一种数据查找处理系统，该系统包括：

第一存储器，用于存储规则所对应的标记；

查找引擎，用于利用第一预定函数，对接收到的第一数据取定长字节进行运算，以生成第一地址；查询第一存储器中所述第一地址中的规则所对应的标记，以根据所述标记处理数据。

所述的数据查找处理系统还包括：第二存储器，用于存储所述规则全文的数据信息；所述查找引擎，进一步用于利用第二预定函数，对所述第一数据取定长字节进行运算，以生成第二地址；利用第三预定函数，对所述第一数据取和所述规则相等长度的字节进行运算，以生成第二数据；将所述第二数据，与第二存储器中所述第二地址对应的规则全文的数据信息进行比对，以根据所述比对的结果处理数据。第三存储器，用于存储与第二存储器成映射关系的所述规则的详细信息；所述查找引擎，进一步用于查询第三存储器中所述规则的详细信息，将所述详细信息与所述第一数据获取到的与所述规则相等长度的字节进行比对，以处理数据。

因此，本发明数据查找处理方法和系统在支持多规则的同时，极大减小了索引规则的时间，并采用独有的串路流水技术，使用较少的资源完成高效的处理，实现高速查找和处理。

附图说明

图1为本发明数据查找处理方法的流程图。

图2为本发明第二存储器与第三存储器的映射关系对应示意图。