[发明专利]一种网络流量数据索引方法及系统

权利要求书

1.一种网络流量数据索引方法，其特征在于，包括下列步骤：

步骤1，实时捕获网络流量数据；

步骤2，所述网络流量数据具有多个索引字段，在内存中通过使所述索引字段维护位图-字典树来建立并存储所述网络流量数据的索引结构，对于所述索引字段按字节来划分键值，通过使所述键值在所述位图-字典树的位图结构中所对应的非叶子节点的指针具有孩子节点、叶子节点的指针指向存储位置链表来更新所述网络流量数据的索引结构；

步骤3，根据用户的查询请求查询所述索引结构从而获得网络流量数据的存储位置信息，将该存储位置信息返回给用户，用户根据该存储位置信息获取响应的数据。

2.如权利要求1所述的网络流量数据索引方法，其特征在于，在所述步骤2中，所述位图-字典树的高度等于所述索引字段的字节大小，对于所述索引字段按照每个字节一个键值来划分，更新所述网络流量数据的索引结构的方法具体为：

依次获取所述索引字段对应的键值，通过检测所述键值在所述位图-字典树的非叶子节点的位图结构中所对应的比特值为1，来判断所述非叶子节点的指针具有孩子节点，若不具有孩子节点，则分配一个新节点，并使所述键值对应的指针指向该新节点，同时将该比特值置为1，以使所述非叶子节点的指针具有孩子节点，到达所述位图-字典树的叶子节点时，使所述叶子节点对应指针指向存储位置链表，在该存储位置链表中新增所述索引字段的存储位置信息。

3.如权利要求1所述的网络流量数据索引方法，其特征在于，当内存中的所述索引结构大于内存阈值时，将所述索引结构存入磁盘，并在所述索引结构中增加一条记录并指向磁盘存储的位置，同时在内存中建立一个新的索引结构，用于处理后续的网络流量数据。

4.如权利要求3所述的网络流量数据索引方法，其特征在于，将所述索引结构存入磁盘的具体方式为，在磁盘中按照所述位图-字典树的层来存储所述索引结构，且各层采用连续存储方式。

5.如权利要求3或4所述的网络流量数据索引方法，其特征在于，将所述索引结构存入磁盘的方法具体为，

对于所述位图-字典树的每个节点，先存储位图结构，然后存储一个文件偏移位置的数组，该数组示出所述位图-字典树的每个节点的各孩子节点在磁盘中的存储位置，而对于所述位图-字典树的每个叶子节点，该数组示出每个叶子节点对应链表的存储位置。

6.如权利要求1或2所述的网络流量数据索引方法，其特征在于，所述步骤3的查询所述索引结构的查询过程为，

将查询条件按照每个字节一个键值来划分，其中最后一个键值为未知键值，依此获取所述查询条件的键值，通过读取所述键值在所述位图-字典树的非叶子节点的位图结构中所对应的比特值为1来获取该根节点对应孩子节点在磁盘中的存储位置，并读取该位置上的位图-字典树节点，否则返回查询结果为空，到达最后一个键值的前一个键值时，获取其在位图-字典树的位图结构中所对应的所有比特值为1的位，然后获取该所有比特值为1的位的偏移位置，最后读取这些偏移位置的叶子节点和其对应的链表元素，并将链表元素进行合并返回。

7.一种网络流量数据索引系统，其特征在于，包括下列模块：

网络流量数据获取模块，用于通过网卡或板卡来实时捕获网络流量数据；

索引结构维护模块，所述网络流量数据具有多个索引字段，该模块用于在内存中通过使所述索引字段维护位图-字典树来建立并存储所述网络流量数据的索引结构，对于所述索引字段按字节来划分键值，通过使所述键值在所述位图-字典树的位图结构中所对应的非叶子节点的指针具有孩子节点、叶子节点的指针指向存储位置链表来更新所述网络流量数据的索引结构；

查询响应模块，用于根据用户的查询请求查询所述索引结构从而获得网络流量数据的存储位置信息，将该存储位置信息返回给用户，用户根据该存储位置信息获取响应的数据。