[发明专利]一种PCAP数据包高速索引方法及系统

说明书

本发明实施例涉及数据包索引技术领域，公开了一种PCAP数据包高速索引方法及系统，该方法包括：遍历历史数据包及历史索引数据得到数据包结构表及索引结构表；基于数据包结构表建立若干分布式底层数据库；基于索引结构表建立索引分发规则；结合若干分布式底层数据库及索引分发规则建立缓存数据池；通过索引分发规则在缓存数据池中获取对应于查询需求的数据。本发明实施例中，PCAP数据包依据数据类型进行分布式存储并设定数据权重，在接收到查询需求时，根据查询需求的数据类型及查询权重，从分布式底层数据库中将对应数据取出至缓存数据池，通过索引分发规则进行高效索引，并分配适配的缓存带宽，避免索引效率受数据量影响而产生下降。

技术领域

本发明涉及数据包索引技术领域，尤其涉及一种PCAP数据包高速索引方法及系统。

背景技术

pcap是一种常用的数据包存储格式，其广泛应用于流量分析、安全监测、数据统计等领域。通过wireshark等抓包工具即可便捷地将抓取到的网络数据转化为pcap数据包，并将pcap数据包存储于本地，在建立索引后，即可对pcap数据包进行读取并应用到分析统计等场景中。

而在实际应用中，从pcap数据包中读取网络数据时，需要先将部分或完整的pcap数据包缓存至内存，再基于索引进行逐条匹配，直至读取到所需读取的网络数据，这一索引方式的效率低下，且随着数据存取流量的增大，索引效率将越来越低。

发明内容

本发明实施例公开一种PCAP数据包高速索引方法及系统，PCAP数据包依据数据类型进行分布式存储，并基于查询频率设定数据权重，在接收到查询需求时，将根据查询需求所对应的数据类型及查询权重，从分布式底层数据库中将对应数据取出至缓存数据池中，通过索引分发规则进行高效索引，并分配适配的缓存带宽，避免索引效率受数据量影响而产生下降。

本发明实施例第一方面公开一种PCAP数据包高速索引方法，所述方法包括：

遍历历史数据包及历史索引数据，得到数据包结构表及索引结构表；

基于所述数据包结构表建立若干分布式底层数据库；

基于所述索引结构表建立索引分发规则；

结合所述若干分布式底层数据库及所述索引分发规则建立缓存数据池；

通过所述索引分发规则在所述缓存数据池中获取对应于查询需求的数据。

优选的，所述遍历历史数据包及历史索引数据，得到数据包结构表及索引结构表，包括：

依据数据类型对所述历史数据包进行一次遍历，得到以数据类型为准的一级遍历结构；

依据数据长度及数据存储体积对所述一级遍历结构进行二次遍历，得到二级遍历结构；

依据数据查询频率对所述二级遍历结构进行三次遍历，得到三级遍历结构；

整合所述一级遍历结构、所述二级遍历结构及所述三级遍历结构，得到所述数据包结构表；

以及，依据历史查询频率对所述历史索引数据进行一次遍历，得到一级索引结构；

依据数据类型对所述一级索引结构进行二次遍历，得到二级索引结构；

整合所述一级索引结构及所述二级索引结构，得到所述索引结构表。

优选的，所述基于所述数据包结构表建立若干分布式底层数据库，包括：

基于所述一级遍历结构对所述历史数据包进行拆分，得到按照数据类型进行分类的若干子历史数据包；

基于所述二级遍历结构，将所述若干子历史数据包分别存储于若干分布式底层数据库中；

基于所述三级遍历结构，为所述若干分布式底层数据库中的数据设定数据权重。