[发明专利]一种离线数据包存储分析方法及装置

说明书

本发明提出了一种离线数据包存储分析方法及装置，涉及数据处理技术领域。该方法包括：获取离线数据包，并将其发送至多个处理CPU；处理线程对离线数据包进行拆分，以得到数据包块，并将数据包块写入对应的内存缓冲区；利用读线程和写线程将数据包块写入共享内存；再将其通过索引方式从共享内存中直接写入磁盘。从网络接口接收到的离线数据包先被分散至不同的处理CPU进行处理，实现负载的均衡，提高处理效率。然后离线数据包会被进行拆分处理，以使离线数据包被多个处理线程并行处理，从而可以并行化分析离线数据包，进一步提高处理效率。对离线数据包建立各种索引，离线数据包会存放在磁盘上不同的文件中，进行高效的并行化处理。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种离线数据包存储分析方法及装置。

背景技术

信息化的时代，任何设备都可以接入到互联网中，共享丰富的网络资源。互联网带来巨大便利的同时，也暴露出更多的安全隐患，网络攻击的行为无处不在，计算机网络安全的重要性更是不言而喻。对于网络数据的分析是网络安全重要的一个手段，识别、监听、阻断恶意的网络攻击行为从而更加全面的抵御恶意的网络攻击。对于高性能离线报文的存储、入侵检测技术尤为重要。在需要处理海量的流量数据的情况下，现有的技术在对离线数据包进行处理时，处理CPU需要对每个离线数据包进行操作，因此处理效率不高，过程耗时。

发明内容

本发明的目的在于提供一种离线数据包存储分析方法及装置，用以改善现有技术中对离线数据包处理效率不高的问题。

第一方面，本申请实施例提供一种离线数据包存储分析方法，该方法包括：获取离线数据包，并将离线数据包发送至多个处理CPU，每个所述处理CPU与一个处理线程绑定；处理线程对离线数据包进行拆分，以得到数据包块，并将数据包块写入对应的内存缓冲区；利用读线程和写线程将数据包块写入共享内存；将数据包块通过索引方式从共享内存中直接写入磁盘。

上述实现过程中，针对网卡流量进行离线分析，从网络接口接收到的离线数据包先被分散至不同的处理CPU进行处理，实现负载的均衡，提高处理效率。然后离线数据包会被进行拆分处理，以使离线数据包被多个处理线程并行处理，从而可以并行化分析离线数据包，进一步提高处理效率。对离线数据包建立各种索引，离线数据包会存放在磁盘上不同的文件中，为了高效检索，还有索引文件，均为并行化处理，最终领导线程负责收集处理结果并汇总。

在本发明的一些实施例中，处理线程对离线数据包进行拆分，以得到数据包块，并将数据包块写入对应的内存缓冲区的步骤，包括：为每个处理CPU对应的处理线程创建一个单独的内存区域；每个处理线程在与其对应的区域中拆分离线数据包，并将拆分得到的数据包括写入到每个独立的内存缓冲区。

在本发明的一些实施例中，将数据包块通过索引方式从共享内存中直接写入磁盘的步骤，包括：为每个读线程和写线程对应创建一个索引写线程以及线程生产者消费者队列；将需要进行文件旋转的数据包块的时间戳索引传递至线程生产者消费者队列中；索引写线程监视线程生产者消费者队列中是否有新时间戳索引；若有新时间戳索引，则获取新时间戳索引，并创建一个RocksDB SSTable；根据RocksDB SSTable将与新时间戳索引对应的数据刷新到磁盘中。

在本发明的一些实施例中，将数据包块通过索引方式从共享内存中直接写入磁盘的步骤之后，方法还包括：将存储于磁盘上的离线数据包整体拆分为不同的任务；多个工作线程对不同任务进行读取和分析，并得到处理结果；领导线程收集所有处理结果，并对处理结果进行汇总。

第二方面，本申请实施例提供一种离线数据包存储分析装置，装置包括：离线数据包获取模块，用于获取离线数据包，并将离线数据包发送至多个处理CPU，每个所述处理CPU与一个处理线程绑定；离线数据包拆分模块，用于处理线程对离线数据包进行拆分，以得到数据包块，并将数据包块写入对应的内存缓冲区；共享内存索引模块，用于利用读线程和写线程将数据包块写入共享内存；磁盘写入模块，用于将数据包块通过索引方式从共享内存中直接写入磁盘。