[发明专利]一种离线数据包存储分析方法及装置

权利要求书

1.一种离线数据包存储分析方法，其特征在于，所述方法包括：

获取离线数据包，并将所述离线数据包发送至多个处理CPU，每个所述处理CPU与一个处理线程绑定；

所述处理线程对所述离线数据包进行拆分，以得到数据包块，并将所述数据包块写入对应的内存缓冲区；

利用读线程和写线程将所述数据包块写入共享内存；

将所述数据包块通过索引方式从所述共享内存中直接写入磁盘；

将所述数据包块通过索引方式从所述共享内存中直接写入磁盘的步骤，包括：

为每个所述读线程和所述写线程对应创建一个索引写线程以及线程生产者消费者队列；

将需要进行文件旋转的数据包块的时间戳索引传递至所述线程生产者消费者队列中；

所述索引写线程监视所述线程生产者消费者队列中是否有新时间戳索引；

若有所述新时间戳索引，则获取所述新时间戳索引，并创建一个RocksDB SSTable；

根据所述RocksDB SSTable将与所述新时间戳索引对应的数据刷新到磁盘中。

2.根据权利要求1所述的方法，其特征在于，所述处理线程对所述离线数据包进行拆分，以得到数据包块，并将所述数据包块写入对应的内存缓冲区的步骤，包括：

为每个所述处理CPU对应的所述处理线程创建一个单独的内存区域；

每个处理线程在与其对应的区域中拆分所述离线数据包；

依次从拆分后的所述离线数据包中读取一个块；

对所述块进行索引，并开始异步写入。

3.根据权利要求1所述的方法，其特征在于，将所述数据包块通过索引方式从所述共享内存中直接写入磁盘的步骤之后，所述方法还包括：

将存储于所述磁盘上的离线数据包整体拆分为不同的任务；

多个工作线程对不同所述任务进行读取和分析，并得到处理结果；

领导线程收集所有处理结果，并对所述处理结果进行汇总。

4.一种离线数据包存储分析装置，其特征在于，所述装置包括：

离线数据包获取模块，用于获取离线数据包，并将所述离线数据包发送至多个处理CPU，每个所述处理CPU与一个处理线程绑定；

离线数据包拆分模块，用于所述处理线程对所述离线数据包进行拆分，以得到数据包块，并将所述数据包块写入对应的内存缓冲区；

共享内存索引模块，用于利用读线程和写线程将所述数据包块写入共享内存；

磁盘写入模块，用于将所述数据包块通过索引方式从所述共享内存中直接写入磁盘；

所述磁盘写入模块包括：

线程创建模块，用于为每个所述读线程和所述写线程对应创建一个索引写线程以及线程生产者消费者队列；

时间戳索引传递模块，用于将需要进行文件旋转的数据包块的时间戳索引传递至所述线程生产者消费者队列中；

监视模块，用于所述索引写线程监视所述线程生产者消费者队列中是否有新时间戳索引；

数据库表创建模块，用于若有所述新时间戳索引，则获取所述新时间戳索引，并创建一个RocksDB SSTable；

数据刷新模块，用于根据所述RocksDB SSTable将与所述新时间戳索引对应的数据刷新到磁盘中。

5.根据权利要求4所述的装置，其特征在于，所述离线数据包拆分模块包括：

内存区域创建单元，用于为每个所述处理CPU对应的所述处理线程创建一个单独的内存区域；

拆分单元，用于每个处理线程在与其对应的区域中拆分所述离线数据包；

块读取单元，用于依次从拆分后的所述离线数据包中读取一个块；

异步写入单元，用于对所述块进行索引，并开始异步写入。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

任务获取模块，用于将存储于所述磁盘上的离线数据包整体拆分为不同的任务；

处理模块，用于多个工作线程对不同所述任务进行读取和分析，并得到处理结果；

汇总模块，用于领导线程收集所有处理结果，并对所述处理结果进行汇总。