[发明专利]数据包的分布式流式预处理方法、装置、设备及可读介质

权利要求书

1.一种数据包的分布式流式预处理方法，其特征在于，该方法包括：

数据获取步骤，扫描指定目录的数据包，获取多个数据元组，并将数据包的状态写入一关系数据库；

分布式处理步骤，将所述多个数据元组发送至分布式队列进行保存，基于流式数据读取方法从分布式队列读取数据元组进行预处理，并在所述关系数据库中更新数据包的状态；

数据存储步骤，将预处理后的数据元组存储在分布式数据库中；

其中，所述数据获取步骤包括：

扫描步骤：扫描服务器的指定目录，将待处理数据包中的所有数据路径封装为一个路径元组，并在所述关系数据库中写入一条数据记录用于记录数据包的状态，其中，数据记录包括：数据包ID、数据包的路径、数据包的状态和最后更新时间，数据包的状态初始化为解析中；

提取步骤：根据路径元组中的文件路径，找到对应的数据包并进行解压，获取每一个数据包中的数据，判断所述数据的数量m是否大于n，如果否，将所述数据封装为一个数据元组，如果是，将所述数据封装为个数据元组，其中m，n为整数，表示向上求整，每个数据元组具有唯一的消息ID，用于标示该数据元组，当对一个数据包提取完时，把状态更改为2，即解析完；

其中，所述分布式处理步骤包括：

数据包ID记录步骤：在内存数据库中记录数据的ID为PACKAGE_ID，所述内存数据库为key-value型数据库；

数据入列步骤：将提取的数据元组存储在分布式队列中，并记录所存储的数据元组的消息ID为ID_INPUT；

数据处理步骤：从所述分布式队列中采用流式读取方式读取数据元组进行预处理，并记录所读取的数据元组的消息ID为ID_OUTPUT；

异或运算步骤：将一次处理中的ID_INPUT与所有的ID_OUTPUT异或运算，并将运算结果作为值写入以PACKAGE_ID为key的key-value型数据库中；

更新步骤：当所有数据元组预处理完毕后，判断PACKAGE_ID对应的值是否为0，如果是，则在关系数据库中更新数据的处理状态为入库完，并记录数据包的更新时间，并删除内存数据库中key为PACKAGE_ID的数据包的记录；如果否，当最后更新时间超过阈值时，将数据包状态更改为入库不完整，并删除内存数据库中key为PACKAGE_ID的数据包的记录，并重新处理该数据包。

2.根据权利要求1的方法，其特征在于，所述预处理为数据的清洗、关联和/或比对。

3.根据权利要求2的方法，其特征在于，所述数据包为数据文件经过zip压缩打包后的zip包。

4.根据权利要求3的方法，其特征在于，所述数据包为打包后的电子设备中的电子取证数据，所述电子设备为手机、笔记本电脑、平板电脑、PDA和/或服务器。