[发明专利]数据包的分布式流式预处理方法、装置、设备及可读介质

说明书

本发明提供了一种数据包的分布式流式预处理方法、装置、设备及计算机可读介质，该方法包括：数据获取步骤，扫描指定目录的数据包，获取多个数据元组，并将数据包的状态写入一关系数据库；分布式处理步骤，将所述多个数据元组发送至分布式队列进行保存，基于流式数据读取方法从分布式队列读取数据元组进行预处理，并在所述关系数据库中更新数据包的状态；数据存储步骤，将预处理后的数据元组存储在分布式数据库中。本发明采用内存数据库结合唯一消息ID异或值和超时机制对数据处理状态进行管理，实现了对数据包的解析、入库状态做实时跟踪，并支持对入库不完整的数据包进行重新入库处理，提高了包括海量数据的取证数据包的入库性能。

技术领域

本发明涉及数据处理技术领域，特别是一种数据包的分布式流式预处理方法、装置、设备及计算机可读介质。

背景技术

随着智能终端的普及，社会进入大数据时代，各种数据爆炸性地增长。取证领域的数据包也越来越大，现在手机的容量已达到128GB，尤其是即时通讯APP的普及，产生大量的聊天记录，每个嫌疑人的电子取证数据打包后叫数据包。数据包的记录都在百万条级别，甚至达到千万条。如何高效的对这些数据包进行有效的处理当前取证环节中的一个技术难题

现有技术中存在一些取证数据包的软件，都是单机版，处理效率低，且无法跟踪到数据包的实时处理状态，也无法自动检测在数据包处理过程中是否出错时，也无法检测到数据包是否已经处理完毕。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种数据包的分布式流式预处理方法，该方法包括：

数据获取步骤，扫描指定目录的数据包，获取多个数据元组，并将数据包的状态写入一关系数据库；

分布式处理步骤，将所述多个数据元组发送至分布式队列进行保存，基于流式数据读取方法从分布式队列读取数据元组进行预处理，并在所述关系数据库中更新数据包的状态；

数据存储步骤，将预处理后的数据元组存储在分布式数据库中。

更进一步地，所述预处理为数据的清洗、关联和/或比对。

更进一步地，所述数据包为数据文件经过zip压缩打包后的zip包。

更进一步地，所述数据包为打包后的电子设备中的电子取证数据，所述电子设备为手机、笔记本电脑、平板电脑、PDA和/或服务器。

更进一步地，所述数据获取步骤包括：

扫描步骤：扫描服务器的指定目录，将待处理数据包中的所有数据路径封装为一个路径元组，并在所述关系数据库中写入一条数据记录用于记录数据包的状态，其中，数据记录包括：数据包ID、数据包的路径、数据包的状态和最后更新时间，数据包的状态初始化为解析中；

提取步骤：根据路径元组中的文件路径，找到对应的数据包并进行解压，获取每一个数据包中的数据，判断所述数据的数量m是否大于n，如果否，将所述数据封装为一个数据元组，如果是，将所述数据封装为个数据元组，其中m，n为整数，表示向上求整，每个数据元组具有唯一的消息ID，用于标示该数据元组。

更进一步地，所述分布式处理步骤包括：

数据包ID记录步骤：在内存数据库中记录数据的ID为PACKAGE_ID，所述内存数据库为key-value型数据库；

数据入列步骤：将提取的数据元组存储在分布式队列中，并记录所存储的数据元组的消息ID为ID_INPUT；

数据处理步骤：从所述分布式队列中采用流式读取方式读取数据元组进行预处理，并记录所读取的数据元组的消息ID为ID_OUTPUT；